Avamar Client. Резервное копирование образа клиента IDPA Linux завершается с исключением из-за проблемы приостановки
Summary: Сбой клиентов резервного копирования образов Linux с завершением резервного копирования с кодом ошибки 10020
Symptoms
Резервное копирование образа Linux для системы IDPA «Завершается с исключением» из-за проблемы замораживания.
В данном примере виртуальная машина была внутренней виртуальной машиной ACM, которая поставляется с решением IDPA.
В журнале образа VMware Linux резервной копии можно увидеть следующее:
avvcbimage Info <40726>: VM Config Info: VMX version 4(F), ctk enabled(T), fault tolerant (F), Guest OS SUSE Linux Enterprise 12 (64-bit), Cloud UUID = NoUUID. version=9
avvcbimage Info <40727>: VM Guest Info: GuestOS Family = linuxGuest, Guest Full Name = SUSE Linux Enterprise 12 (64-bit), Guest OS State = running, Tools Running = guestToolsRunning, Tools Version Status = guestToolsUnmanaged
avvcbimage Info <42650>: Creating snapshot 'Avamar-<epoch_time><client_id>', quiesceFS=1
avvcbimage Info <41136>: SnapshotManager: createSnapshot for vmMoref = vm-21
avvcbimage Info <42182>: SnapshotManager: POST to /snapshotmanager/vm/vm-21/action/createSnapshot, payload({
"snapshotName": "Avamar-<epoch_time><client_id>",
"snapshotDesc": "Created by Avamar workorder Management_VM_Backup-Management_VM_Backup-<epoch > on <date>",
"quiesceFileSystem": "true"
...
avvcbimage Warning <19733>: vSphere Task failed (quiesce, snapshot error=45): 'An error occurred while saving the snapshot: Failed to quiesce the virtual machine.'.
avvcbimage Error <17775>: Snapshot 'Avamar-<epoch_time><client_id> ' creation for VM '[vsanDatastore] DataProtection-ACM/DataProtection-ACM.vmx' task creation encountered a quiesce problem
avvcbimage Warning <40710>: The VM could not be quiesced prior to snapshot creation and this backup will not be used as a base for subsequent CBT backups if successful.
avvcbimage Warning <40711>: Consider using the pre-freeze and post-thaw scripts to facilitate VM quiescing
avvcbimage Warning <41146>: This error might caused by the pre-freeze script returning a non-zero error code.
...
После сбоя первой задачи создания моментального снимка резервное копирование продолжается, и создается второй снимок, но функция замораживания отключена.
avvcbimage Info <14631>: VM Disk Consolidation for '[vsanDatastore] DataProtection-ACM/DataProtection-ACM.vmx' task still in progress, sleep for 3 sec
avvcbimage Info <42650>: Creating snapshot 'Avamar-<epoch_time><client_id>', quiesceFS=0
avvcbimage Info <41136>: SnapshotManager: createSnapshot for vmMoref = vm-21
avvcbimage Info <42182>: SnapshotManager: POST to /snapshotmanager/vm/vm-21/action/createSnapshot, payload({
"snapshotName": "Avamar-<epoch_time><client_id>",
"snapshotDesc": "Created by Avamar workorder Management_VM_Backup-Management_VM_Backup-<epoch> on <date>",
"quiesceFileSystem": "false"
Резервное копирование завершается, но отображается как завершенное с исключением (код 10020)
В журнале рабочих заданий (.alg) отображается следующее:
2019-04-03 00:12:42 Management_VM_Backup-Management_VM_Backup-<epoch>Warning <0000>: Workorder "Management_VM_Backup-Management_VM_Backup-epoch" non-zero exit status 'code 170: completed with errors, client log should be examined'
Cause
-
Чтобы узнать, что вызывает сбой замораживания, настройте ведение журнала отладки для vmtools.
Выполните следующие шаги в https://kb.vmware.com/s/article/1007873, чтобы настроить ведение журнала отладки в гостевой операционной системе, а затем перезапустить VMware tools.
-
Создайте новое резервное копирование, чтобы воссоздать сбой замораживания.
-
Просмотрите журналы средств отладки (информация о замораживании должна содержаться в журнале vmsvc и иметь префикс [vmbackup])
В данном примере проблема вызвана частично удаленным каталогом /var/log/brs. Не удалось полностью удалить этот каталог, так как он все еще открыт в фоновом процессе. Эта частично удаленная папка предотвращает прекращение ответа файловой системы Linux на функции ioctls.
[ debug] [vmbackup] Submitted backup start task.
[ debug] [vmbackup] *** VmBackupSyncDriverStart
[ debug] [vmsvc] SyncDriver: Skipping remote filesystem, name=systemd-1, mntpt=/proc/sys/fs/binfmt_misc.
[ debug] [vmsvc] SyncDriver: Calling backend 0.
[ debug] [vmsvc] SyncDriver: Freezing using Linux ioctls...
[ debug] [vmsvc] SyncDriver: opening path '/var/lib/named/proc'.
[ debug] [vmsvc] SyncDriver: freezing path '/var/lib/named/proc'.
[ debug] [vmsvc] SyncDriver: freeze on '/var/lib/named/proc' returned: 95 (Operation not supported)
[ debug] [vmsvc] SyncDriver: opening path '/var/log/logbundles'.
[ debug] [vmsvc] SyncDriver: freezing path '/var/log/logbundles'.
[ debug] [vmsvc] SyncDriver: successfully froze '/var/log/logbundles'.
[ debug] [vmsvc] SyncDriver: opening path '/var/log/brs (deleted)'.
[ debug] [vmsvc] SyncDriver: failed to open '/var/log/brs (deleted)': 2 (No such file or directory)
[ warning] [vmbackup] Error freezing filesystems.
Resolution
При более внимательном изучении каталога /var/log/brs можно увидеть проблемы с открытием этого каталога из других команд. Например, lsof и stat также показывают проблему.
IDPA-ACM:/var/log # lsof|grep brs lsof: WARNING: can't stat() xfs file system /var/log/brs (deleted) Output information may be incomplete. IDPA-ACM:/var/log # ls -al drwxr-xr-x 0 root root 6 Feb 27 2018 brs
Виртуальная машина ACM была перезагружена, чтобы завершить фоновый процесс acm. После перезагрузки каталог /var/log/brs был повторно создан процессом ACM, и резервное копирование удалось завершить без дальнейших проблем с замораживанием.
IDPA-ACM:/var/log # ls -al drwxr-xr-x 2 root root 6 Apr 15 10:30 brs
Additional Information
Обязательно следуйте приведенным выше инструкциям базы знаний, чтобы удалить ведение журнала отладки для vmtools на клиенте и перезапустить службу vmtools.