Клієнт Avamar: Резервне копіювання образу клієнта IDPA Linux завершується з винятком через проблему заспокійливості

Резервне копіювання образів Linux для системи IDPA має статус «Завершено з винятком» через проблему затичання.

У цьому прикладі віртуальна машина була внутрішньою ACM, яка йде в комплекті з рішенням IDPA.

З журналу образів VMware Linux резервної копії можна побачити наступне:

avvcbimage Info <40726>: VM Config Info: VMX version 4(F), ctk enabled(T), fault tolerant (F), Guest OS SUSE Linux Enterprise 12 (64-bit), Cloud UUID = NoUUID. version=9
avvcbimage Info <40727>: VM Guest Info: GuestOS Family = linuxGuest, Guest Full Name = SUSE Linux Enterprise 12 (64-bit), Guest OS State = running, Tools Running = guestToolsRunning,  Tools Version Status = guestToolsUnmanaged
avvcbimage Info <42650>: Creating snapshot 'Avamar-<epoch_time><client_id>', quiesceFS=1
avvcbimage Info <41136>: SnapshotManager: createSnapshot for vmMoref = vm-21
avvcbimage Info <42182>: SnapshotManager: POST to /snapshotmanager/vm/vm-21/action/createSnapshot, payload({
  "snapshotName": "Avamar-<epoch_time><client_id>",
  "snapshotDesc": "Created by Avamar workorder Management_VM_Backup-Management_VM_Backup-<epoch >  on <date>",
  "quiesceFileSystem": "true"
...
avvcbimage Warning <19733>: vSphere Task failed (quiesce, snapshot error=45): 'An error occurred while saving the snapshot: Failed to quiesce the virtual machine.'.
avvcbimage Error <17775>: Snapshot 'Avamar-<epoch_time><client_id> ' creation for VM '[vsanDatastore] DataProtection-ACM/DataProtection-ACM.vmx' task creation encountered a quiesce problem
avvcbimage Warning <40710>: The VM could not be quiesced prior to snapshot creation and this backup will not be used as a base for subsequent CBT backups if successful.
avvcbimage Warning <40711>:     Consider using the pre-freeze and post-thaw scripts to facilitate VM quiescing
avvcbimage Warning <41146>:     This error might caused by the pre-freeze script returning a non-zero error code.
...

Після невдалого завдання першого знімка резервне копіювання робить другий знімок, але з вимкненою функцією квиєса.

avvcbimage Info <14631>: VM Disk Consolidation for '[vsanDatastore] DataProtection-ACM/DataProtection-ACM.vmx' task still in progress, sleep for 3 sec
avvcbimage Info <42650>: Creating snapshot 'Avamar-<epoch_time><client_id>', quiesceFS=0
avvcbimage Info <41136>: SnapshotManager: createSnapshot for vmMoref = vm-21
avvcbimage Info <42182>: SnapshotManager: POST to /snapshotmanager/vm/vm-21/action/createSnapshot, payload({
  "snapshotName": "Avamar-<epoch_time><client_id>",
  "snapshotDesc": "Created by Avamar workorder Management_VM_Backup-Management_VM_Backup-<epoch> on <date>",
  "quiesceFileSystem": "false"

Резервне копіювання завершується, але відображається як завершене, з винятком (код 10020)

У журналі робочих наказів (.alg) видно наступне:

2019-04-03 00:12:42 Management_VM_Backup-Management_VM_Backup-<epoch>Warning <0000>: Workorder "Management_VM_Backup-Management_VM_Backup-epoch" non-zero exit status 'code 170: completed with errors, client log should be examined'

1. Щоб побачити, що спричиняє невдачу замикання, встановіть журнал налагодження для vmtools.
   Наступні кроки https://kb.vmware.com/s/article/1007873 встановлюють логування налагодження на гостьовій операційній системі та перезапуск інструментів VMware.

2. Зробіть нову резервну копію, щоб відтворити Quiesce Failure.

3. Перегляньте журнали інструментів налагодження (інформація про quiesce має бути у журналі vmsvc і мати префікс [vmbackup]).

У цьому прикладі проблему спричинив частково видалений каталог /var/log/brs. Цей каталог не вдалося повністю видалити через бекграунд, який залишався відкритим. Ця частково видалена папка не дає файловій системі Linux перестати відповідати на функції ioctls.

[   debug] [vmbackup] Submitted backup start task.
[   debug] [vmbackup] *** VmBackupSyncDriverStart
[   debug] [vmsvc] SyncDriver: Skipping remote filesystem, name=systemd-1, mntpt=/proc/sys/fs/binfmt_misc.
[   debug] [vmsvc] SyncDriver: Calling backend 0.
[   debug] [vmsvc] SyncDriver: Freezing using Linux ioctls...
[   debug] [vmsvc] SyncDriver: opening path '/var/lib/named/proc'.
[   debug] [vmsvc] SyncDriver: freezing path '/var/lib/named/proc'.
[   debug] [vmsvc] SyncDriver: freeze on '/var/lib/named/proc' returned: 95 (Operation not supported)
[   debug] [vmsvc] SyncDriver: opening path '/var/log/logbundles'.
[   debug] [vmsvc] SyncDriver: freezing path '/var/log/logbundles'.
[   debug] [vmsvc] SyncDriver: successfully froze '/var/log/logbundles'.
[   debug] [vmsvc] SyncDriver: opening path '/var/log/brs (deleted)'.
[   debug] [vmsvc] SyncDriver: failed to open '/var/log/brs (deleted)': 2 (No such file or directory)
[ warning] [vmbackup] Error freezing filesystems.

При ретельному аналізі /var/log/brs у каталогу можна побачити проблеми з відкриттям цього каталогу через інші команди. Наприклад, LSOF і статистика теж показують проблеми.

IDPA-ACM:/var/log # lsof|grep brs
lsof: WARNING: can't stat() xfs file system /var/log/brs (deleted)
      Output information may be incomplete.

IDPA-ACM:/var/log # ls -al
drwxr-xr-x 0 root     root            6 Feb 27  2018 brs

Віртуальна машина ACM була перезавантажена, щоб зупинити фоновий процес ACM. Після перезавантаження каталог /var/log/brs був відновлений процесом ACM, і резервне копіювання змогло завершитися без подальших проблем.

IDPA-ACM:/var/log # ls -al
drwxr-xr-x 2 root     root            6 Apr 15 10:30 brs

Обов'язково дотримуйтесь наведеної вище бази знань, щоб видалити журнал налагодження для vmtools на клієнті та перезапустити сервіс vmtools.