Avamar Client: IDPA Linuxクライアント イメージのバックアップがキューエスの問題により例外で完了する

静止の問題により、IDPAシステムのLinuxイメージ バックアップが「Completing with Exception」になっています。

この例では、vmはIDPAソリューションに付属する内部ACM VMです。

バックアップのVMware Linuxイメージ ログから、次の情報を確認できます。

avvcbimage Info <40726>: VM Config Info: VMX version 4(F), ctk enabled(T), fault tolerant (F), Guest OS SUSE Linux Enterprise 12 (64-bit), Cloud UUID = NoUUID. version=9
avvcbimage Info <40727>: VM Guest Info: GuestOS Family = linuxGuest, Guest Full Name = SUSE Linux Enterprise 12 (64-bit), Guest OS State = running, Tools Running = guestToolsRunning,  Tools Version Status = guestToolsUnmanaged
avvcbimage Info <42650>: Creating snapshot 'Avamar-<epoch_time><client_id>', quiesceFS=1
avvcbimage Info <41136>: SnapshotManager: createSnapshot for vmMoref = vm-21
avvcbimage Info <42182>: SnapshotManager: POST to /snapshotmanager/vm/vm-21/action/createSnapshot, payload({
  "snapshotName": "Avamar-<epoch_time><client_id>",
  "snapshotDesc": "Created by Avamar workorder Management_VM_Backup-Management_VM_Backup-<epoch >  on <date>",
  "quiesceFileSystem": "true"
...
avvcbimage Warning <19733>: vSphere Task failed (quiesce, snapshot error=45): 'An error occurred while saving the snapshot: Failed to quiesce the virtual machine.'.
avvcbimage Error <17775>: Snapshot 'Avamar-<epoch_time><client_id> ' creation for VM '[vsanDatastore] DataProtection-ACM/DataProtection-ACM.vmx' task creation encountered a quiesce problem
avvcbimage Warning <40710>: The VM could not be quiesced prior to snapshot creation and this backup will not be used as a base for subsequent CBT backups if successful.
avvcbimage Warning <40711>:     Consider using the pre-freeze and post-thaw scripts to facilitate VM quiescing
avvcbimage Warning <41146>:     This error might caused by the pre-freeze script returning a non-zero error code.
...

最初のスナップショット タスクが失敗した後、2番目のスナップショットを作成してバックアップが続行されますが、キューエス機能は無効になります。

avvcbimage Info <14631>: VM Disk Consolidation for '[vsanDatastore] DataProtection-ACM/DataProtection-ACM.vmx' task still in progress, sleep for 3 sec
avvcbimage Info <42650>: Creating snapshot 'Avamar-<epoch_time><client_id>', quiesceFS=0
avvcbimage Info <41136>: SnapshotManager: createSnapshot for vmMoref = vm-21
avvcbimage Info <42182>: SnapshotManager: POST to /snapshotmanager/vm/vm-21/action/createSnapshot, payload({
  "snapshotName": "Avamar-<epoch_time><client_id>",
  "snapshotDesc": "Created by Avamar workorder Management_VM_Backup-Management_VM_Backup-<epoch> on <date>",
  "quiesceFileSystem": "false"

バックアップは完了するが、例外ありで完了と表示される(コード10020)

作業オーダー ログ(alg)には、次のように表示されます。

2019-04-03 00:12:42 Management_VM_Backup-Management_VM_Backup-<epoch>Warning <0000>: Workorder "Management_VM_Backup-Management_VM_Backup-epoch" non-zero exit status 'code 170: completed with errors, client log should be examined'

1. 停止が失敗する原因を確認するには、vmtoolsのデバッグ ログを設定します。
   https://kb.vmware.com/s/article/1007873 の手順に従ってゲスト オペレーティング システムでデバッグ ログを設定してから、VMware Toolsを再起動します。

2. 新しいバックアップを実行して、休止エラーを再現します。

3. デバッグ ツールのログを確認します(静止情報はvmsvcログにあり、[vmbackup]プレフィックスが付いている必要があります)。

この例では、部分的に削除された/var/log/brsディレクトリーが原因で問題が発生しています。バックグラウンド処理でディレクトリーが開いているため、このディレクトリーを完全に削除できませんでした。この部分的に削除されたフォルダーは、Linux ファイル システムが ioctls 関数で応答しなくなるのを防ぎます。

[   debug] [vmbackup] Submitted backup start task.
[   debug] [vmbackup] *** VmBackupSyncDriverStart
[   debug] [vmsvc] SyncDriver: Skipping remote filesystem, name=systemd-1, mntpt=/proc/sys/fs/binfmt_misc.
[   debug] [vmsvc] SyncDriver: Calling backend 0.
[   debug] [vmsvc] SyncDriver: Freezing using Linux ioctls...
[   debug] [vmsvc] SyncDriver: opening path '/var/lib/named/proc'.
[   debug] [vmsvc] SyncDriver: freezing path '/var/lib/named/proc'.
[   debug] [vmsvc] SyncDriver: freeze on '/var/lib/named/proc' returned: 95 (Operation not supported)
[   debug] [vmsvc] SyncDriver: opening path '/var/log/logbundles'.
[   debug] [vmsvc] SyncDriver: freezing path '/var/log/logbundles'.
[   debug] [vmsvc] SyncDriver: successfully froze '/var/log/logbundles'.
[   debug] [vmsvc] SyncDriver: opening path '/var/log/brs (deleted)'.
[   debug] [vmsvc] SyncDriver: failed to open '/var/log/brs (deleted)': 2 (No such file or directory)
[ warning] [vmbackup] Error freezing filesystems.

/var/log/brsディレクトリーを詳しく調べると、このディレクトリーを他のコマンドから開くときに問題が発生することがあります。lsofやstatと同様に問題も表示されます。

IDPA-ACM:/var/log # lsof|grep brs
lsof: WARNING: can't stat() xfs file system /var/log/brs (deleted)
      Output information may be incomplete.

IDPA-ACM:/var/log # ls -al
drwxr-xr-x 0 root     root            6 Feb 27  2018 brs

ACM仮想マシンが再起動され、バックグラウンドのACMプロセスが強制終了されました。再起動後、/var/log/brsディレクトリーがACMプロセスによって再作成され、それ以上の休止問題なしにバックアップを完了できました。

IDPA-ACM:/var/log # ls -al
drwxr-xr-x 2 root     root            6 Apr 15 10:30 brs

上記のKBに従って、クライアント上のvmtoolsのデバッグ ログを削除し、vmtoolsサービスを再起動してください。