PowerProtect: TSDM-Backups schlagen mit ABV0016 für einen bestimmten ESXi-Host fehl
Summary: Bei der Schutz-Policy der virtuellen Maschine (VM) treten während der geplanten Ausführung zeitweilige Backupfehler mit der kritischen Meldungs-ID ABV0016 auf.
Symptoms
ABV0016: VM Direct engine 'localhost' is unable to back up the virtual machine 'my-vm-name' on vCenter 'my-vcernter-name' because of a vCenter API issue. The VM Direct engine cannot complete the backup of this virtual machine because of a vCenter API operation did not complete successfully. To troubleshoot this issue: 1) Verify that the vCenter can be reached. 2) If the vCenter is busy, wait for some activities to complete and then retry the operation. 3) Verify that the virtual machine exists on the vCenter. Read Less Unable to create LWD snapshot. vCenter task 'task-#####' failed: VimFault: dp.vpx.fault.DpdThrottleLimitExceeded.summary'
YYYY-MM-DD HH:MM:SS TRACE: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: SDM Full Sync: Closed file 'VM_Image_Daily_NON-SQL-uklpdtsbk001-f4723/PLCTLP-2832693c-377a-4f7e-952f-ffc1fdade2b1/Backups/c57b4143-f4c3-4760-86f5-7448429205ae/501efcd4-1f7e-5c9d-b98c-43633d01aa4c/lastSdmDiskBackupPath.json'. YYYY-MM-DD HH:MM:SS TRACE: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: SDM Full Sync: Checking if the last path exists which was used as a baseline for each disk ... YYYY-MM-DD HH:MM:SS INFO: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: SDM Full Sync: Full sync is not needed, skipping. YYYY-MM-DD HH:MM:SS TRACE: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: vCenter SOAP call 'DpSnapshot' was accepted. YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: The vCenter task failed: dp.vpx.fault.DpdThrottleLimitExceeded.summary YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: The vCenter task for 'Create SDM Snapshot' completed with state 'error'. YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: Unable to create SDM snapshot. YYYY-MM-DD HH:MM:SS TRACE: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: Retrying in 500ms... ... YYYY-MM-DD HH:MM:SS TRACE: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: vCenter SOAP call 'DpSnapshot' was accepted. YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: The vCenter task failed: dp.vpx.fault.DpdThrottleLimitExceeded.summary YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: The vCenter task for 'Create SDM Snapshot' completed with state 'error'. YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: Unable to create SDM snapshot. YYYY-MM-DD HH:MM:SS ERROR: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Create LWD Snapshot: Unsuccessful after 98 attempts over 1m0.158271936s. YYYY-MM-DD HH:MM:SS TRACE: [a30a8b8946958a4e;8d8911578980c3ff] SDM Data Mover: Snapshot failure can't be remedied by a Full sync.Der vSphere-Webclient zeigt mindestens einen ESXi-Host mit kontinuierlichen LWD-basierten Fehlern während der geplanten Ausführung an.
Die Ausgabe des vCenter-Support-Bundles /var/log/vmware/vsan-health/vsanvcmgmtd-*.log zeigt, dass der ESXi-Host als Legacy-DPD-Host identifiziert wird:
YYYY-MM-DD HH:MM:SS warning vsanvcmgmtd[11593] [vSAN@6876 sub=dps] [opId=0849c23c] Found legacy DPD on host: host-29. Applying legacy throttle limit: '10', instead of regular throttle limit: '20'
Cause
Wenn der vCenter vSAN-Integritätsservice-Cache veraltete Versionsinformationen oder einen Nulleintrag aufweist, wird der ESXi-Host als veraltet kategorisiert. Die standardmäßige PowerProtect Data Manager-Drosselung sendet 18 SDM-Backupsitzungen pro ESXi-Host. Der ESXi-Host verarbeitet die ersten 10 SDM-Backups, aber das vCenter schlägt bei allen nachfolgenden SDM-Backups fehl, was darauf hinweist, dass das DPD-Limit überschritten wurde.
Resolution
Es gibt Verbesserungen in vSphere 8.0 U1, die den vSAN-Integritätsservice-Cache unter bestimmten Bedingungen automatisch aktualisieren. Es wird empfohlen, ein Upgrade auf vSphere 8.0 U1 durchzuführen, um von diesen Verbesserungen zu profitieren und bestimmte vSAN-Integritätsservice-Cache-Symptome zu verhindern.
VMware-Problemumgehung:
Stellen Sie sicher, dass der vCenter Server und alle ESXi-Hosts im Cluster Version 7.0 U3d oder höher aufweisen. Löschen Sie den Cache, indem Sie den vSAN-Integritätsservice der vCenter Server Appliance (VCSA) über eine SSH-Sitzung neu starten:
service-control --restart vsan-health
Wenden Sie sich bei Bedarf an den VMware-Support, um weitere Einblicke oder Unterstützung zum vSAN-Integritätsservice zu erhalten.
Additional Information
PowerProtect Data Manager – Problemumgehung:
Es gibt eine Methode in PowerProtect Data Manager, um den Drosselungswert für TSDM-Backupsitzungen für alle ESXi-Hosts zu verringern. Dies kann als vorübergehende Problemumgehung beim Upgrade der ESXi-Hosts oder bei der Arbeit mit dem VMware-Support verwendet werden.
- Stellen Sie sicher, dass keine Schutzjobs ausgeführt werden
- Melden Sie sich bei PowerProtect Data Manager an und erhöhen Sie auf sudo: sudo su -
- Erstellen Sie eine Kopie der Datei vmdirect.env: cp vmdirect.env vmdirect.env.orig
- Offene Umgebung vmdirect.env-Datei: vi /opt/emc/vmdirect/unit/vmdirect.env
- Ändern Sie den Wert für die Umgebungsvariable "MAX_SDM_BACKUP_SESSIONS_PER_HOST" in 10 (statt 18) und speichern Sie die Datei.
- Starten Sie den VISD-Service neu:
systemctl restart visd.service
Beispiel Ausgabe:
my-ppdm:/opt/emc/vmdirect/unit # cp vmdirect.env vmdirect.env.orig
my-ppdm:/opt/emc/vmdirect/unit # ls -l
total 20
-rwxr-xr-x 1 root root 397 Nov 2 22:48 visd.service
-rwxr-xr-x 1 root root 2225 Nov 2 22:48 vmdirect.env
-rwx------ 1 root root 2225 Apr 21 09:39 vmdirect.env.orig
-rwxr-xr-x 1 root root 360 Nov 2 22:48 vpod-nas.service
-rwxr-xr-x 1 root root 334 Nov 2 22:48 vpod.service
my-ppdm:/opt/emc/vmdirect/unit # vi vmdirect.env
my-ppdm:/opt/emc/vmdirect/unit # cat vmdirect.env | grep SDM
SDM_ENABLED_EXTERNAL_PROXIES=false
export SDM_ENABLED_EXTERNAL_PROXIES
MAX_SDM_SESSIONS_PER_HOST=20
export MAX_SDM_SESSIONS_PER_HOST
MAX_SDM_BACKUP_SESSIONS_PER_HOST=10
export MAX_SDM_BACKUP_SESSIONS_PER_HOST
MAX_ESX_SDM_TOTAL_DISKS=40
export MAX_ESX_SDM_TOTAL_DISKS
my-ppdm:/opt/emc/vmdirect/unit # systemctl restart visd.service
my-ppdm:/opt/emc/vmdirect/unit # systemctl status visd.service
● visd.service - VMDirect Infrastructure Services Daemon
Loaded: loaded (/usr/lib/systemd/system/visd.service; enabled; vendor preset: disabled)
Active: active (running) since Fri YYYY-04-21 09:42:38 PDT; 7s ago
Main PID: 67488 (visd)
Tasks: 16 (limit: 512)
Memory: 23.2M
CPU: 317ms
CGroup: /system.slice/visd.service
└─67488 /opt/emc/vmdirect/bin/visd -user admin -group app -p 9097 -nodemgmt -proxymgmt -vmdeployment -installclient -l
Apr 21 09:42:38 my-ppdm.my-domain.com systemd[1]: Started VMDirect Infrastructure Services Daemon.
Apr 21 09:42:38 my-ppdm.my-domain.com visd[67488]: INFO: Found GID 2000 (app) for group 'app'.
Apr 21 09:42:38 my-ppdm.my-domain.com visd[67488]: NOTICE: Effective group ID is set to 2000 (app).
Apr 21 09:42:38 my-ppdm.my-domain.com visd[67488]: INFO: Found UID 500 (admin) for user 'admin'.
Apr 21 09:42:38 my-ppdm.my-domain.com visd[67488]: NOTICE: Effective user ID is set to 500 (admin).
my-ppdm:/opt/emc/vmdirect/unit #