Avamar: Prüfpunkt schlägt aufgrund von Data Domain-Kapazitätsproblemen mit Ergebnis-MSG_ERR_DDR_ERROR fehl
Summary: Die Data Domain-Speicherplatznutzung (DD) in der Datenerhebung hat den Schwellenwert von 100 % überschritten, was dazu führt, dass Avamar-Prüfpunkte mit MSG_ERR_DDR_ERROR fehlschlagen.
Symptoms
Sowohl geplante als auch manuelle Prüfpunkte schlagen mit MSG_ERR_DDR_ERROR fehl.
Zum Beispiel:
status.dpn
Mon Aug 19 13:33:53 WEST 2019 [AV-XXX] Mon Aug 19 12:33:53 2019 UTC (Initialized Wed Feb 11 12:42:51 2015 UTC)
Node IP Address Version State Runlevel Srvr+Root+User Dis Suspend Load UsedMB Errlen %Full Percent Full and Stripe Status by Disk
0.0 10.xxx.x.xx 19.1.0-38 ONLINE fullaccess mhpu+0hpu+0hpu 1 false 0.3 0 31802 52675327 11.8% 12%(onl:4148) 11%(onl:4133) 11%(onl:4135) 11%(onl:4140) 11%(onl:4138) 11%(onl:4147)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable
System ID: XXXXXXXX@00:1E:67:87:C4:6B
All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0hpu)
System-Status: ok
Access-Status: full
Checkpoint failed with result MSG_ERR_DDR_ERROR : cp.20190819054530 started Mon Aug 19 06:45:31 2019 ended Mon Aug 19 06:58:24 2019, completed 24840 of 24841 stripes
Last GC: finished Mon Aug 19 05:21:35 2019 after 20m 58s >> recovered 71.89 MB (MSG_ERR_DDR_ERROR)
Last hfscheck failed with result MSG_ERR_DDR_ERROR : started Mon Aug 19 05:34:23
Das Data Domain-Protokoll (/usr/local/avamar/var/ddrmaintlogs/ddrmaint.log) meldet ein "I/O error":
grep -i Error /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log|grep -v -i "Error not set"
Aug 19 05:15:50 av-XXX ddrmaint.bin[49665]: Error: <4710>Datadomain garbage collect operation failed.
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Warning: Calling DDR_CREATE_SNAPSHOT returned result code:5009 message:I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: cp-create::execute_create_checkpoint - Failed to create checkpoint for avamar-XXXXXXX to snapshot cp.20190819042140 on ddXXX, DDR result code: 5009, desc: I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: <4760>Datadomain checkpoint create operation failed.
Cause
Der Data Domain-Speicherplatz (DD) hat die Kapazität erreicht.
Dies kann wie folgt überprüft werden:
1. Stellen Sie eine Verbindung mit der Data Domain her. Verwenden von Avamar: So greifen Sie bei Bedarf auf ein Data Domain-System als Referenz zu.
2. Überprüfen Sie, ob Warnmeldungen vorhanden sind:
alerts show current
Id Post Time Severity Class Object Message
----- ------------------------ -------- ---------- ------------- ----------------------------------------------------------------------------
p0-87 Fri Aug 16 21:55:33 2019 CRITICAL Filesystem FilesysType=2 EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
----- ------------------------ -------- ---------- ------------- ----------------------------------------------------------------------------
There is 1 active alert.
3. Führen Sie "df" Befehl durchgeführt:
df
Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 15.1 - - -
/data: post-comp 30731.1 30608.8 122.3 100% 13.1
/ddvar 49.1 8.7 37.9 19% -
/ddvar/core 158.3 0.1 150.2 0% -
---------------- -------- -------- --------- ---- --------------
* Estimated based on last cleaning of 2019/07/15 06:04:40.
Cloud Tier
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 19.0 - - -
/data: post-comp 33487.7* 20.4 33467.4 0% 0.0
---------------- -------- -------- --------- ---- -------------
* Post-comp size is based on CLOUDTIER-CAPACITY license and might not be same as the cloud storage.
Total:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 34.1 - - -
/data: post-comp 33829.9 36.4 33793.4 0% 0.0
/ddvar 49.1 8.7 37.9 19% -
/ddvar/core 158.3 0.1 150.2 0% -
---------------- -------- -------- --------- ---- -------------
Resolution
1. Auf Data Domain:
ein. Überprüfen Sie den Bereinigungsstatus des Dateisystems:
filesys clean status
Beispielausgaben:
Die Bereinigung wird nicht ausgeführt:
Cleaning finished at 2019/08/19 21:37:46
Die Bereinigung läuft:
Cleaning started at 2019/08/19 06:00:02: phase 3 of 6 (pre-enumeration)
1.6% complete, 0 GiB free; time: phase 1:26:05, total 1:48:11
b. Wenn die Bereinigung ausgeführt wird, warten Sie, bis sie abgeschlossen ist, und überprüfen Sie dann die Kapazität mit dem df-Befehl.
c. Wenn die Bereinigung nicht ausgeführt wird, überprüfen Sie den Zeitplan für die Dateisystembereinigung:
filesys clean show schedule
Beispiel Ausgabe:
Filesystem cleaning is scheduled to run "Tue" at "0700".
d. Starten Sie, falls erforderlich, eine manuelle Dateisystembereinigung und überwachen Sie diese bis zum Abschluss mit dem Befehl "fileysys clean watch" wie in der folgenden Ausgabe angegeben.
filesys clean start
Cleaning started. Use 'filesys clean watch' to monitor progress.
2. Auf Avamar:
ein. Sobald die Kapazitätsprobleme auf Data Domain behoben wurden, führen Sie einen manuellen Prüfpunkt durch:
mccli checkpoint create --override_maintenance_scheduler
b. Überwachen Sie den Vorgang bis zum Abschluss und vergewissern Sie sich, dass er erfolgreich ist.
c. Überwachen Sie das Raster bis zum nächsten Wartungsfenster, um sicherzustellen, dass alle Avamar-Wartungsaufgaben (Prüfpunkt, Prüfpunktvalidierung, (hfscheck) und die automatische Speicherbereinigung werden erfolgreich abgeschlossen.