Avamar: Il checkpoint ha esito negativo con esito MSG_ERR_DDR_ERROR a causa di problemi di capacità di Data Domain
Summary: L'utilizzo dello spazio di Data Domain (DD) nella data collection ha superato la soglia del 100%, causando l'errore dei checkpoint Avamar con MSG_ERR_DDR_ERROR.
Symptoms
Sia i checkpoint pianificati che quelli manuali hanno esito negativo con MSG_ERR_DDR_ERROR.
Ad esempio:
status.dpn
Mon Aug 19 13:33:53 WEST 2019 [AV-XXX] Mon Aug 19 12:33:53 2019 UTC (Initialized Wed Feb 11 12:42:51 2015 UTC)
Node IP Address Version State Runlevel Srvr+Root+User Dis Suspend Load UsedMB Errlen %Full Percent Full and Stripe Status by Disk
0.0 10.xxx.x.xx 19.1.0-38 ONLINE fullaccess mhpu+0hpu+0hpu 1 false 0.3 0 31802 52675327 11.8% 12%(onl:4148) 11%(onl:4133) 11%(onl:4135) 11%(onl:4140) 11%(onl:4138) 11%(onl:4147)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable
System ID: XXXXXXXX@00:1E:67:87:C4:6B
All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0hpu)
System-Status: ok
Access-Status: full
Checkpoint failed with result MSG_ERR_DDR_ERROR : cp.20190819054530 started Mon Aug 19 06:45:31 2019 ended Mon Aug 19 06:58:24 2019, completed 24840 of 24841 stripes
Last GC: finished Mon Aug 19 05:21:35 2019 after 20m 58s >> recovered 71.89 MB (MSG_ERR_DDR_ERROR)
Last hfscheck failed with result MSG_ERR_DDR_ERROR : started Mon Aug 19 05:34:23
Il registro di Data Domain (/usr/local/avamar/var/ddrmaintlogs/ddrmaint.log) riporta "I/O errore":
grep -i Error /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log|grep -v -i "Error not set"
Aug 19 05:15:50 av-XXX ddrmaint.bin[49665]: Error: <4710>Datadomain garbage collect operation failed.
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Warning: Calling DDR_CREATE_SNAPSHOT returned result code:5009 message:I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: cp-create::execute_create_checkpoint - Failed to create checkpoint for avamar-XXXXXXX to snapshot cp.20190819042140 on ddXXX, DDR result code: 5009, desc: I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: <4760>Datadomain checkpoint create operation failed.
Cause
Lo spazio di Data Domain (DD) ha raggiunto la capacità.
Questa condizione può essere verificata effettuando le seguenti operazioni:
1. Connettersi a Data Domain. Utilizzare Avamar: Come accedere a un sistema Data Domain come riferimento in base alle esigenze.
2. Verificare la presenza di eventuali avvisi:
alerts show current
Id Post Time Severity Class Object Message
----- ------------------------ -------- ---------- ------------- ----------------------------------------------------------------------------
p0-87 Fri Aug 16 21:55:33 2019 CRITICAL Filesystem FilesysType=2 EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
----- ------------------------ -------- ---------- ------------- ----------------------------------------------------------------------------
There is 1 active alert.
3. Eseguire nuovamente il comando "df" :
df
Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 15.1 - - -
/data: post-comp 30731.1 30608.8 122.3 100% 13.1
/ddvar 49.1 8.7 37.9 19% -
/ddvar/core 158.3 0.1 150.2 0% -
---------------- -------- -------- --------- ---- --------------
* Estimated based on last cleaning of 2019/07/15 06:04:40.
Cloud Tier
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 19.0 - - -
/data: post-comp 33487.7* 20.4 33467.4 0% 0.0
---------------- -------- -------- --------- ---- -------------
* Post-comp size is based on CLOUDTIER-CAPACITY license and might not be same as the cloud storage.
Total:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 34.1 - - -
/data: post-comp 33829.9 36.4 33793.4 0% 0.0
/ddvar 49.1 8.7 37.9 19% -
/ddvar/core 158.3 0.1 150.2 0% -
---------------- -------- -------- --------- ---- -------------
Resolution
1. Su Data Domain:
un. Controllare lo stato di pulizia del file system:
filesys clean status
Output di esempio:
La pulizia non viene eseguita:
Cleaning finished at 2019/08/19 21:37:46
La pulizia è in esecuzione:
Cleaning started at 2019/08/19 06:00:02: phase 3 of 6 (pre-enumeration)
1.6% complete, 0 GiB free; time: phase 1:26:05, total 1:48:11
b. Se la pulizia è in esecuzione, attenderne il completamento, quindi controllare la capacità utilizzando il comando df.
c. Se la pulizia non è in esecuzione, controllare la pianificazione di pulizia del file system:
filesys clean show schedule
Esempio di output:
Filesystem cleaning is scheduled to run "Tue" at "0700".
d. Se necessario, avviare una pulizia manuale del file system e monitorarne il completamento utilizzando il comando "fileysys clean watch" come indicato nell'output riportato di seguito.
filesys clean start
Cleaning started. Use 'filesys clean watch' to monitor progress.
2. Su Avamar:
un. Una volta risolti i problemi di capacità su Data Domain, eseguire un checkpoint manuale:
mccli checkpoint create --override_maintenance_scheduler
b. Monitorare fino al completamento e verificare che venga eseguito correttamente.
c. Monitorare la griglia attraverso la finestra di manutenzione successiva per verificare che tutte le attività di manutenzione di Avamar (checkpoint, convalida del checkpoint, (hfscheck) e la garbage collection è stata completata correttamente.