Avamar: El punto de control falla con el resultado MSG_ERR_DDR_ERROR debido a problemas de capacidad de Data Domain
Summary: El uso del espacio de Data Domain (DD) en la recolección de datos superó el umbral del 100 %, lo que provoca que los puntos de control de Avamar fallen con MSG_ERR_DDR_ERROR.
Symptoms
Los puntos de control programados y manuales fallan con MSG_ERR_DDR_ERROR.
Por ejemplo:
status.dpn
Mon Aug 19 13:33:53 WEST 2019 [AV-XXX] Mon Aug 19 12:33:53 2019 UTC (Initialized Wed Feb 11 12:42:51 2015 UTC)
Node IP Address Version State Runlevel Srvr+Root+User Dis Suspend Load UsedMB Errlen %Full Percent Full and Stripe Status by Disk
0.0 10.xxx.x.xx 19.1.0-38 ONLINE fullaccess mhpu+0hpu+0hpu 1 false 0.3 0 31802 52675327 11.8% 12%(onl:4148) 11%(onl:4133) 11%(onl:4135) 11%(onl:4140) 11%(onl:4138) 11%(onl:4147)
Srvr+Root+User Modes = migrate + hfswriteable + persistwriteable + useraccntwriteable
System ID: XXXXXXXX@00:1E:67:87:C4:6B
All reported states=(ONLINE), runlevels=(fullaccess), modes=(mhpu+0hpu+0hpu)
System-Status: ok
Access-Status: full
Checkpoint failed with result MSG_ERR_DDR_ERROR : cp.20190819054530 started Mon Aug 19 06:45:31 2019 ended Mon Aug 19 06:58:24 2019, completed 24840 of 24841 stripes
Last GC: finished Mon Aug 19 05:21:35 2019 after 20m 58s >> recovered 71.89 MB (MSG_ERR_DDR_ERROR)
Last hfscheck failed with result MSG_ERR_DDR_ERROR : started Mon Aug 19 05:34:23
El registro de Data Domain (/usr/local/avamar/var/ddrmaintlogs/ddrmaint.log) informa un "I/O error":
grep -i Error /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log|grep -v -i "Error not set"
Aug 19 05:15:50 av-XXX ddrmaint.bin[49665]: Error: <4710>Datadomain garbage collect operation failed.
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Warning: Calling DDR_CREATE_SNAPSHOT returned result code:5009 message:I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: cp-create::execute_create_checkpoint - Failed to create checkpoint for avamar-XXXXXXX to snapshot cp.20190819042140 on ddXXX, DDR result code: 5009, desc: I/O error
Aug 19 05:34:18 av-XXX ddrmaint.bin[52434]: Error: <4760>Datadomain checkpoint create operation failed.
Cause
El espacio de Data Domain (DD) ha alcanzado su capacidad máxima.
Esto se puede verificar haciendo lo siguiente:
1. Conéctese a Data Domain. Utilice Avamar: Cómo acceder a un sistema Data Domain como referencia, según sea necesario.
2. Compruebe si hay alertas:
alerts show current
Id Post Time Severity Class Object Message
----- ------------------------ -------- ---------- ------------- ----------------------------------------------------------------------------
p0-87 Fri Aug 16 21:55:33 2019 CRITICAL Filesystem FilesysType=2 EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
----- ------------------------ -------- ---------- ------------- ----------------------------------------------------------------------------
There is 1 active alert.
3. Ejecute el comando "df" el comando:
df
Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 15.1 - - -
/data: post-comp 30731.1 30608.8 122.3 100% 13.1
/ddvar 49.1 8.7 37.9 19% -
/ddvar/core 158.3 0.1 150.2 0% -
---------------- -------- -------- --------- ---- --------------
* Estimated based on last cleaning of 2019/07/15 06:04:40.
Cloud Tier
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 19.0 - - -
/data: post-comp 33487.7* 20.4 33467.4 0% 0.0
---------------- -------- -------- --------- ---- -------------
* Post-comp size is based on CLOUDTIER-CAPACITY license and might not be same as the cloud storage.
Total:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 34.1 - - -
/data: post-comp 33829.9 36.4 33793.4 0% 0.0
/ddvar 49.1 8.7 37.9 19% -
/ddvar/core 158.3 0.1 150.2 0% -
---------------- -------- -------- --------- ---- -------------
Resolution
1. En Data Domain:
un. Compruebe el estado de limpieza del sistema de archivos:
filesys clean status
Resultados de ejemplo:
La limpieza no está en ejecución:
Cleaning finished at 2019/08/19 21:37:46
La limpieza está en curso:
Cleaning started at 2019/08/19 06:00:02: phase 3 of 6 (pre-enumeration)
1.6% complete, 0 GiB free; time: phase 1:26:05, total 1:48:11
b. Si la limpieza está en ejecución, espere a que finalice y, a continuación, compruebe la capacidad mediante el comando df.
c. Si la limpieza no está en ejecución, compruebe el programa de limpieza del sistema de archivos:
filesys clean show schedule
Ejemplo del mensaje de salida:
Filesystem cleaning is scheduled to run "Tue" at "0700".
d. Si es necesario, inicie una limpieza manual del sistema de archivos y monitoree hasta su finalización mediante el comando "fileysys clean watch" como se indica en la siguiente salida.
filesys clean start
Cleaning started. Use 'filesys clean watch' to monitor progress.
2. En Avamar:
un. Una vez que se hayan resuelto los problemas de capacidad en Data Domain, ejecute un punto de control manual:
mccli checkpoint create --override_maintenance_scheduler
b. Monitoree hasta que finalice y verifique que se realice correctamente.
c. Monitoree la cuadrícula durante la siguiente ventana de mantenimiento para verificar que todas las tareas de mantenimiento de Avamar (punto de control, validación de punto de control, (hfscheck) y la recolección de elementos no utilizados se completó correctamente.