Avamar: El respaldo NDMP de NetApp falla con un alto uso de memoria Señal fatal 11
Summary: Cuando se respaldan volúmenes de NetApp, el respaldo falla en la fase de inicialización. Cuando avtar intenta leer inode.dir.map desde el respaldo anterior, finaliza con la señal irrecuperable 11 debido al alto uso de memoria. ...
Symptoms
Síntomas de falla de respaldo
El respaldo de volúmenes de NetApp falla en la fase de inicialización cuando avtar intenta leer inode.dir.map desde el respaldo anterior. El respaldo termina con una señal fatal 11.
NetApp utiliza inodos en lugar de nombres de archivo para documentar los archivos en el flujo de datos. Con conteos de archivos grandes, los procesos de administración iniciales pueden quedarse sin memoria, ya que aquí es donde se almacenan los mapeos de inodos de manera predeterminada.
Por lo general, la falla se produce durante los respaldos programados. Por lo general, un respaldo manual se realiza correctamente.
Ejemplo: Se respaldan dos volúmenes. El volumen mayor (>200 TB) se realiza correctamente durante un respaldo programado. El volumen más pequeño (~21 TB) falla en los respaldos programados. Se realiza correctamente cuando se ejecuta manualmente.
La documentación de Avamar menciona un límite de 200 millones de archivos. Este ejemplo tenía 480 millones de archivos.
Mensajes de registro pertinentes
2022-04-20 13:00:36 avndmp Info : [snapup-/plz/Images] NDMP: DUMP: Using inowalk incremental dump for Full Volume
2022-04-20 13:01:14 avndmp Info : [ctl_spawn] Process 5718 (/usr/local/avamar/bin/avtar) finished (code 176: fatal signal)
2022-04-20 13:01:14 avndmp Warning : [ctl_spawn] CTL workorder "9am-3pm-Images-165044985231#1" non-zero exit status 'code 176: fatal signal'
2022-04-20 13:01:16 avndmp Error : [snapup-/plz/Images] Premature end of child. Changing exitcode from 176 to 157
No hay indicio de una causa.
Mensajes de registro de Avtar
log 2022-04-20 13:00:43 avtar Info : Using backup #49 timestamp 2022-04-19 18:08:46 UTC label "mages-165044985231#0" as base for incremental backup
2022-04-20 13:00:43 avtar Info : - Establishing a connection via token to the Data Domain system with encryption (Connection mode: A:3 E:2).
2022-04-20 13:00:43 avtar Info : CDSF backup does not use asynchronous reading of NetApp stream. Disabling that feature.
2022-04-20 13:00:43 avtar Info : Reading inode.dir.map from previous backup
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
2022-04-20 13:01:14 avtar FATAL : handlefatal: Aborting program with code 176, pid=5718, sig=11
Cause
Causa raíz del problema
El problema se debe a que el mapeo de inodos es mayor que la memoria asignada para el mapeo.
Cuando se lee en la memoria, escribe más allá del límite de memoria asignado, lo que causa el mensaje de error irrecuperable Signal 11.
Esto ocurre debido al alto conteo de inodos para el respaldo, que sobrepasa el segmento de memoria reservado para el mapa de inodos.
Los mensajes de error en los registros, como "Señal fatal 11" y "uapp::handlefatal: Señal fatal 11", indica que el programa ha encontrado un error fatal debido a la saturación de la memoria.
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718 2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11 2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
Resolution
Configuración de avtar para usar el disco para el almacenamiento de asignación de inodos.
La solución alternativa es almacenar los mapeos de inodo en un archivo de disco en lugar de en la memoria. Esto le dice a avtar que al leer los inodos se mapea para almacenarlos en el disco en lugar de en la memoria. Esto elimina el problema de memoria del SIG-11.
Hay dos métodos para establecer la marca stream-disk-buffer a fin de configurar avtar para usar el disco para el almacenamiento de asignación de inodos.
Método 1: Uso de la interfaz del administrador de Avamar
Vaya al conjunto de datos del cliente, abra el cuadro de diálogo On-Demand Backup Options y haga clic en More Options. Se muestra el cuadro de diálogo Backup Command-Line Options. Haga clic en More. Escriba [avtar]stream-disk-buffer en Enter Attribute, seleccione true en los campos Enter Attribute Value. Haga clic en Icono de adición para agregar el atributo.
Método 2: Uso de avtar.cmd
Mediante un editor de texto de UNIX, en el directorio var client de NAS en /usr/local/avamar/var/CLIENT_NAME, cree una avtar.cmd de archivos. Si el archivo existe, edite el archivo existente. En el archivo, en su propia línea, ingrese la siguiente marca:
--stream-disk-buffer
Verificación de la resolución
Después de configurar la marca stream-disk-buffer, verifique que el problema se haya resuelto correctamente comprobando los archivos de registro de avndmp.log y avtar en busca de errores relacionados con el almacenamiento del mapa de inodos.