Avamar: Il backup NDMP di NetApp ha esito negativo con un segnale irreversibile ad alto utilizzo della memoria 11
Summary: Quando si esegue il backup dei volumi NetApp, il backup non riesce nella fase di inizializzazione. Quando avtar tenta di leggere inode.dir.map dal backup precedente, termina con il segnale irreversibile 11 a causa dell'elevato utilizzo della memoria. ...
Symptoms
Sintomi di errore del backup
Il backup dei volumi NetApp non riesce nella fase di inizializzazione quando avtar tenta di leggere inode.dir.map dal backup precedente. Il backup termina con un segnale irreversibile 11.
NetApp utilizza inode anziché nomi di file per documentare i file nel flusso di dati. Con un numero elevato di file, i processi di gestione iniziali possono esaurire la memoria poiché è qui che vengono archiviate le mappe inode, per impostazione predefinita.
L'errore si verifica in genere durante i backup pianificati. In genere, un backup manuale ha esito positivo.
Esempio: Viene eseguito il backup di due volumi. Il volume maggiore (>200 TB) riesce durante un backup pianificato. Il volume più piccolo (~21 TB) non riesce a eseguire i backup pianificati. Ha esito positivo quando viene eseguito manualmente.
La documentazione di Avamar indica un limite di 200 milioni di file. Questo esempio conteneva 480 milioni di file.
Messaggi di registro rilevanti
2022-04-20 13:00:36 avndmp Info : [snapup-/plz/Images] NDMP: DUMP: Using inowalk incremental dump for Full Volume
2022-04-20 13:01:14 avndmp Info : [ctl_spawn] Process 5718 (/usr/local/avamar/bin/avtar) finished (code 176: fatal signal)
2022-04-20 13:01:14 avndmp Warning : [ctl_spawn] CTL workorder "9am-3pm-Images-165044985231#1" non-zero exit status 'code 176: fatal signal'
2022-04-20 13:01:16 avndmp Error : [snapup-/plz/Images] Premature end of child. Changing exitcode from 176 to 157
Non è un'indicazione di una causa.
Messaggi di registro Avtar
log 2022-04-20 13:00:43 avtar Info : Using backup #49 timestamp 2022-04-19 18:08:46 UTC label "mages-165044985231#0" as base for incremental backup
2022-04-20 13:00:43 avtar Info : - Establishing a connection via token to the Data Domain system with encryption (Connection mode: A:3 E:2).
2022-04-20 13:00:43 avtar Info : CDSF backup does not use asynchronous reading of NetApp stream. Disabling that feature.
2022-04-20 13:00:43 avtar Info : Reading inode.dir.map from previous backup
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
2022-04-20 13:01:14 avtar FATAL : handlefatal: Aborting program with code 176, pid=5718, sig=11
Cause
Root cause del problema
Il problema è causato dal fatto che la mappa inode è più grande della memoria allocata per la mappa.
Quando viene letto in memoria, scrive oltre il limite di memoria allocata causando il messaggio di errore irreversibile di Signal 11.
Ciò si verifica a causa dell'elevato numero di inode per il backup, che sovraccarica il segmento di memoria riservato alla mappa degli inode.
I messaggi di errore nei registri, ad esempio "Fatal signal 11" e "uapp::handlefatal: Fatal signal 11", indica che il programma ha riscontrato un errore irreversibile a causa del sovraccarico di memoria.
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718 2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11 2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
Resolution
Configurazione di avtar per l'utilizzo del disco per l'archiviazione della mappa degli inode.
La soluzione alternativa consiste nell'archiviare le mappe degli inode su un file del disco anziché sulla memoria. Questo dice ad avtar che quando si leggono le mappe degli inode per memorizzarle su disco piuttosto che in memoria. Questo elimina il problema della memoria SIG-11.
Esistono due metodi per impostare il flag stream-disk-buffer per configurare avtar in modo che utilizzi il disco per l'archiviazione della mappa degli inode.
Metodo 1. Utilizzo dell'interfaccia amministratore di Avamar
Accedere al dataset del client, aprire la finestra di dialogo On-Demand Backup Options, cliccare su More Options. Viene visualizzata la finestra di dialogo Backup Command-Line Options. Cliccare su More (Altro). Digitare [avtar]stream-disk-buffer in Enter Attribute, selezionare true nei campi Enter Attribute Value. Cliccare su Icona di aggiunta per aggiungere l'attributo.
Metodo 2. Utilizzo avtar.cmd
Utilizzando un editor di testo UNIX, nella directory var del client NAS in /usr/local/avamar/var/CLIENT_NAME, creare un file avtar.cmd. Se il file esiste, modificarlo. Nel file, su una riga separata, immettere il seguente flag:
--stream-disk-buffer
Verifica della risoluzione
Dopo aver impostato il flag stream-disk-buffer, verificare che il problema sia stato risolto correttamente controllando i file di log avndmp.log e avtar per eventuali errori relativi allo storage della mappa degli inode.