Avamar: NDMP-back-up van NetApp mislukt bij hoog geheugengebruik Fatal Signal 11

Symptomen van back-upfout

De back-up van NetApp-volumes mislukt in de initialisatiefase wanneer avtar de inode.dir.map van de vorige back-up probeert te lezen. De back-up wordt beëindigd met een Fatal-signaal 11.

NetApp gebruikt inodes in plaats van bestandsnamen om de bestanden in de datastroom te documenteren. Bij grote aantallen bestanden kunnen de initiële beheerprocessen onvoldoende geheugen krijgen, omdat hier standaard de inodekaarten worden opgeslagen.

De fout treedt meestal op tijdens geplande back-ups. Een handmatige back-up lukt meestal.

Voorbeeld: Van twee volumes is een back-up gemaakt. Het grotere volume (>200 TB) slaagt tijdens een geplande back-up. Het kleinere volume (~21 TB) zorgt ervoor dat geplande back-ups mislukken. Dit lukt als het handmatig wordt uitgevoerd.

Avamar documentatie vermeldt een limiet van 200M bestanden. Dit voorbeeld had 480 miljoen bestanden.

Relevante logboekberichten

2022-04-20 13:00:36 avndmp Info : [snapup-/plz/Images] NDMP: DUMP: Using inowalk incremental dump for Full Volume
2022-04-20 13:01:14 avndmp Info : [ctl_spawn] Process 5718 (/usr/local/avamar/bin/avtar) finished (code 176: fatal signal)
2022-04-20 13:01:14 avndmp Warning : [ctl_spawn] CTL workorder "9am-3pm-Images-165044985231#1" non-zero exit status 'code 176: fatal signal'
2022-04-20 13:01:16 avndmp Error : [snapup-/plz/Images] Premature end of child. Changing exitcode from 176 to 157

Avtar Log Berichten

log 2022-04-20 13:00:43 avtar Info : Using backup #49 timestamp 2022-04-19 18:08:46 UTC label "mages-165044985231#0" as base for incremental backup
2022-04-20 13:00:43 avtar Info : - Establishing a connection via token to the Data Domain system with encryption (Connection mode: A:3 E:2).
2022-04-20 13:00:43 avtar Info : CDSF backup does not use asynchronous reading of NetApp stream. Disabling that feature.
2022-04-20 13:00:43 avtar Info : Reading inode.dir.map from previous backup
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
2022-04-20 13:01:14 avtar FATAL : handlefatal: Aborting program with code 176, pid=5718, sig=11

Hoofdoorzaak van het probleem

Het probleem wordt veroorzaakt doordat de inodekaart groter is dan het geheugen dat aan de kaart is toegewezen.

Wanneer het in het geheugen wordt gelezen, schrijft het voorbij de toegewezen geheugengrens, waardoor de fatale foutmelding van Signal 11 ontstaat.

Dit gebeurt vanwege het hoge aantal inoden voor de back-up, waardoor het geheugensegment dat is gereserveerd voor de inodekaart wordt overschreden.

De foutmeldingen in de logboeken, zoals "Fatal signal 11" en "uapp::handlefatal: Noodsignaal 11", geeft aan dat het programma een fatale fout heeft opgetreden als gevolg van een overschrijding van het geheugen.

2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11

Avtar configureren om schijf te gebruiken voor opslag van inodekaarten.

De tijdelijke oplossing is om de inodetoewijzingen op te slaan in een schijfbestand in plaats van in het geheugen. Dit vertelt avtar dat bij het lezen van de inodes-kaarten om ze op schijf op te slaan in plaats van in het geheugen. Dit elimineert het SIG-11-geheugenprobleem.

Er zijn twee methoden om de stream-disk-buffer-vlag in te stellen om avtar te configureren om schijf te gebruiken voor inodekaartopslag.

Methode 1: De Avamar Administrator Interface gebruiken

Ga naar de clientdataset, open het dialoogvenster Back-upopties op aanvraag en klik op Meer opties. Het dialoogvenster Back-upopties in de opdrachtregel wordt weergegeven. Klik op Meer. Typ [avtar]stream-disk-buffer in het kenmerk Invoeren, selecteer true in de velden Attribuutwaarde invoeren. Klik op pictogram Toevoegen om het kenmerk toe te voegen.

Methode 2: Het gebruik van avtar.cmd

Maak met behulp van een UNIX-teksteditor een avtar.cmd bestand in de NAS-client var-directory in /usr/local/avamar/var/CLIENT_NAME. Als het bestand bestaat, bewerkt u het bestaande bestand. Voer in het bestand op zijn eigen regel de volgende vlag in:

--stream-disk-buffer

De oplossing controleren

Controleer na het instellen van de stream-disk-buffer-vlag of het probleem is opgelost door de avndmp.log- en avtar-logbestanden te controleren op fouten met betrekking tot inodekaartopslag.