Avamar: NDMP-säkerhetskopiering av NetApp misslyckas med hög minnesanvändning Allvarlig signal 11

Symptom på säkerhetskopieringsfel

Säkerhetskopieringen av NetApp-volymer misslyckas i initieringsfasen när avtar försöker läsa inode.dir.map från den tidigare säkerhetskopieringen. Säkerhetskopieringen avslutas med en dödlig signal 11.

NetApp använder inoder i stället för filnamn för att dokumentera filerna i dataströmmen. Med stora filantal kan de initiala hanteringsprocesserna få slut på minne eftersom det är här inodkartorna lagras som standard.

Felet uppstår vanligtvis under schemalagda säkerhetskopieringar. En manuell säkerhetskopiering lyckas vanligtvis.

Exempel: Två volymer säkerhetskopieras. Den större volymen (>200 TB) lyckas under en schemalagd säkerhetskopiering. Den mindre volymen (~21 TB) misslyckas med schemalagda säkerhetskopieringar. Det lyckas när det körs manuellt.

I Avamar-dokumentationen anges en gräns på 200 miljoner filer. Det här exemplet hade 480 miljoner filer.

Relevanta loggmeddelanden

2022-04-20 13:00:36 avndmp Info : [snapup-/plz/Images] NDMP: DUMP: Using inowalk incremental dump for Full Volume
2022-04-20 13:01:14 avndmp Info : [ctl_spawn] Process 5718 (/usr/local/avamar/bin/avtar) finished (code 176: fatal signal)
2022-04-20 13:01:14 avndmp Warning : [ctl_spawn] CTL workorder "9am-3pm-Images-165044985231#1" non-zero exit status 'code 176: fatal signal'
2022-04-20 13:01:16 avndmp Error : [snapup-/plz/Images] Premature end of child. Changing exitcode from 176 to 157

Avtar-loggmeddelanden

log 2022-04-20 13:00:43 avtar Info : Using backup #49 timestamp 2022-04-19 18:08:46 UTC label "mages-165044985231#0" as base for incremental backup
2022-04-20 13:00:43 avtar Info : - Establishing a connection via token to the Data Domain system with encryption (Connection mode: A:3 E:2).
2022-04-20 13:00:43 avtar Info : CDSF backup does not use asynchronous reading of NetApp stream. Disabling that feature.
2022-04-20 13:00:43 avtar Info : Reading inode.dir.map from previous backup
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
2022-04-20 13:01:14 avtar FATAL : handlefatal: Aborting program with code 176, pid=5718, sig=11

Grundorsak till problemet

Problemet orsakas av att inodkartan är större än det minne som allokerats för kartan.

När den läses in i minnet skriver den förbi den allokerade minnesgränsen, vilket orsakar det allvarliga felmeddelandet Signal 11.

Detta inträffar på grund av det höga inodantalet för säkerhetskopieringen, som överskrider minnessegmentet som är reserverat för inodkartan.

Felmeddelandena i loggarna, till exempel "Fatal signal 11" och "uapp::handlefatal: Fatal signal 11", indikerar att programmet har stött på ett allvarligt fel på grund av minnesöverskridningen.

2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11

Konfigurera Avtar att använda disk för lagring av inodkartor.

Lösningen är att lagra inodmapparna till en diskfil i stället för minne. Detta talar om för avtar att när man läser inoderna kartor för att lagra dem på disk snarare än i minnet. Detta eliminerar SIG-11-minnesproblemet.

Det finns två metoder för att ställa in stream-disk-buffer-flaggan för att konfigurera avtar för att använda disk för lagring av inodkartor.

Metod 1: Använda Avamar-administratörsgränssnittet

Gå till klientdatauppsättningen, öppna dialogrutan Alternativ för säkerhetskopiering på begäran och klicka på Fler alternativ. Dialogrutan Kommandoradsalternativ för säkerhetskopiering visas. Klicka på Mer. Skriv [avtar]stream-disk-buffer i Ange attribut och välj true i fälten Ange attributvärde. Klicka på ikonen Lägg till för att lägga till attributet.

Metod 2: Använda avtar.cmd

Använd en UNIX-textredigerare och skapa en fil avtar.cmd i NAS-klientens var-katalog i /usr/local/avamar/var/CLIENT_NAME. Om filen finns redigerar du den befintliga filen. I filen anger du följande flagga på en egen rad:

--stream-disk-buffer

Verifiera lösningen

När du har ställt in stream-disk-buffer-flaggan, kontrollera att problemet har lösts genom att kontrollera avndmp.log- och avtar-loggfilerna för eventuella fel relaterade till lagring av inodkartor.