Avamar: Zálohování NDMP aplikace NetApp selže s vysokým využitím paměti Fatal Signal 11
Summary: Při zálohování svazků NetApp se zálohování ve fázi inicializace nezdaří. Když se služba avtar pokusí přečíst soubor inode.dir.map z předchozí zálohy, ukončí se závažným signálem 11 z důvodu vysokého využití paměti. ...
Symptoms
Příznaky selhání zálohování
Zálohování svazků NetApp selže ve fázi inicializace, když se služba avtar pokusí přečíst soubor inode.dir.map z předchozí zálohy. Záloha končí fatálním signálem 11.
NetApp používá k dokumentaci souborů v datovém proudu místo názvů souborů inody. Při velkém počtu souborů může procesům počáteční správy dojít k nedostatku paměti, protože ve výchozím nastavení jsou zde uloženy mapy inodů.
K selhání obvykle dochází během plánovaných zálohování. Ruční zálohování je obvykle úspěšné.
Příklad: Jsou zálohovány dva svazky. Větší svazek (>200 TB) proběhne úspěšně během plánovaného zálohování. Menší svazek (~21 TB) selže při plánovaném zálohování. Při ručním spuštění proběhne úspěšně.
Dokumentace k softwaru Avamar uvádí limit 200 milionů souborů. Tento příklad obsahoval 480 milionů souborů.
Relevantní zprávy protokolu
2022-04-20 13:00:36 avndmp Info : [snapup-/plz/Images] NDMP: DUMP: Using inowalk incremental dump for Full Volume
2022-04-20 13:01:14 avndmp Info : [ctl_spawn] Process 5718 (/usr/local/avamar/bin/avtar) finished (code 176: fatal signal)
2022-04-20 13:01:14 avndmp Warning : [ctl_spawn] CTL workorder "9am-3pm-Images-165044985231#1" non-zero exit status 'code 176: fatal signal'
2022-04-20 13:01:16 avndmp Error : [snapup-/plz/Images] Premature end of child. Changing exitcode from 176 to 157
To není žádný náznak příčiny.
Zprávy protokolu Avtar
log 2022-04-20 13:00:43 avtar Info : Using backup #49 timestamp 2022-04-19 18:08:46 UTC label "mages-165044985231#0" as base for incremental backup
2022-04-20 13:00:43 avtar Info : - Establishing a connection via token to the Data Domain system with encryption (Connection mode: A:3 E:2).
2022-04-20 13:00:43 avtar Info : CDSF backup does not use asynchronous reading of NetApp stream. Disabling that feature.
2022-04-20 13:00:43 avtar Info : Reading inode.dir.map from previous backup
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718
2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11
2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
2022-04-20 13:01:14 avtar FATAL : handlefatal: Aborting program with code 176, pid=5718, sig=11
Cause
Hlavní příčina problému
Problém je způsoben tím, že mapa inodu je větší než paměť přidělená pro mapu.
Když je načten do paměti, zapisuje za hranici přidělené paměti, což způsobuje fatální chybovou zprávu Signal 11.
K tomu dochází kvůli vysokému počtu inodů pro zálohu, který překračuje segment paměti vyhrazený pro mapování inodů.
Chybové zprávy v protokolech, například "Fatal signal 11" a "uapp::handlefatal: Fatal signal 11", indikuje, že v programu došlo k fatální chybě z důvodu zahlcení paměti.
2022-04-20 13:01:14 avtar FATAL : Fatal signal 11 in pid 5718 2022/04/20-13:01:14.76035 [avtar] FATAL ERROR: uapp::handlefatal: Fatal signal 11 2022/04/20-13:01:14.76064 [avtar] ERROR: uapp::handlefatal: aborting program pid=5718, sig=11
Resolution
Konfigurace služby Avtar pro použití disku pro úložiště map inodů.
Alternativním řešením je ukládat mapy inodů do souboru disku, nikoli do paměti. To říká avtar, že při čtení se inody mapují, aby je ukládaly na disk, nikoli do paměti. Tím se eliminuje problém s pamětí SIG-11.
Existují dvě metody, jak nastavit příznak stream-disk-buffer pro konfiguraci služby avtar tak, aby používal disk pro úložiště mapování inodů.
1. způsob: Pomocí rozhraní správce Avamar
Přejděte na datovou sadu klienta, otevřete dialogové okno Možnosti zálohování na vyžádání a klikněte na Další možnosti. Zobrazí se dialogové okno Možnosti příkazového řádku zálohování. Klikněte na tlačítko Více. Do pole Enter Attribute zadejte [avtar]stream-disk-buffer a v polích Enter Attribute Value vyberte hodnotu true. Kliknutím na ikonu Přidat atribut přidejte.
2. způsob: Použití avtar.cmd
Pomocí textového editoru systému UNIX vytvořte v adresáři var klienta NAS ve složce /usr/local/avamar/var/CLIENT_NAME soubor avtar.cmd. Pokud soubor existuje, upravte existující soubor. V souboru na vlastním řádku zadejte následující příznak:
--stream-disk-buffer
Ověření řešení
Po nastavení příznaku stream-disk-buffer ověřte, zda byl problém úspěšně vyřešen – zkontrolujte, zda soubory protokolu avndmp.log a avtar neobsahují chyby související s úložištěm mapování inodů.