Avamar: Postup ověření selhání uvolňování paměti v systému Avamar

Co je to Garbage Collection?

Uvolňování paměti (GC) je proces odstraňování nepoužívaných bloků paměti ze záloh, jejichž platnost vypršela. Tím se uvolní kapacita serveru Avamar.

Ve výchozím nastavení se uvolňování paměti spouští jednou denně počínaje začátkem časového období údržby.

Běžné příznaky selhání:

• MSG_ERR_DDR_ERROR
• MSG_ERR_DISKFULL
• MSG_ERR_MISC
• MSG_ERR_TRYAGAINLATER
• MSG_ERR_BADTIMESYNC

Běžné příčiny selhání GC:

• Existuje mnoho základních problémů, které mohou způsobit selhání uvolňování paměti MSG_ERR_DDR_ERROR. Některé z těchto důvodů zahrnují:
  • Chyby sítě nebo připojení
  • Problémy se souborovým systémem Data Domain
  • Zařízení Data Domain se zaplní
  • Uživatelské heslo DD Boost, jehož platnost vypršela, nebo nesprávné heslo uživatele DD Boost
  • Existuje příliš mnoho kontrolních bodů (Avamar) nebo snapshotů (Data Domain). To je obvykle spojeno s hfscheck Chyby, které neumožňují "roll-off" starých kontrolních bodů a snapshotů.

• Od softwaru Avamar v.7 mohou zálohování běžet současně s uvolňováním paměti.
• Při přidávání nových dat ze záloh může občas dojít k procesu nazvanému "Index Stripe Splitting".
• Vzhledem k tomu, že tento proces rozdělení pruhů indexu nelze spustit, když je spuštěné uvolňování paměti, zobrazí se jedna z výše uvedených chyb.
  • Indexové pruhy v mřížce mají tendenci se rozdělovat přibližně ve stejném časovém období jako ostatní na různých uzlech.
  • Někdy to může trvat několik dní.
  • Software Avamar funguje standardním způsobem. Alternativním řešením je nespouštět zálohy během uvolňování paměti.

• Jedná se o vzácný problém, ke kterému dochází pouze u sítí s více uzly. K chybě dochází, když není synchronizován čas mezi jedním nebo více datovými uzly Avamar a uzlem nástroje.
• Je pravděpodobné, že všechny úkoly údržby (GC, kontrolní bod a hfscheck) hlásí stejnou chybu. 

Určení nejnovějšího stavu uvolňování paměti:

Informace o nejnovějším uvolňování paměti lze zobrazit pomocí rozhraní příkazového řádku, AUI nebo uživatelského rozhraní serveru konzoly pro správu (MCS).

Z rozhraní příkazového řádku:

• Otevřete relaci SSH (například putty) k serveru Avamar a přihlaste se jako admin. Zadejte následující příkazy:

status.dpn
avmaint gcstatus

• Následující příklady ukazují úspěšné uvolňování paměti:

Last GC: finished Tue Jul  9 00:00:23 2024 after 00m 03s >> recovered 199.88 KB (OK)
Last GC: finished Wed Jun  5 09:20:46 2024 after 00m 12s >> recovered 0.00 KB (OK)

• Pokud se stav zobrazuje jinak než (OK), jedná se o potenciální problém s uvolňováním paměti:

Last GC: finished Mon Jun 17 09:02:41 2024 after 01m 51s >> recovered 14.98 MB (MSG_ERR_DDR_ERROR)
Last GC: finished Thu Jun 13 07:06:54 2024 after 03m 41s >> recovered 0.00 KB (MSG_ERR_DISKFULL)
Last GC: finished Mon Jun 10 19:04:58 2024 after 01m 01s >> recovered 0 KB (MSG_ERR_MISC)
Last GC: finished Thu Jun  16:21:12 2024 after 00m 25s >> recovered 0 KB (MSG_ERR_BADTIMESYNC)

Z AUI:

• Zkontrolujte stav Last Garbage Status. Pokud se stav zobrazuje jinak než (OK), jedná se o potenciální problém s uvolňováním paměti.

V uživatelském rozhraní MCS:

• Pokud má "Last Garbage collection" červené "x", jak je znázorněno výše, došlo k potenciálnímu problému s uvolňováním paměti a je vyžadována další analýza.

Pokud uvolňování paměti nadále selhává kvůli skutečnému problému (ověřenému pomocí výše uvedených kroků), vyberte příslušné možnosti ve formuláři odpovědi na výstrahu a přeneste servisní požadavek na agenta podpory.

Potvrzení chyb po vyřešení problému:

Z rozhraní příkazového řádku:

1. Vyhledejte nepotvrzené události spuštěním:

mccli event show --unack

2. Potvrďte buď jeden kód zadáním jedinečného ID, nebo všechny chybové kódy:

mccli event show --id-

Z AUI:

1. Přihlaste se do AUI a zobrazte řídicí panel: 

2. Klikněte na vykřičník a na obrazovce se zobrazí něco podobného následujícímu:

3. Klikněte na Nepotvrzené události a na obrazovce se zobrazí něco podobného následujícímu:

4. Vyberte událost (jak je znázorněno výše) a klikněte na tlačítko Potvrdit.

Určení, jak dlouho GC selhává:

Nejjednodušší způsob, jak zjistit, jak dlouho uvolňování paměti selhává, je použít rozhraní příkazového řádku (ačkoli tyto informace jsou k dispozici také v uživatelském rozhraní AUI i MCS)

Následující příkaz zobrazí všechna selhání uvolňování paměti za posledních 30 dnů:

dumpmaintlogs --types=gc --days=30 |grep "failed garbage collection"

2024/05/27-16:32:18.55893 {0.0} <4202> failed garbage collection with error MSG_ERR_DDR_ERROR
2024/05/28-16:32:37.92920 {0.0} <4202> failed garbage collection with error MSG_ERR_DDR_ERROR
2024/05/29-16:31:51.62962 {0.0} <4202> failed garbage collection with error MSG_ERR_DDR_ERROR
2024/05/30-16:31:55.18969 {0.0} <4202> failed garbage collection with error MSG_ERR_DDR_ERROR
2024/06/20-01:19:09.97961 {0.0} <4202> failed garbage collection with error MSG_ERR_DDR_ERROR