Avamar: Koncepty a školení řízení kapacity

Informace o problémech se správou kapacity, které se týkají systému Data Domain, naleznete v části „Opětovné získání úložného místa v zaplněném systému Data Domain“ v příručce integrace systému Avamar a Data Domain.

Příručky relevantní pro vaše provozní prostředí najdete zde: Jak najít dokumentaci k softwaru Avamar na webu podpory společnosti Dell

• Shrnout typy dat, které se ukládají do oddílů /data*.
• Představte koncept "kapacity operačního systému (OS)" a porovnejte jej s konceptem "kapacita uživatele" (někdy nazývaným "GSAN Kapacita.")
• Vysvětlit, proč byste neměli systém Avamar spouštět, pokud se blíží naplnění limitu kapacity uživatele.
• Uvést faktory, které přispívají k nárůstu množství režijních dat kontrolního bodu.
• Popsat, jak sledovat využití datových oddílů.
• Popsat příznaky, které se projevují, když se kapacita operačního systému vymkne kontrole.
• Uvést typické příčiny zpráv MSG_ERR_DISKFULL .
• Nastínit metody obnovení, které se používají v případě, kdy vysoká kapacita operačního systému ovlivňuje normální provoz systému.
• Popsat příznaky, které se projevují, když kapacita uživatele překročí svůj limit.
• Probrat, jak se zotavit ze situace s vysokou kapacitou uživatele.

V tomto článku se předpokládá, že je čtenář obeznámen s částí "Správa kapacity" v průvodci vzorovými provozními postupy systému Avamar.

Opět platí, že příručky relevantní pro vaše provozní prostředí najdete zde: Jak najít dokumentaci k softwaru Avamar na webu podpory společnosti Dell.

Běžné problémy, které ovlivňují nebo představují příznaky vysoké kapacity operačního systému, jsou:

• Ověření kontrolního bodu (hfscheck) selhává.
• Uvolňování paměti se nedaří spustit a hlásí MSG_ERR_DISKFULL.
• Selhávání vytváření kontrolního bodu.

• Zálohování selhává.
• Příchozí úlohy replikace selhávají.
• Zobrazení systému v režimu „Admin“ v rozhraní Administrator během okna zálohování

Tento článek obsahuje koncepty a školení k nástroji Avamar Capacity Management.

Jak se data ukládají na mřížku Avamar?

Správa kapacity nástroje Avamar se týká dat, která jsou v oddílech /data* všech datových uzlů Avamar.

• deduplikovaná záložní data,
• paritní data RAIN,
• režijní data kontrolního bodu.

Paritní data RAIN a data kontrolního bodu jsou vrstvy redundance dostupné pro systém Avamar společně s polem RAID a replikací.

Volné místo v datových oddílech je také vyžadováno, aby úlohy údržby, jako je uvolňování paměti (GC) a asynchronní prokládání, fungovaly správně.

Níže je grafické znázornění fyzického úložného prostoru, který je k dispozici v datových oddílech na uzlech úložiště Avamar.

Jak se data ukládají do datových oddílů?

Ve výše uvedeném diagramu je jednoduchá reprezentace využití místa v datových oddílech.

Hodnota 100 % nalevo je definována jako celková velikost fyzického místa dostupného pro operační systém v datových oddílech.

• Značka 100 % kapacity uživatele (limit jen pro čtení) označuje, že až 65 % celkového místa v datovém oddílu je k dispozici pro ukládání deduplikovaných dat.
• Místo pod touto značkou 100 % kapacity uživatele se rovná hodnotě Server Utilization, která se zobrazuje v uživatelském rozhraní Administrator.

Pokud množství deduplikovaných dat uložených v libovolném datovém oddílu v libovolném uzlu dosáhne 65 %, software Avamar se přepne do režimu pouze pro čtení a odmítne další zálohovaná data.

Na základě výše uvedeného lze pochopit, že v uživatelském rozhraní Avamar Administrator má uživatel přehled o místě, které zabraly zálohy, ale nemá přehled o místě spotřebovaném v datových oddílech operačního systému.

Proč byste neměli systém Avamar spouštět, pokud se blíží naplnění limitu kapacity uživatele:

Vztah mezi vysokou hodnotou kapacity uživatele a režijními daty kontrolního bodu je následující: jak se systém postupně zaplňuje, i malé zvýšení objemu záložních dat může způsobit velké zvýšení objemu režijních dat kontrolního bodu.

Úplná diskuse o tom, proč tomu tak je, je nad rámec tohoto článku, nicméně je důležité si uvědomit: Čímvíce se systém Avamar blíží 100% uživatelské kapacitě, tím menší kapacita operačního systému je k dispozici pro režii kontrolních bodů.

Na úplném systému je podle výše uvedeného diagramu režie kontrolních bodů omezena na 20 % celkového místa operačního systému v datových oddílech.

• Systém musí mít nastavenou nízkou míru denních změn dat (ne vyšší než 1 %).
• Kapacita musí být v neměnném stavu (jak je popsáno v části „Správa kapacity“ průvodci vzorovými postupy systému Avamar). Příručky relevantní pro vaše provozní prostředí najdete zde: Jak najít dokumentaci k softwaru Avamar na webu podpory společnosti Dell
• Každý den je třeba úspěšně provést úkony údržby.

Pokud některá z těchto skutečností přestane platit, lze očekávat, že dojde k postupnému či náhlému nárůstu režijních dat kontrolního bodu, což způsobí závažné provozní problémy.

Faktory, které přispívají k nárůstu množství režijních dat kontrolního bodu:

• Asynchronous Stripes Crunching (ve výchozím nastavení povoleno).
• Počet kontrolních bodů uložených v systému.
• Neúspěšné provedení každodenního ověření kontrolního bodu.
• Stav prázdných prokládání, když je server Avamar znovu použije (s vyšším využitím serveru se tento faktor stává závažnějším).
• Míra denních změn dat zálohování.

Správce systému má nad těmito faktory určitou úroveň kontroly. Konfigurace úlohy Asynchronous Crunching slouží pouze pro účely podpory. Správci však mohou odstranit nadbytečné kontrolní body, prozkoumat selhání kontrolních bodů a ovlivnit využití serveru a míru denních změn dat zálohování.

Jak sledovat využití datových oddílů:

Správný způsob, jak monitorovat využití datového oddílu operačního systému, je použít následující příkaz Avamar z uzlu nástroje Avamar:

avmaint nodelist | grep fs-percent        

Příklad výstupu:

fs-percent-full="7.8"
fs-percent-full="6.3"
fs-percent-full="6.4"
fs-percent-full="6.4"
fs-percent-full="7.6"
fs-percent-full="6.2"
fs-percent-full="6.1"
fs-percent-full="6.6"
fs-percent-full="7.8"
fs-percent-full="6.4"
fs-percent-full="6.5"
fs-percent-full="6.8"

• • Tento výstup poskytuje skutečné údaje o využití kapacity operačního systému.
  • V mřížce, kde datové uzly používají fond souborů, nedává příkaz Linux df smysl, protože prokládání jsou předem přidělena ve fondu souborů a mnoho z nich se nemusí používat.

Co se stane, když se využití kapacity operačního systému vymkne kontrole?

Z uživatelského hlediska se první známkou toho, že využití datového oddílu se vymklo kontrole, je, když překročí 89 %.

Uvolňování paměti již nelze spustit a selže s chybou MSG_ERR_DISKFULL .

Zde často dochází k nedorozuměním: Uživatel si často vyloží zprávu MSG_ERR_DISKFULL , že v systému již není místo na zálohy.

Tato interpretace není správná, uživatel však obvykle zkontroluje hodnotu využití serveru v uživatelském rozhraní Avamar Administrator a zjistí, že je přijatelná, například 60 %.

Uživatel se může pokusit odstranit zálohy z rozhraní pro správu záloh uživatelského rozhraní Avamar. I kdyby byla úroveň kapacity uživatele vysoká, odstranění záloh by situaci nezmírnilo, protože uvolňování paměti nelze spustit a ze systému by se odstranily bloky dat s vypršenou platností.

Pokud v systému dochází k problému s vysokou kapacitou operačního systému i uživatelem, nejprve se zaměřte na vyřešení problému s vysokou kapacitou operačního systému. 

V případě vysokého využití kapacity operačního systému nemusí mít systém dostatek místa pro vytvoření kontrolních bodů.

Co je příčinou zprávy MSG_ERR_DISKFULL?

• Ověření kontrolního bodu (hfscheck) opakovaně selhala.
• Vrstva hfscheck Selhání má mnoho možných příčin (náhlé zrušení, selhání softwaru atd.).
• Systém má příliš málo místa a vysokou míru denních změn dat.
• Systém potřebuje více datových uzlů, aby mohl zpracovat míru změn dat a data uložit.
• Systém je nakonfigurován pro zálohování většího množství dat či klientů, než pro které byl původně přizpůsoben.
• Dochází k ukládání příliš mnoha kontrolních bodů (nástroj Avamar ve výchozím nastavení ukládá dva kontrolní body, z nichž byl jeden ověřen).
• Správce systému vytvořil nadbytečné kontrolní body.
• Nedávno byla provedena údržba, ale nedošlo k obnovení výchozích dat kontrolního bodu.

Následující článek vám pomůže vyřešit problém MSG_ERR_DISKFULL Scénář: Avamar: Úlohy údržby selžou MSG_ERR_DISKFULL z důvodu, že kapacita operačního systému v jednom nebo více datových oddílech přesahuje 89 %

Akce k prošetření a zmírnění vysoké kapacity operačního systému:

1. Určení, kdy se zobrazí poslední hfscheck Dokončení. K tomu použijte nástroj Avamar Administrator nebo příkazový řádek v uzlu nástroje Avamar:

• V uživatelském rozhraní Avamar Java Administrator:
  • Přejděte na > kartu Server Checkpoint Management
  • Zkontrolujte nejnovější datum a čas uvedený ve sloupci Checkpoint Validation. K poslední kontrole by mělo dojít během posledních 24 hodin.

--nebo--

• Pomocí příkazového řádku uzlu nástroje Avamar:
  • Zadejte následující příkaz: cplist.

admin@utilitynode:~/>: cplist

cp.20110114111419 Fri Jan 14 11:14:19 2011   valid rol ---  nodes   3/3 stripes   1131
cp.20110114194457 Fri Jan 14 19:44:57 2011   valid --- ---  nodes   3/3 stripes   1131

• • • • Poslední ověřený kontrolní bod, který je zde uveden, je ze 14. ledna, 11:14.
      • Identifikuje se vlajkou hned za "platnou" značkou.
      • V závislosti na typech ověření kontrolních bodů nastavených v systému může být příznak rol nebo hfs.
      • Toto je příklad rol (válcování) hfscheck.

Pokud výsledky ukazují, že je poslední ověřený kontrolní bod starší než 24 hodin, zjistěte proč. To může být způsobeno buď tím, že HFScheck neběžel, nebo proto, že se to nezdařilo.

2. Potvrďte, zda HFScheck spuštěn nebo pokud selhal:

V uzlu nástroje Avamar spusťte příkaz status.dpn a najděte řádek, který začíná na "Last hfscheck“.

Například:

Last hfscheck: finished Sat Jan 15, 11:07:17 2011 after 06m 41s >> checked 528 of 528 stripes (OK)

Poznamenejte si, kdy byl proces dokončen a jaký byl jeho stav (řádek nad stavem obsahuje údaj „OK“).

Pokud není nastaveno hfscheck pracovních míst selhávají, mělo by to být okamžitě prošetřeno.

Pokud není nastaveno hfscheck v poslední době neběží, ověřte, zda je plánovač údržby povolen spuštěním příkazu "dpnctl status maint" v uzlu nástroje Avamar: .

admin@utilitynode:~/>: dpnctl status maint

Identity added: /home/admin/.ssh/dpnid (/home/admin/.ssh/admin_key)
dpnctl: INFO: Maintenance windows scheduler status: enabled.

• Pokud je plánovač časových intervalů údržby vypnutý, zakázaný nebo pozastavený, povolte ho pomocí příkazu: dpnctl start maint
• Volitelně vezměte nový kontrolní bod a spusťte příkaz hfschecknebo počkejte na dokončení dalšího časového období plánované údržby.

Jednou za hfscheck (po vyřešení všech problémů nebo restartování plánovače údržby), nejstarší kontrolní bod bude "odstraněn" a kapacita operačního systému by se měla výrazně snížit.

• Pokud je kapacita operačního systému stále příliš vysoká a uvolňování paměti nadále selhává s ikonou MSG_ERR_DISKFULL a poté požádejte o pomoc tým technické podpory Dell.
• V opačném případě, pokud je kapacita operačního systému dostatečně nízká, aby bylo možné úlohy Garbage Collection dokončit, zaměřte se na snížení hodnoty „User Capacity“ a „Server Utilization“.

Kroky ke snížení vysoké kapacity uživatele:

Na rozdíl od kapacity operačního systému může úroveň kapacity uživatele snáze a přímo ovlivnit správce systému Avamar.

1. Zajistěte, aby úloha Garbage Collection probíhala každý den a nedocházelo k jejímu přerušení ze strany záloh.

Toto je nejdůležitější bod, protože i adekvátně dimenzovaný systém rychle zaznamená vysokou uživatelskou kapacitu, pokud uvolňování paměti neběží pravidelně nebo spolehlivě.

Jak je znázorněno výše, ověřte, že je povoleno časové období údržby, a použijte capacity.sh a sched.sh Skripty pro ověření, zda je spuštěno uvolňování paměti a zda odebírá data.

Před verzí Avamar v7.x nebylo možné spustit zálohy během okna "omezení" uvolňování paměti.

Funkce Hash Referenced Bit Maps zavedená ve verzi Avamar v7.x umožňuje zálohování během činnosti údržby GC. Tato funkce vyžaduje, aby tyto "mapy" měly alespoň 5 minut "tichého" času denně, během kterého se nespouští žádné zálohy, aby je bylo možné resetovat.

Obsah o této funkci je přístupný pomocí odkazu na článek Avamar: Od verze Avamar 7 hlásí úloha Garbage Collection přeskočené hashe, které nelze odstranit kvůli funkci „Hash Referenced Bit Maps“, když jsou data používána.

2. Nepřidávejte do mřížky nové klienty.

Jakmile se síť Avamar přiblíží své kapacitě, okamžitě přestaňte přidávat nové klienty, aby se situace nezhoršila.

Pokud existuje jiná síť Avamar, která běží na nižší úrovni využití serveru, zvažte přidání nových klientů do této sítě namísto serveru, který se zaplňuje.

3. Zjistěte, kteří klienti zabírají nejvíce úložného prostoru.

Chcete-li vyřešit problém s kapacitou, určete, kteří klienti jsou zodpovědní za přidání největšího množství dat do systému Avamar.

Skript capacity.sh Skript (spuštěný z příkazového řádku uzlu nástroje Avamar) lze také použít k určení, kteří klienti mají nejvyšší rychlost změn.

Viz článek Avamar: Jak spravovat kapacitu pomocí capacity.sh skript pro více informací o tom, jak používat capacity.sh Skript.

Často se stává, že nejvíce místa spotřebovávají ti klienti, kteří zálohují databáze SQL nebo e-mailové servery. Proto jim věnujte zvláštní pozornost.

4. Přehodnoťte zásady uchovávání dat.

Jakmile určíte klienty s vysokou mírou změn dat, znovu přehodnoťte zásady uchovávání dat a zjistěte, zda lze některé nich přestat používat, aby se požadavky na úložiště snížily na přijatelnou úroveň.

Pokud je systém dostatečně starý na to, aby začal ukončovat platnost nejdéle uchovávaných záloh, pak po snížení zásad uchovávání očekávejte, že dojde ke zvýšení množství dat odstraněných každý den uvolňováním paměti. Sledujte tento trend pomocí capacity.sh.

Pokud systém Avamar ještě není dostatečně starý a nedochází k vypršení platnosti záloh, může být nutné nahradit zásady uchovávání dat, aby platnost nejstarších záloh začala nyní vyprchávat.

Pokud není možné kvůli zákonným požadavkům zásady uchovávání snížit, zvažte rozšíření systému Avamar nebo migraci klientů na jiný, méně používaný systém Avamar.

5. Proveďte migraci klientů do alternativního systému Avamar.

Je-li k dispozici jiný systém Avamar, zvažte možnost migrace velkých klientů nebo těch s vysokou mírou změn dat z více využívaných systémů do těch méně využívaných pomocí rozhraní Avamar Client Manager.

6. Odstraňte staré zálohy.

Pokud je úroveň uživatelské kapacity závažná (>90 %), může být vyžadováno vypršení platnosti starých záloh prostřednictvím rozhraní pro správu záloh nebo pomocí příkazu modify-snapups . 

Uživatelé společnosti Dell mohou získat přístup k obsahu pomocí odkazu na článek Avamar: Správa kapacity – Jak hromadně odstranit nebo ukončit platnost záloh pomocí "modify-snapups" nástroj

Odstraněním záloh se okamžitě nesníží úroveň využití serveru. úloha Garbage Collection však bude moci při příštím spuštění začít odstraňovat data. Odstranění starých záloh je krátkodobé řešení. Zálohy budou nahrazeny v následujících dnech. Pokud dojde k odstranění záloh, je nezbytné také upravit zásady uchovávání dat.

7. Monitorování změn dat pomocí capacity.sh.

Po odstranění záloh a změně zásad uchovávání pečlivě sledujte množství změněných dat v systému pomocí capacity.sh Skript. Hodnota "odstraněných" dat by se měla zvýšit a hodnota "Čistá změna" by měla být záporná. Po odstranění přebytečných dat ze systému se hodnota „Removed“ začne opět vracet na normální úrovně. Nadále sledujte hodnotu „Removed“.

Pokud se hodnota čisté změny nestane zápornou, zkontrolujte protokol uvolňování paměti a zjistěte, jak dlouho je uvolňování paměti spuštěné a kolik práce dosahuje v rámci časového období údržby.

Viz článek Avamar: Jak spravovat kapacitu pomocí capacity.sh skript pro další informace o tom, jak používat capacity.sh Skript.

8. Rozšiřte systém Avamar:

Vysoké využití sítě Avamar je často způsobeno přirozeným a očekávaným růstem dat. Aby bylo možné pokračovat v produkčních zálohách, je nutné uvolnit více místa.

• Sítě s jedním uzlem a Avamar Virtual Edition (AVE):

  • Tyto systémy rozšířit nelze. Pořiďte si druhý, větší systém Avamar a požádejte profesionální služby Dell o migraci menšího systému do většího.
    • Profesionální služby lze využít prostřednictvím obchodního zástupce společnosti Dell.
  • Nový systém může mít podobu jednoho uzlu, AVE, nebo systému s více uzly, pokud poskytuje více úložného prostoru než zdroj.
• Sítě s více uzly:

  • Tyto systémy lze rozšířit až na 16 datových uzlů.
    • Podrobnosti vám sdělí obchodní zástupce společnosti Dell (Běžné kanály podpory neprovádějí přidávání uzlů, takže by nemělo být nutné otevírat žádost o službu s žádostí o tuto práci.)
• Integrace systému Data Domain:
  • Užitečným způsobem, jak rozšířit kapacitu dostupnou klientům, kteří provádí zálohování do systému Avamar, je integrovat systém Data Domain jako backendové zálohovací úložné zařízení.
    • Proberte dostupné možnosti s obchodním zástupcem společnosti Dell.

Užitečné nástroje

• status.dpn
• capacity.sh
• Avalanche
• DPN Summary Report
• replcnt.sh
• Avamar Client Manager

• Snažte se zabránit tomu, aby hodnota využití serveru Avamar (kapacita uživatele) překročila 80 %.
• Nižší kapacita uživatele zajišťuje odolnost proti neočekávaným změnám v množství přidaných dat a může chránit systém před přechodem do nepoužitelného stavu, pokud dojde k neočekávanému selhání nebo krátkodobým problémům s úlohami údržby.
• U systému Avamar s kapacitou uživatele vyšší než 80 % je důležité, aby jej správce systému pečlivěji sledoval, a zajistil tak, že se úlohy údržby úspěšně dokončí a systém nepřejde do režimu pouze pro čtení.