Avamar: Chování a teorie výkonu zálohování

Účelem tohoto článku je popsat, co se děje během zálohování systému Avamar, a pomoci čtenáři pochopit chování výkonu zálohování.

Tento článek je doprovodný k následujícím článkům:

• Avamar: Odstraňování problémů při pomalém výkonu zálohování
• Avamar: Vyladění záloh pro rychlé dokončení

Co se stane během zálohování softwaru Avamar?

Proces zálohování avtar :

1) Načte soubory a soubory hashovací mezipaměti do paměti

2017-06-09 23:00:25 avtar Info <5586>: Loading cache files from C:\Program Files\avs\var
2017-06-09 23:00:25 avtar Info <8650>: Opening filename cache file 'C:\Program Files\avs\var\f_cache2.dat'
2017-06-09 23:00:25 avtar Info <5573>: - Loaded filename cache file (6,532,792 bytes)
2017-06-09 23:00:26 avtar Info <8650>: Opening hash cache file 'C:\Program Files\avs\var\p_cache.dat'
2017-06-09 23:00:28 avtar Info <5573>: - Loaded hash cache file (402,653,728 bytes)
2017-06-09 23:01:01 avtar Info <6426>: Done loading cache files

2) Vytvoří snímky VSS (v systému Windows):

2017-06-09 23:04:32 avtar Info <19008>: Obtaining available VSS providers
2017-06-09 23:04:32 avtar Info <8776>: Freezing volumes now...
2017-06-09 23:04:32 avtar Info <8780>: Creating the shadow copy set (DoSnapshotSet) ... 
2017-06-09 23:14:33 avtar Info <8781>: Shadow copy set successfully created.
2017-06-09 23:14:34 avtar Info <6074>: VSS snapshot set creation successful

3) Projde všechny soubory definované datovou sadou
. U všech souborů ve zdrojové datové sadě použije služba avtar úplnou cestu a zkombinuje ji s metadaty podobnými statistikám, aby vypočítala hodnotu hash pro jednoznačnou identifikaci souboru.

Další podrobnosti naleznete v článku Avamar: Co se stane, když služba avtar přečte soubor během fáze skenování souborů.

4) Porovnejte vypočtené hodnoty hash s hodnotami v místních klientských cachech:

Služba Avtar vyhledá hash souboru v mezipaměti souborů. Zkontroluje, zda je nový nebo zda byl od předchozí zálohy změněn.

Pokud je vyhledávání mezipaměti souborů úspěšné, soubor existuje a zůstane beze změny.

Pokud se vyhledávání nezdaří, soubor je nový nebo se změnil. Musí být přečten a zpracován.

Další podrobnosti naleznete v článku Klient Avamar – Co je třeba změnit, než služba avtar považuje soubor za změněný?

5) Zpracování nových a upravených souborů

Pro každý nový nebo upravený soubor musí avtar :

• Přečíst celý soubor
• Rozdělte ho na různě velké části
• Komprimace jednotlivých bloků dat
• Výpočet hodnoty hash pro každý blok dat

6. Zkontrolujte, zda na serveru Avamar chybí hashe.

Služba Avtar odesílá data o chybějících hashích přes síť na server Avamar, aby zkontroloval, zda již existují. Tyto požadavky

se označují jako "ispresent".7) Data se zapisují na server Avamar (a případně do systému Data Domain). 

Podrobnější postup naleznete v přiloženém Avtarprocess.pdf.


Přehled zálohování Avamar z hlediska výkonu:

Výše uvedené fáze rozdělíme do fází, které mají největší vliv na výkon zálohování:

Fáze 0. Vytvořte snímky VSS.

Služba Stínová kopie svazku (VSS) vytváří snímky svazků zadaných ve zdrojové datové sadě. Aplikace mohou v průběhu zálohování pokračovat v zápisu na svazek.
Software Avamar zálohuje zmrazený snapshot svazku pouze pro čtení, nikoli svazek s možností zápisu. Tím je zajištěno, že má k dispozici konzistentní sadu dat k zálohování.

Dokončení snímků VSS trvá několik sekund. Pokud má klient problémy se službou VSS, zálohování se zpozdí nebo zabrání pokračování.

Fáze 1. Fáze kontroly souborů. Proces avtar nastaví statistiky všech souborů v cílové datové sadě

Pro klienty s miliony souborů může být tato fáze časově nejnáročnější.
Databázová data obsahují několik větších souborů, takže fáze skenování souborů trvá jen málo času. Databázoví klienti obvykle spotřebovávají svůj čas během fáze #2.

Pro klienta s rotačními disky v konfiguraci RAID 5 je typický výkon skenování ~1 milion souborů za hodinu. To se pohybuje od 300 000 do 3 milionů za hodinu. Závisí to na klientském prostředí a vlastnostech zálohovaných dat.

Od verze 7.3 mohou linuxoví klienti, kteří zálohují do Data Domain, využívat funkci Linux Fast Incremental (LFI). Tím se vyhnete kontrole celé datové sady při každém spuštění zálohování.

Critical Resources: výkon náhodného hledání disku, na kterém jsou uložena zálohovaná data.

Fáze 2. Avtar přečte změněné soubory a poté data rozdělí na části, zkomprimuje a hashuje.

Během této fáze dochází k mnoha výpočtům. U každého upraveného nebo nového souboru jej služba avtar rozdělí na malé kousky. Komprimuje každý blok dat a vypočítá hash jako "otisk prstu" k identifikaci bloku.

Soubory v zálohách databáze jsou často velké a mají tendenci se denně měnit. Avtar tráví v této fázi většinu času. Nejlepší je používat oficiální databázové moduly plug-in Avamar, které zajistí efektivní zpracování databáze s využitím funkce přírůstkového zálohování, protokolů transakcí atd.

Typický výkon zpracování souborů je přibližně 100 GB za hodinu, ale může se lišit až do 300 GB za hodinu. To závisí na prostředí.

Důležité zdroje: Klientský disk a procesor

U záloh LAN, kde při odesílání dat na server Avamar neexistují žádná úzká místa, trvají fáze #1 a #2 nejdéle.

V následujícím grafu zvažte, že velikost plochy v pruzích grafu odpovídá tomu, jak dlouho zálohování trvá. Změněné soubory mohou drasticky prodloužit potřebný čas, zejména pokud jsou tyto soubory velké.

U datových sad systému souborů očekávejte, že se každý den změní ~0–3 % souborů.

Avtar musí u každého souboru, který se změní, provést dvě vstupně-výstupní operace, jednu pro kontrolu atributů souboru a druhou pro atributy zabezpečení.

Aby bylo možné dosáhnout rychlosti skenování srovnávacího testu 1 ~ 1 milion souborů za hodinu pro zálohy systému souborů, vyžaduje avtar přibližně dva miliony operací vyhledávání za hodinu nebo 600 operací vyhledávání za sekundu.

Například: Pokud má záloha 3% míru změn, 97 ze 100 souborů vyžaduje dvě operace vyhledání disku, aby bylo možné určit, zda se změnily. Zbývající tři, které se změnily, je nutné naskenovat, rozdělit do bloků, komprimovat a hashovat.

Tato možnost bere v úvahu pouze fázi skenování souborů a nebere v úvahu vstupně-výstupní zdroje potřebné ke zpracování souborů, které byly změněny.
Čím více dat je v upravených souborech, tím více práce je potřeba k dokončení zálohy.

Fáze 3. Kontrola existence hashů na serveru

AvamarFáze #1 a #2 vytvářejí hodnoty hash, které odkazují na prvky zálohy. Může jít o jedinečné části souborů, systémy souborů nebo celé zálohy.

Hodnoty hash se zapisují do souborů mezipaměti klienta a porovnávají se s hodnotami hash na serveru Avamar, aby se zjistilo, zda je nutné přidat nová data. To platí bez ohledu na to, jestli je cílovým úložištěm server Avamar nebo Data Domain.

Porovnání hodnot hash mezi klientem a serverem Avamar je obvykle rychlé. Neměly by vytvářet překážky zálohování, pokud je server Avamar;

• Zdravé
• Při běžném zatížení
• Nachází se ve stejném segmentu LAN jako klient.

Vzhledem k tomu, že hodnoty hash mají pouze velikost 20 bajtů, je tato fáze ovlivněna spíše latencí sítě než šířkou pásma sítě. Když hash dorazí na server Avamar, obecné zatížení a výkon náhodného vyhledávání diskového subsystému datových uzlů určuje, jak rychle se hash načte a porovná s hodnotou odeslanou klientem.

Důležité zdroje: Doba odezvy sítě a výkon náhodného vyhledávání datového uzlu Avamar.

Výkon náhodného vyhledávání fyzické škály Avamar s počtem a velikostí datových uzlů. Systémy AVE fungují hůře, srovnatelně se systémem s jedním uzlem.

Fáze 4. Odeslání nového bloku po síti na server Avamar nebo do systému Data Domain

Když klient odešle na server nový, jedinečný blok dat (až do velikosti 64 kB), závisí výkon především na šířce pásma sítě. To se týká především klientů založených na sítích WAN, kteří každý den generují velké množství změněných dat. Může také ovlivnit ty, kteří pracují přes přetížená síťová připojení. 

Níže jsou uvedena schémata znázorňující tok dat, když klient odesílá data do systému Avamar a do integrovaného systému Avamar – Data Domain.






Důležité zdroje: Šířka pásma sítě mezi klientem a serverem

, fáze 5. Data zapsaná na server Avamar nebo do systému Data Domain

Data zálohy je nutné zapsat na server Avamar nebo do systému Data Domain.

Důležité zdroje: Výkon zápisu na disk serveru Avamar a obecné načítání