Avamar: Odstraňování problémů s pomalým výkonem systému

  
Typické příznaky pomalého výkonu zálohování:

• Zálohování se nedokončí v naplánovaném časovém okně. Monitor aktivity hlásí zprávu „Client time out - end“.
• Zálohování se nespustí před koncem naplánovaného okna. Monitor aktivity hlásí zprávu „Client time out - start“.
• Proces Garbage Collection pravidelně selhává s chybou MSG_ERR_BACKUPSINPROGRESS nebo MSG_ERR_TRYAGAINLATER. 

Shromáždění informací:
Shromážděte podrobné informace o problému: 

• Informace vyžadované podporou při šetření problémů s výkonem zálohování klienta Avamar.

Určete, která část záložního řetězce má nejzávažnější kritický bod:
Následující schéma znázorňuje hlavní součásti zálohovacího systému.  


Problematická místa existují VŽDY, ale měli bychom se snažit pochopit, kde jsou.
Pokud to dokážeme a zmírníme toto problematické místo, výkon by se měl zlepšit. 
Jakmile se zmírní jedno problematické místo, může se objevit další. Naším konečným cílem je dosáhnout situace, kdy je doba zálohování přijatelná. 


Problematická místa na straně serveru Avamar:
Pokud jsou VŠECHNY zálohy na server Avamar pomalé, zvažte možnost existence problému na straně serveru.  
Pokud jsou VŠECHNY zálohy na server Avamar během určitých období dne pomalé, zvažte kolize na straně serveru nebo existenci problematického místa v síti.
Pokud se vyskytne problém s výkonem u jednoho nebo několika zálohovacích klientů, zaměřte se na každého klienta zvlášť.


Stav serveru:
Server Avamar, který je v dobrém stavu, pravděpodobně nebude pro zálohování představovat problematické místo. 

Zkontrolujte stav záložního serveru.  

• Avamar: Jak spustit skript kontroly stavu proactive_check.pl v serveru Avamar
• Pokud se zálohy odesílají do systému Data Domain, zkontrolujte informace o automatické podpoře systému DD nebo zapojte podporu systému Data Domain a ověřte, zda je systém v pořádku

Software Avamar omezuje připojení klientů, aby zachoval přijatelnou úroveň výkonu.


Kolize serveru:

Pokud je výkon zálohování nízký v určitých obdobích během dne, může to znamenat kolize.

• Skript sched.sh může znázornit aktivity, které probíhaly souběžně s pomalým zálohováním.
• Viz článek Avamar: Jak pomocí skriptu sched.sh zkontrolovat historické zálohování, replikaci a aktivitu údržby na serveru Avamar.
• Spuštěním příkazu status.dpn zkontrolujte probíhající úlohy údržby.
• Zkontrolujte, kolik klientských relací je aktivních.

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Uspořádejte plány údržby a zálohování tak, aby se nepřekrývaly.
• Projděte si výstupy příkazů status.dpn a top a zkontrolujte zatížení datových uzlů
• Spusťte příkaz mapall 'iostat -x‘ na datových uzlech. Zkontrolujte %iowait, %idle a  %util a zjistěte, zda je šířka pásma I/O některého disku nasycená.
• Chcete-li izolovat výkon konkrétního klienta, otestujte zálohu, když server Avamar neprovádí úlohy údržby nebo jiné zálohy či replikaci.

Výkon příjmu záloh systému Data Domain:
Přihlaste se k portálu podpory společnosti Dell a zkontrolujte:

• Data Domain: DDPCONNCHK – Odstraňování problémů s konektivitou a výkonem Data Domain DDBoost

Problematická místa na straně sítě:
Pokud je klient zálohován přes síť WAN, může síť představovat problematické místo.

Latence sítě:
To ovlivňuje rychlost, s jakou mohou klienti kontrolovat, zda jsou na serveru Avamar přítomny hashe.  

• Spusťte příkaz ping z klienta na server Avamar a zkontrolujte ztrátu paketů a latenci sítě

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Může linka přenést potřebná data v rámci zálohovacího okna, pokud jsou klient a server odděleny sítí WAN?
V tomto případě je třeba přenést data o velikosti 4,316 GB.

Všechny tyto hodnoty spolu souvisí:

• Množství nových zálohovaných dat
• Čas dostupný pro zálohu
• Efektivní šířka pásma sítě

Větší množství nových dat vyžaduje větší šířku pásma sítě nebo delší dobu zálohování.
Tyto faktory mají praktické limity, ale uživatel je může do určité míry ovlivnit.
Zvažte, zda je možné s některým z nich manipulovat tak, aby vyhovoval včasné záloze.


Pokud máte podezření na problematické místo sítě nebo problém s komunikací se serverem:
Potvrzení propustnosti sítě mezi klientem a zálohovacím zařízením. 

• Avamar – Jak spustit nástroj iperf mezi dvěma systémy Avamar za účelem otestování výkonu propustnosti sítě

Povolte protokolování avtar comstats pro usnadnění odstraňování problémů.

• Avamar: Jak povolit a interpretovat protokol avtar COMSTATS za účelem diagnostiky problémů s komunikací

Problematická místa na straně klienta:

• Záloha Avamar selhala s chybou „Time Out - End“, protože stále probíhá počáteční zálohování

Ujistěte se, že zálohování nebylo předčasně zrušeno:
V protokolu zálohování vyhledejte výraz „canceled“. Níže je uveden příklad, kdy netrpělivý uživatel zrušil zálohu L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

V případech, jako je tento, kdy se záloha řádně ukončí, se data uchovají jako částečná záloha („PARTIAL“).

• Avamar: Funkce částečného zálohování a vzorové postupy pro počáteční zálohování

Ačkoli protokoly částečného zálohování označují výkon zálohování, správná analýza vyžaduje protokol z dokončené zálohy.


Zkontrolujte, zda se v protokolu nevyskytují problémy s velikostí cache souborů nebo cache hashů:

• Viz Avamar – Jak zkontrolovat protokol klienta Avamar kvůli problémům s velikostí cache souborů nebo cache hashů

Zkontrolujte, zda jsou příznaky omezování předány službě avtar:
Avtar: Omezování procesoru nebo sítě výrazně snižuje výkon zálohování. 
Viz článek Avamar: Jak omezit spotřebu systémových prostředků (procesor, síť, I/O a paměť) klientem Avamar.

To lze zjistit v protokolu zálohování.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Existuje problematické místo v procesoru nebo paměti klienta Avamar?
Zálohování Avamar běží tak rychle, jak to hardware umožňuje, a soupeří o zdroje s ostatními službami. Zohledňujte „denní práci“ klienta a to, kdy je zaneprázdněn. 

Sledujte klienta pomocí Správce úloh nebo Průzkumníka procesů (v systému Windows) nebo příkazu „top“ (UNIX či Linux). Ty mohou odhalit, zda během zálohování dochází k nasycení procesoru. 

Společnost Dell má interní nástroj „LogAnalyzer“, který vytváří grafy spotřeby zdrojů a výkonu v průběhu času. Pokud chcete tuto funkci používat, spolupracujte s podporou.

Soubory cache se během zálohování načítají do paměti. Zkontrolujte využití paměti klienta a sledujte chyby stránek nebo známky nedostatku paměti RAM.

Jedná se o menší problém, kdy klienti Avamar v7.x zálohující do systému Data Domain využívají stránkovací cache (f_cache2.dat).
Stránkovací cache snižuje nároky na paměť klienta v porovnání s tradiční „monolitickou“ cache avtar.


Zkontrolujte problematické místo operací I/O na straně klienta:
Po nastavení velikosti cache klienta je dalším faktorem určujícím výkon zálohování úložný systém, který je hostitelem zálohovaných dat a přenáší je do služby avtar.


Ujistěte se, že je cílové úložiště v pořádku:
Ujistěte se, že nedochází k žádným problémům s cílovým úložným zařízením, které by bránily optimálnímu výkonu. 
 

Zajistěte, aby software třetích stran nekonkuroval službě avtar při přístupu k operacím I/O:
Soupeří některé aplikace v klientovi Avamar o operace I/O úložiště?
Kontrola antivirového softwaru v reálném čase nebo při přístupu výrazně ovlivňuje výkon klienta Avamar.  

• Skenování souborů v reálném čase antivirového softwaru výrazně ovlivňuje výkon zálohování klienta Avamar

• Použití paralelismu svazků ke zlepšení výkonu zálohování Avamar

Ujistěte se, že klient nezálohuje data pomocí protokolu CIFS nebo NFS:
Zálohování dat pomocí protokolu CIFS nebo NFS je podporováno pouze prostřednictvím akcelerátoru NDMP. 

• Systém Avamar a podpora pro mapované síťové složky CIFS (SMB) a NFS. 

Zkontrolujte, jestli se používá komprese nebo šifrování úložiště:
Výkon zálohování může být nižší, než očekáváte, pokud se cílová data nacházejí v cílovém úložišti, kde jsou data komprimována nebo šifrována na úrovni systému souborů.  


Analýza problematických míst prostředků klienta Windows pomocí nástroje Perfmon:
Následující článek vám pomůže vytvořit grafy výkonu, abyste pochopili, jestli klient v určitém okamžiku čeká na nějaký konkrétní prostředek. Zvažte použití s grafy vytvořenými nástrojem LogAnalyzer.

• Avamar – použití nástroje perfmon systému Microsoft Windows ke sledování výkonu klientů Avamar 

Zálohování archivních souborů .pst aplikace Outlook
Zálohování s mnoha nebo velkými soubory .pst může být pomalé. 

• Co je třeba vzít v úvahu ohledně výkonu při používání softwaru Avamar k zálohování archivních souborů .pst aplikace Outlook

Srovnávací testy výkonu úložiště
Zkontrolujte výkon úložného zařízení, na kterém jsou cílová data hostována.

• Testování výkonu disku pro klienty Avamar Linux 

Nízký výkon zálohování kvůli zálohovaným datům:
Nejčastější příčinou pomalého zálohování jsou vlastnosti zálohovaných dat.


Zkontrolujte, zda není k dispozici velké množství nových nebo změněných dat:

• Avamar – Zálohování je pomalé nebo selže s chybou „Time out - end“ kvůli velkému množství nových nebo změněných dat  

Několik velkých nových nebo upravených souborů může způsobit, že jinak rychlé zálohování přesáhne okno zálohování. Chcete-li tyto soubory identifikovat, přečtěte si článek:

• Avamar: Jak pomocí protokolů klienta zjistit, které soubory jsou oproti poslední záloze nové nebo změněné   
• Jak zjistit, které soubory se při zálohování systému Avamar zpracovávaly dlouho 

Klienti Windows

• Zálohování datové sady Avamar obsahující mnoho symbolických odkazů je velmi pomalé  
• Výkon klienta Avamar a komprese systému Windows NTFS 

Klienti Linux a UNIX – Zkontrolujte, jestli datová sada klienta obsahuje nějaké velké řídké soubory. 

• Avamar a řídké soubory 
• Velikost zálohy klienta Avamar Linux může být zavádějící kvůli protokolu „/var/log/lastlog“ a chování služby Avamar při zpracování řídkých souborů 

Podívejte se na souhrnné řádky zálohování, abyste porozuměli rozsahu zálohování a identifikovali odlehlé hodnoty:
V protokolu zálohování vyhledejte řetězce „Backup #“ nebo „Backed-up“.

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

To vám může ušetřit spoustu času při zkoumání výkonu zálohování.
U výše uvedeného výstupu zvažte:

1. Zda se jedná o počáteční zálohu nebo zálohu úrovně 1 (nepravděpodobné, jelikož popisek zálohy je #441).
2. Zda je počet souborů v záloze přiměřený (2,6 milionu souborů je přiměřený počet).
3. Poměr souborů ke složkám (typicky 10:1).
4. Celkové množství dat v datové sadě (~ 1,5 TB).
5. Počet souborů, které mají být zpracovány, a podíl z celkového počtu souborů (~11 000 z 2,5 milionu souborů je přiměřený počet).
6. Celková velikost všech souborů, které se mají zpracovat (může se jednat pouze o odhad)
7. Množství změněných dat, která se mají odeslat na server Avamar (668 MB).
8. Zda je rychlost změny přiměřená. Vyšší míra změn může být tolerována u menších datových sad (0,04 % je rozumná míra).
9. Zda je hodinový výkon vzhledem k celkové velikosti a rozsahu zálohy přiměřený (124 000 souborů/hodinu by vzhledem k ostatním údajům bylo považováno za pomalý výkon).

Tyto podrobnosti nám často poskytnou dostatek dat, abychom pochopili příčinu špatného výkonu zálohování.
V případě potřeby zkontrolujte zprávy ve stavovém řádku, které se generují při spuštění zálohování.

Určete, zda jsou některé z hodnot v těchto dvou řádcích protokolu odlehlé hodnoty. Jinými slovy, jsou větší nebo menší, než je obvyklé?
Pokud jste obeznámeni s chováním zálohování, je snazší detekovat anomálie.


Poměr souborů ke složkám
Většina zákaznických datových sad má poměr souborů ke složkám přibližně 10:1 a služba avtar je vyladěna tak, aby tuto skutečnost odrážela.
Pokud má datová sada nízký poměr souborů ke složkám jako v následujícím příkladu, zálohování nemusí běžet tak efektivně bez drobného vyladění.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Viz článek Ladění výkonu zálohování klientem Avamar pro datové sady s nízkým poměrem souborů a složek.

Analýza výkonu pomocí zpráv protokolu avtar s informacemi o stavu:
Pomocí programu Notepad++ nebo podobného programu vyfiltrujte v protokolu informační řádky avtar, které obsahují stavové zprávy. Ty lze filtrovat pomocí položek kódu obsahujících hodnoty <5100> nebo <8688> v závislosti na verzi klienta Avamar. Tyto řádky jsou pravidelné stavové zprávy hlášené službou avtar.

• Avamar – Jak interpretovat stavové řádky protokolu záloh avtar  

• Zálohování Avamar je pomalé, protože software jiných výrobců upravuje metadata jinak nezměněných souborů. 

Zkontrolujte použití příznaků include a exclude. Vyhněte se příkazům „include“:
Průvodce osvědčenými provozními postupy popisuje seznamy Include a Exclude. 

Software Avamar musí porovnat každý soubor v záložní datové sadě s oběma seznamy, aby bylo možné určit, zda se má soubor zálohovat. Tento proces porovnání zvyšuje režii a může prodloužit dobu zálohování za běhu.

Zkontrolujte, zda se v adresáři avtar klienta nachází soubor avtar.cmd.
Zkontrolujte, zda tento soubor obsahuje nějaké aktivní příkazy --exclude nebo --exclude-from-file .
Pokud je adresář nebo systém souborů vyloučen, ale jsou použity příznaky include, služba avtar vyhledá položky, u kterých mu bylo řečeno, že je má zahrnout.

Zkontrolujte, zda datová sada obsahuje body reparse nebo soubory se zakázaným inzerováním:
Buďte obezřetní, pokud datová sada obsahuje soubory se zakázaným inzerováním nebo ukazatele na data uložená na jiném zařízení.
Výkon zálohování se sníží, pokud služba avtar musí čekat na obnovení vzdáleného souboru.
Příklady takového softwaru jsou: Enterprise Vault Archiver, Moonwalk a DiskXtender.

• Výkon zálohování Avamar pomocí doplňku winclusterfs je po upgradu z verze 7.0 na 7.2 pomalý.

Zálohování virtuálních klientů s instalací hosta systému Avamar

• Zálohování virtuálního počítače hostem Avamar je pomalé a kvůli problematickému místu hardwarových prostředků vyprší jeho platnost  
• Výkon zálohování hostovaného klienta virtuálního počítače Avamar je pomalý kvůli systému VMware vShield Endpoint Trend Micro Deep Security  

• Avamar: Pomalý výkon zálohování pomocí doplňku winclusterfs po upgradu z verze 7.0 na 7.2 

Další poznámky

• Zajistěte, aby klienti virtuálních počítačů neměli omezené prostředky ani nesplňovali přísná hardwarová omezení, která by ovlivnila schopnost rychlého dokončení zálohy systému Avamar.  Na zaneprázdněných počítačích může být operační systém přetížený nebo může využívat příliš mnoho vláken, což má za následek závažné přepínání kontextu.
• Použití Průvodce vzorovými provozními postupy systému Avamar k optimalizaci systému Avamar, plánování záloh a ladění klientských cache.

Jiné reference

• Výkon klienta Avamar a komprese systému Windows NTFS