Avamar: Felsöka långsam säkerhetskopiering

  
Typiska symptom på långsam säkerhetskopieringsprestanda:

• Säkerhetskopieringen slutförs inte inom den schemalagda tidsramen. Aktivitetsövervakaren rapporterar "Klienttimeout – slut"
• Säkerhetskopieringen får inte en chans att starta innan den schemalagda perioden är slut. Aktivitetsövervakaren rapporterar "Tidsgräns för klient – start"
• Skräpinsamlingen misslyckas regelbundet med MSG_ERR_BACKUPSINPROGRESS eller MSG_ERR_TRYAGAINLATER 

Samla in information:
Samla in detaljerad information om problemet: 

• Information som krävs av supporten när problem med säkerhetskopiering av Avamar-klienten utreds.

Ta reda på vilken del av säkerhetskopieringskedjan som har den allvarligaste flaskhalsen:
Följande schematiska bild visar huvudkomponenterna i ett backupsystem.  


Flaskhalsar finns ALLTID, men vi bör arbeta för att förstå var de finns.
Om vi kan göra detta, och minska flaskhalsen, bör prestandan förbättras. 
När en flaskhals har åtgärdats kan en annan flaskhals bli uppenbar. Vårt slutmål är att nå en situation där säkerhetskopieringstiden är acceptabel. 


Flaskhalsar i Avamar på serversidan:
Om ALLA säkerhetskopieringar till en Avamar-server är långsamma kan det finnas ett problem på serversidan.  
Om ALL säkerhetskopiering till en Avamar-server är långsam under vissa tider på dagen bör du överväga konkurrens på serversidan eller en flaskhals i nätverket.
Om det finns ett prestandaproblem med en eller några säkerhetskopieringsklienter fokuserar du på varje klient för sig.


Serverhälsa:
En felfri Avamar-server är sannolikt inte en flaskhals för säkerhetskopieringar. 

Kontrollera säkerhetskopieringsserverns hälsotillstånd.  

• Avamar: Köra skriptet proactive_check.pl för hälsokontroll på en Avamar-server
• Om säkerhetskopior skickas till Data Domain kontrollerar du informationen för DD Autosupport eller kontaktar Data Domains support för att verifiera att den är problemfri

Avamar begränsar klientanslutningar för att bibehålla acceptabla prestandanivåer.


Serverkonkurrens:

Om det finns tider på dagen då säkerhetskopieringsprestandan är dålig kan detta tyda på konkurrens.

• Det sched.sh skriptet kan ge en visuell representation av aktiviteter som kördes parallellt med den långsamma säkerhetskopieringen.
• Se Avamar: Så här använder du sched.sh-skriptet för att kontrollera historisk säkerhetskopierings-, replikerings- och underhållsaktivitet på en Avamar-server.
• Kontrollera om det finns pågående underhållsaktiviteter genom att köra status.dpn
• Kontrollera hur många klientsessioner som är aktiva

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Ordna underhålls- och säkerhetskopieringsscheman så att de inte överlappar varandra.
• Granska utdata från status.dpn och de översta kommandona för att kontrollera belastningen på datanoderna
• Kör mapall 'iostat -x'på  datanoderna. Kontrollera %iowait och %idle och %util för att se om I/O-bandbredden för någon disk är mättad.
• Om du vill isolera en viss klients prestanda testar du säkerhetskopieringen när Avamar-servern inte utför underhållsuppgifter eller andra säkerhetskopieringar eller replikering.

Data Domain-säkerhetskopieringsintagsprestanda:
Logga in på Dells supportportal och granska:

• Data Domain: DDPCONNCHK Felsöka Data Domain DDBoost-anslutning och -prestanda

Flaskhalsar på nätverkssidan:
Nätverket kan vara en flaskhals om en klient säkerhetskopieras via ett WAN.

Nätverksfördröjning:
Detta påverkar den hastighet med vilken klienter kan kontrollera om hashvärden finns på Avamar-servern.  

• Kör ping från klienten till Avamar-servern och kontrollera nätverkets paketförlust och latens

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Kan länken överföra nödvändiga data inom säkerhetskopieringsfönstret om klient och server är åtskilda av ett WAN?
I det här fallet är de data som måste överföras4,316 GB. 

Dessa värden är alla relaterade:

• Mängd nya säkerhetskopierade data
• Tid tillgänglig för säkerhetskopiering
• Effektiv nätverksbandbredd

För större mängder nya data krävs större nätverksbandbredd eller längre säkerhetskopieringstid.
Dessa faktorer har praktiska begränsningar men kan till viss del kontrolleras av användaren.
Överväg om någon av dem kan manipuleras för att rymma en snabb säkerhetskopiering.


Om du misstänker en flaskhals i nätverket eller ett problem med serverkommunikationen:
Bekräfta nätverksgenomströmningen mellan klienten och säkerhetskopieringsenheten. 

• Avamar – Så här kör du iperf mellan två Avamar-system för att testa nätverkets genomströmningsprestanda

Aktivera avtar comstats-loggning för att underlätta felsökning.

• Avamar: Så här aktiverar och tolkar du avtar COMSTATS-loggning för att diagnostisera kommunikationsproblem

Flaskhalsar på klientsidan:

• Avamar-säkerhetskopieringen misslyckades med "Time Out – End" eftersom den första säkerhetskopieringen fortfarande utförs

Kontrollera att säkerhetskopieringen inte avbröts i förtid:
Sök efter "canceled" i säkerhetskopieringsloggen. Nedan visas ett exempel där en otålig användare avbröt en L1-säkerhetskopiering.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

I sådana fall, där en säkerhetskopia avslutas på ett smidigt sätt, behålls data som en "PARTIELL" säkerhetskopia.

• Avamar: Funktioner för partiell säkerhetskopiering och metodtips för inledande säkerhetskopiering

Även om partiella säkerhetskopieringsloggar indikerar säkerhetskopieringsprestanda kräver korrekt analys loggen från en slutförd säkerhetskopia.


Kontrollera om det finns problem med filcachen eller storleken på hashcachen i loggen:

• Se Avamar – Så här kontrollerar du om det finns problem med filcache eller storlek på hash-cache i Avamar-klientloggen

Kontrollera om begränsningsflaggor skickas till avtar:
Avtar CPU- eller nätverksbegränsning minskar säkerhetskopieringsprestandan avsevärt. 
Se Avamar: Hur man stryper en Avamar-klients förbrukning av systemresurser (CPU, nätverk, I/O och minne).

Detta kan identifieras i säkerhetskopieringsloggen.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Finns det en flaskhals i Avamar-klientens processor eller minne?
En Avamar-säkerhetskopiering körs så snabbt som maskinvaran tillåter och konkurrerar med andra tjänster om resurser. Var uppmärksam på kundens "dagjobb" och när det är upptaget. 

Övervaka klienten med hjälp av Aktivitetshanteraren eller Process Explorer (i Windows) eller kommandot "top" (UNIX eller Linux). Dessa kan avslöjaom CPU-mättnad inträffar under säkerhetskopieringen. 

Dell har ett internt "LogAnalyzer"-verktyg som kartlägger resursförbrukning och prestanda över tid. Arbeta med supporten för att använda detta.

Cachefiler läses in i minnet under säkerhetskopieringen. Kontrollera klientens minnesanvändning för att hålla utkik efter sidfel eller tecken på att klienten har brist på RAM-minne.

Det här är ett mindre problem där Avamar v7.x-klienter till Data Domain använder "växlingscachen" (f_cache2.dat).
Sidväxlingscachen minskar minnesfotavtrycket på en klient jämfört med den traditionella "monolitiska" avtar-cachen.


Kontrollera om det finns en I/O-flaskhals på klientsidan:
Nästa faktor som avgör säkerhetskopieringens prestanda efter klientcachestorleken är det lagringssystem som är värd för säkerhetskopierade data och matar dem till Avtar.


Kontrollera att mållagringen är felfri:
Se till att det inte finns några problem med mållagringsenheten som förhindrar optimal prestanda. 
 

Se till att programvara från tredje part inte konkurrerar med avtar för I/O:
Finns det några program på klienten som konkurrerar med Avamar-klienten om lagrings-I/O?
Antivirusprogram med realtids- eller åtkomstgenomsökning påverkar drastiskt Avamar-klientens prestanda.  

• Säkerhetskopieringsprestandan för Avamar-klienten påverkas i hög grad av att antivirusprogram utför realtidsgenomsökning av filer

• Använda volymparallellitet för att förbättra Avamar-säkerhetskopieringsprestanda

Kontrollera att klienten inte säkerhetskopierar data med CIFS eller NFS:
Säkerhetskopiering av CIFS- eller NFS-data stöds endast via en NDMP-accelerator. 

• Avamar och stöd för CIFS (SMB) OCH NFS-mappade nätverksresurser. 

Kontrollera om lagringskomprimering eller kryptering används:
Säkerhetskopieringsprestanda kan bli lägre än förväntat om måldata finns på mållagring där data komprimeras eller krypteras på filsystemnivå.  


Analysera flaskhalsar i Windows-klientresurser med Perfmon:
Följande artikel hjälper dig att skapa prestandadiagram för att förstå om klienten väntar på en viss resurs vid en viss tidpunkt. Överväg att använda med grafer som skapats av LogAnalyzer-verktyget.

• Avamar – Använda Microsoft Windows-prestanda för prestandaövervakning av Avamar-klienter 

Säkerhetskopiering av PST-filer
i Outlook-arkivetEn säkerhetskopiering med många eller stora PST-filer kan fungera långsamt. 

• Att tänka på när du använder Avamar för att säkerhetskopiera PST-filer i Outlook-arkivet

Prestandatest av lagringsprestanda
Kontrollera prestandan för den lagringsenhet där måldata finns.

• Diskprestandatest för Avamar Linux-klienter 

Dålig säkerhetskopieringsprestanda på grund av att data säkerhetskopieras:
Den vanligaste orsaken till långsamma säkerhetskopieringar beror på egenskaperna hos de data som säkerhetskopieras.


Kontrollera om det finns många nya eller ändrade data:

• Avamar – En säkerhetskopiering är långsam eller misslyckas med "Time out - end" på grund av många nya eller ändrade data  

Ett fåtal stora nya eller ändrade filer kan orsaka att en annars snabb säkerhetskopiering överskrider säkerhetskopieringsfönstret. Information om hur du identifierar dessa filer finns i:

• Avamar: Så här använder du klientloggarna för att identifiera vilka filer som är nya eller har ändrats sedan den föregående säkerhetskopieringen   
• Så här identifierar du vilka filer som tog lång tid att bearbeta under en Avamar-säkerhetskopiering 

Windows-klienter

• Avamar-säkerhetskopiering av datauppsättningen som innehåller många symboliska länkar går mycket långsamt  
• Avamar-klientprestanda och Windows NTFS-komprimering 

Linux- och UNIX-klienter – Kontrollera om klientens datauppsättning innehåller några stora, glesa filer. 

• Avamar och glesa filer 
• Storleken på säkerhetskopian för en Avamar Linux-klient kan vara missvisande på grund av /var/log/lastlog och Avamar-sparse-filhanteringsbeteende 

Kontrollera sammanfattningsraderna för säkerhetskopiering för att förstå säkerhetskopieringsomfånget och identifiera avvikande värden:
Sök i säkerhetskopieringsloggen efter strängarna "Backup #" eller "Backed-up".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Dessa kan spara mycket tid när du undersöker säkerhetskopieringsprestanda.
För utdata ovan bör du tänka på följande:

1. Om det är en inledande säkerhetskopiering eller säkerhetskopiering på nivå 1. (Osannolikt, eftersom säkerhetskopieringsetiketten är #441)
2. Om antalet filer i säkerhetskopian är rimligt. (2,6 miljoner filer är rimliga)
3. Förhållandet mellan fil och mapp? (Det är 10:1, det är typiskt)
4. Den totala mängden data i datauppsättningen. (~1,5 TB)
5. Antalet filer som ska bearbetas och andelen av det totala antalet filer. (~11 K av 2,5 miljoner filer är rimligt)
6. Den totala storleken på alla filer som ska bearbetas. (detta kan bara vara en uppskattning)
7. Antalet ändrade data som ska skickas till Avamar-servern. (668 MB)
8. Om förändringstakten är rimlig. Högre ändringshastigheter kan tolereras för mindre datauppsättningar (0,04 % är rimligt)
9. Om prestandan per timme, med tanke på säkerhetskopieringens totala storlek och omfattning, är rimlig. (124 K filer/timme skulle betraktas som långsam prestanda med tanke på de andra siffrorna)

Ofta ger den här informationen oss tillräckligt med data för att förstå orsaken till dåliga säkerhetskopieringsprestanda.
Om det behövs granskar du statusradsmeddelandena som genereras medan säkerhetskopieringen körs.

Ta reda på om något av värdena i dessa två loggrader är extremvärden. Med andra ord, är de större eller mindre än vad som är normalt?
Om du är bekant med säkerhetskopieringsbeteendet är det lättare att upptäcka avvikelser.


Förhållande
mellan fil och mappDe flesta kunddatauppsättningar har en fil till mapp på ungefär 10:1, och avtar är justerat för att återspegla detta.
Om en datauppsättning har ett lågt förhållande mellan fil och mapp som i exemplet nedan kanske säkerhetskopieringen inte körs lika effektivt utan mindre justering.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Se Prestandajustering av Avamar-klientsäkerhetskopiering för datauppsättningar med lågt förhållande mellan filer och mappar.

Prestandaanalys med hjälp av avtar-loggens statusinformationsmeddelanden:
Använd Notepad++ eller liknande, filtrera loggen för avtar Info-rader som innehåller statusmeddelanden . Dessa kan filtreras med hjälp av kodposterna som innehåller <5100> eller <8688> beroende på Avamar-klientens version. Dessa rader är periodiska statusmeddelanden som rapporteras av avtar.

• Avamar – Hur du tolkar statusrader för avtar-säkerhetskopieringsloggar.  

• Avamar-säkerhetskopiering körs långsamt på grund av att programvara från tredje part ändrar metadata för i övrigt oförändrade filer 

Granska användningen av inkluderings- och exkluderingsflaggor. Undvik "inkludera"-satser:
I guiden Metodtips för drift beskrivs inkluderings- och exkluderingslistor. 

Avamar måste jämföra alla filer i den säkerhetskopierade datauppsättningen med båda listorna för att avgöra om filen ska säkerhetskopieras. Den här jämförelseprocessen lägger till omkostnader och kan öka körningstiden för säkerhetskopiering.

Kontrollera klientens avsar-katalog för att se om det finns en avtar.cmd-filen .
Kontrollera om filen innehåller några aktiva --exclude eller --exclude-from-file instruktioner.
Om en katalog eller ett filsystem är uteslutet, men include-flaggor används, söker avtar igenom den efter objekt som den har blivit tillsagd att "inkludera".

Kontrollera om datauppsättningen innehåller referenspunkter eller stub-filer:
Var försiktig om en datauppsättning innehåller stub-filer eller pekare till data som lagras på en annan enhet.
Säkerhetskopieringsprestandan blir lidande om avtar måste vänta på att fjärrfilen ska återkallas.
Exempel på sådan programvara är: Enterprise Vault Archiver, Moonwalk och DiskXtender.

• Avamar-säkerhetskopieringsprestanda för säkerhetskopiering av winclusterfs-insticksprogram är dålig efter uppgradering från 7.0 till 7.2.

Säkerhetskopiering av virtuella klienter med en Avamar-gästinstallation

• Avamar-gästsäkerhetskopiering av virtuella maskiner körs långsamt och överskrider tidsgränsen på grund av en flaskhals i maskinvaruresursen  
• Gästsäkerhetskopiering av Avamar VM-klient upplever långsam prestanda på grund av VMware vShield Endpoint Trend Micro djup säkerhet  

• Avamar: Dålig säkerhetskopieringsprestanda i säkerhetskopiering av winclusterfs-plugin efter uppgradering till 7.2 från 7.0 

Övriga noteringar

• Se till att klienterna för virtuella maskiner inte är resursbegränsade eller följer strikta maskinvarubegränsningar som påverkar möjligheten för Avamar-säkerhetskopieringen att slutföras snabbt.  På upptagna datorer kan operativsystemet vara överbelastat eller jonglera med för många trådar, vilket resulterar i allvarliga kontextbyten.
• Användning av Avamars guide för bästa praxis för drift för att optimera Avamar-systemet, schemalägga säkerhetskopiering och finjustera klientcacheminnen.

Andra referenser

• Avamar-klientprestanda och Windows NTFS-komprimering