Avamar: Fejlfinding af langsom sikkerhedskopiering

  
Typiske symptomer på langsom sikkerhedskopiering:

• Sikkerhedskopieringen kan ikke fuldføres inden for det planlagte vindue. Aktivitetsovervågningen rapporterer "Klienttimeout - afslut"
• Sikkerhedskopieringen får ikke mulighed for at starte, før det planlagte vindue slutter. Aktivitetsovervågningen rapporterer "Klienttimeout - start"
• Affaldsindsamling mislykkes regelmæssigt med MSG_ERR_BACKUPSINPROGRESS eller MSG_ERR_TRYAGAINLATER 

Indsaml oplysninger:
Indsaml detaljerede oplysninger om problemet: 

• Oplysninger, der kræves af support, når du undersøger problemer med ydeevnen i forbindelse med sikkerhedskopiering af Avamar-klienten.

Bestem, hvilken del af backupkæden der har den mest alvorlige flaskehals:
Følgende skema viser hovedkomponenterne i et sikkerhedskopieringssystem.  


Flaskehalse eksisterer ALTID, men vi bør arbejde på at forstå, hvor de er.
Hvis vi kan gøre dette og afbøde flaskehalsen, bør ydeevnen blive forbedret. 
Når en flaskehals er afbødet, kan en anden flaskehals blive tydelig. Vores endelige mål er at nå en situation, hvor backupvarigheden er acceptabel. 


Avamar-flaskehalse på serversiden:
Hvis ALLE sikkerhedskopier til en Avamar-server er langsomme, skal du overveje muligheden for et problem på serversiden.  
Hvis ALLE sikkerhedskopier til en Avamar-server er langsomme på bestemte tidspunkter af dagen, skal du overveje en strid på serversiden eller en netværksflaskehals.
Hvis der er et problem med ydeevnen i en eller nogle få sikkerhedskopieringsklienter, skal du fokusere på hver klient for sig.


Server tilstand:
En sund Avamar-server vil sandsynligvis ikke være en flaskehals for sikkerhedskopier. 

Kontroller backupserverens tilstand.  

• Avamar: Sådan kører du proactive_check.pl-helbredstjekscriptet på en Avamar Server
• Hvis der sendes sikkerhedskopier til Data Domain, skal du kontrollere DD Autosupport-oplysninger eller kontakte Data Domain-support for at bekræfte, at det er korrekt

Avamar begrænser klientforbindelser for at bevare et acceptabelt niveau af ydeevne.


Server Strid:

Hvis der er tidspunkter på dagen, hvor sikkerhedskopieringsydeevnen er dårlig, kan dette indikere strid.

• Scriptet sched.sh kan give en visuel fremstilling af aktiviteter, der kørte parallelt med den langsomme sikkerhedskopiering.
• Se Avamar: Sådan bruger du scriptet sched.sh til at kontrollere historisk sikkerhedskopiering, replikering og vedligeholdelsesaktivitet på en Avamar Server.
• Kontrollér, om der er vedligeholdelsesopgaver i gang, ved at køre status.dpn
• Kontrollér, hvor mange klientsessioner der er aktive

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Arranger vedligeholdelses- og sikkerhedskopieringsplaner, så de ikke overlapper hinanden.
• Gennemgå outputtet af status.dpn og topkommandoerne for at kontrollere belastningen på datanoderne
• Kør mapall 'iostat -x'  på datanoderne. Kontroller %iowait og %idle og %util for at se, om I/O-båndbredden på en disk er mættet.
• Hvis du vil isolere en bestemt klients ydeevne, skal du teste sikkerhedskopieringen, når Avamar-serveren ikke udfører vedligeholdelsesopgaver eller andre sikkerhedskopier eller replikering.

Data Domain ydeevne for optagelse af sikkerhedskopiering:
Log på Dells supportportal, og gennemse:

• Data Domain: DDPCONNCHK Sådan foretager du fejlfinding af Data Domain DDBoost-tilslutningsmuligheder og -ydeevne

Flaskehalse på netværkssiden:
Netværket kan være en flaskehals, hvis en klient sikkerhedskopieres via et WAN.

Netværksventetid:
Dette påvirker den hastighed, hvormed klienter kan kontrollere, om hashes findes på Avamar-serveren.  

• Kør ping fra klienten til Avamar-serveren, og kontroller netværkets pakketab og ventetid

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Hvis klient og server er adskilt af et WAN, kan linket så overføre de nødvendige data i sikkerhedskopieringsvinduet?
I dette tilfælde er de data, der skal overføres , 4.316 GB.

Disse værdier er alle indbyrdes forbundne:

• Mængden af nye backupdata
• Tid til rådighed til sikkerhedskopiering
• Effektiv netværksbåndbredde

Større mængder nye data kræver mere netværksbåndbredde eller længere sikkerhedskopieringstid.
Disse faktorer har praktiske grænser, men kan til en vis grad kontrolleres af brugeren.
Overvej, om nogen af dem kan manipuleres for at imødekomme en rettidig backup.


Hvis der er mistanke om en netværksflaskehals eller et serverkommunikationsproblem:
Bekræfte netværksoverførselshastigheden mellem klienten og sikkerhedskopieringsenheden. 

• Avamar – Sådan køres iperf mellem to Avamar-systemer for at teste netværkets overførselshastighed

Aktivér avtar comstats-logning for at lette fejlfinding.

• Avamar: Sådan aktiveres og fortolkes avtar COMSTATS-logføring for at diagnosticere kommunikationsproblemer

Flaskehalse på klientsiden:

• Avamar Backup mislykkedes med "Time Out - End", fordi den stadig udfører en indledende sikkerhedskopiering

Sørg for, at sikkerhedskopieringen ikke blev annulleret før tiden:
Søg i backuploggen efter "annulleret". Nedenfor er et eksempel, hvor en utålmodig bruger annullerede en L1-sikkerhedskopi.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

I tilfælde som dette, hvor en sikkerhedskopi afsluttes yndefuldt, bevares dataene som en 'DELVIS' sikkerhedskopi.

• Avamar: Delvis sikkerhedskopieringsfunktionalitet og bedste praksis for indledende sikkerhedskopieringer

Selvom delvise sikkerhedskopieringslogfiler angiver sikkerhedskopieringsydeevnen, kræver korrekt analyse logfilen fra en fuldført sikkerhedskopiering.


Kontroller loggen for problemer med filcache eller hashcachestørrelse:

• Se Avamar – Sådan kontrollerer du Avamar-klientloggen for problemer med filcache eller hashcachestørrelse

Kontroller, om der sendes gasflag til avtar:
Avtar CPU- eller netværksbegrænsning reducerer sikkerhedskopieringsydelsen betydeligt. 
Se Avamar: Sådan begrænser du en Avamar-klients forbrug af systemressourcer (CPU, netværk, I/O & hukommelse).

Dette kan registreres i sikkerhedskopieringsloggen.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Er der en Avamar-klient-CPU eller hukommelsesflaskehals?
En Avamar-sikkerhedskopiering kører lige så hurtigt, som hardwaren tillader, og konkurrerer med andre tjenester om ressourcer. Vær opmærksom på klientens "dagjob", og hvornår det er travlt. 

Overvåg klienten ved hjælp af Task Manager eller Process Explorer (på Windows) eller kommandoen "top" (UNIX eller Linux). Disse kan afsløre, hvisCPU-mætning opstår under sikkerhedskopieringen. 

Dell har et internt "LogAnalyzer"-værktøj, som kortlægger ressourceforbrug og ydeevne over tid. Samarbejd med Support for at bruge dette.

Cachefiler indlæses i hukommelsen under sikkerhedskopieringen. Kontroller klientens hukommelsesforbrug for at holde øje med sidefejl eller tegn på, at klienten mangler RAM.

Dette er et mindre problem, hvor Avamar v7.x-klienter til Data Domain udnytter "sidecachen" (f_cache2.dat).
Personsøgningscachen reducerer hukommelsesfodaftrykket på en klient sammenlignet med den traditionelle 'monolitiske' avtar-cache.


Kontrollér, om der er en I/O-flaskehals på klientsiden:
Efter dimensionering af klientcache er den næste faktor, der bestemmer sikkerhedskopieringsydelsen, lagersystemet, der hoster sikkerhedskopidataene og sender dem til avtar.


Sørg for, at destinationslageret er sundt:
Sørg for, at der ikke er problemer med, at mållagerenheden forhindrer optimal ydeevne. 
 

Sørg for, at tredjepartssoftware ikke konkurrerer med avtar om I/O:
Konkurrerer nogen programmer på klienten med Avamar-klienten om storage-I/O?
Antivirussoftware, scanning i realtid eller ved adgang påvirker Avamar-klientens ydeevne drastisk.  

• Sikkerhedskopiering af Avamar Client påvirkes i høj grad af antivirussoftwares realtidsscanning af filer

• Brug af diskenhedsparallelitet til at forbedre Avamar-sikkerhedskopieringsydeevnen

Sørg for, at klienten ikke sikkerhedskopierer data ved hjælp af CIFS eller NFS:
Sikkerhedskopiering af CIFS- eller NFS-data understøttes kun via en NDMP-accelerator. 

• Avamar og understøttelse af CIFS (SMB) & NFS-tilknyttede netværksshares. 

Kontrollér, om storagekomprimering eller -kryptering er i brug:
Sikkerhedskopieringsydeevnen kan være lavere end forventet, hvis destinationsdataene er placeret på destinationslageret, hvor data komprimeres eller krypteres på filsystemniveau.  


Analyse af flaskehalse i Windows-klientressourcer med Perfmon:
Følgende artikel hjælper med at oprette ydeevnegrafer for at forstå, om klienten venter på en bestemt ressource på et bestemt tidspunkt. Overvej at bruge sammen med grafer, der er produceret af værktøjet LogAnalyzer.

• Avamar – Brug af Microsoft Windows Perfmon til overvågning af ydeevnen af Avamar-klienter 

Sikkerhedskopiering af Outlook-arkiv-.pst-filer
En sikkerhedskopi med mange eller store .pst-filer kan køre langsomt. 

• Overvejelser om ydeevne, når du bruger Avamar til at sikkerhedskopiere Outlook-arkiv-.pst-filer

Benchmarking af storageydeevne
Kontroller ydeevnen for den storageenhed, hvor destinationsdataene er hostet.

• Test af diskydeevne for Avamar Linux-klienter 

Dårlig sikkerhedskopieringsydeevne pga. de data, der sikkerhedskopieres:
Den mest almindelige årsag til langsomme sikkerhedskopieringer skyldes egenskaberne ved de data, der sikkerhedskopieres.


Kontroller, om der er mange nye eller ændrede data:

• Avamar – En sikkerhedskopiering er langsom eller mislykkes med "Time out - end" på grund af en masse nye eller ændrede data  

Et par store nye eller ændrede filer kan medføre, at en ellers hurtig sikkerhedskopiering overskrider sikkerhedskopieringsvinduet. For at identificere disse filer se:

• Avamar: Sådan bruges klientlogfilerne til at identificere, hvilke filer der er nye eller ændret siden den forrige sikkerhedskopiering   
• Sådan identificerer du, hvilke filer der tog lang tid at behandle under en Avamar-sikkerhedskopiering 

Windows-klienter

• Avamar-sikkerhedskopiering af datasæt, der indeholder mange symbolske links, kører meget langsomt  
• Avamar-klientydeevne og Windows NTFS-komprimering 

Linux- og UNIX-klienter – Kontroller, om klientens datasæt indeholder store, sparsomme filer. 

• Avamar og sparsomme filer 
• Sikkerhedskopieringsstørrelsen på en Avamar Linux-klient kan være vildledende på grund af "/var/log/lastlog" og Avamar sparsomme filhåndteringsadfærd 

Kontrollér sikkerhedskopieringsoversigtslinjerne for at forstå omfanget af sikkerhedskopiering og identificere afvigende værdier:
Søg i sikkerhedskopieringsloggen efter strengene "Backup #" eller "Backed-up".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Disse kan spare dig for en masse tid, når du undersøger backup-ydeevne.
For outputtet ovenfor skal du overveje:

1. Uanset om dette er en indledende eller niveau 1-sikkerhedskopiering. (Usandsynligt, da backupetiketten er #441)
2. Om antallet af filer i sikkerhedskopien er rimeligt. (2,6 millioner filer er rimelige)
3. Forholdet mellem fil og mappe? (Klokken er 10:1, det er typisk)
4. Den samlede mængde data i datasættet. (~1,5 TB)
5. Antallet af filer, der skal behandles, og andelen af det samlede antal filer. (~11 K ud af 2,5 mio. filer er rimeligt)
6. Den samlede størrelse af alle filer, der skal behandles. (Dette kan kun være et skøn)
7. Mængden af ændrede data, der skal sendes til Avamar-serveren. (668 MB)
8. Om ændringshastigheden er rimelig. Højere ændringshastigheder kan tolereres for mindre datasæt (0,04 % er rimeligt)
9. Hvorvidt ydelsen pr. time, i betragtning af backupens samlede størrelse og omfang, er rimelig. (124 K-filer/time ville blive betragtet som langsom ydeevne i betragtning af de andre tal)

Ofte giver disse oplysninger os nok data til at forstå årsagen til dårlig sikkerhedskopieringsydelse.
Gennemse om nødvendigt de statuslinjemeddelelser, der genereres, mens sikkerhedskopieringen kører.

Find ud af, om nogen af værdierne i disse to loglinjer er afvigende. Med andre ord, er de større eller mindre end normalt?
Hvis du er bekendt med backupadfærden, er det lettere at opdage afvigelser.


Forholdet
mellem fil og mappeDe fleste kundedatasæt har en fil til mappe på ca. 10:1, og avtar er indstillet til at afspejle dette.
Hvis et datasæt har et lavt fil-til-mappe-forhold som i eksemplet nedenfor, kører sikkerhedskopieringen muligvis ikke så effektivt uden en mindre justering.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Se Avamar Client Backup Performance finindstilling for datasæt med et lavt forhold mellem filer og mapper.

Analyse af ydeevne ved hjælp af avtar-log Statusoplysningsmeddelelser:
Brug Notepad++ eller lignende til at filtrere loggen for avtar-infolinjer, der indeholder statusmeddelelser . Disse kan filtreres ved hjælp af kodeposterne, der indeholder <5100> eller <8688> , afhængigt af versionen af Avamar-klienten. Disse linjer er periodiske statusmeddelelser rapporteret af avtar.

• Avamar – Sådan fortolkes avtar-backuplogstatuslinjer.  

• Avamar-sikkerhedskopiering kører langsomt på grund af tredjepartssoftware, der ændrer metadata for ellers uændrede filer 

Gennemgå brugen af medtag og ekskluder flag. Undgå "medtag"-udsagn:
I vejledningen til bedste fremgangsmåder for drift diskuteres listerne Medtag og Udelad. 

Avamar skal sammenligne alle filer i backupdatasættet med begge lister for at afgøre, om filen skal sikkerhedskopieres. Denne sammenligningsproces tilføjer faste omkostninger og kan øge backupkørselstiden.

Kontroller klientens avsar-mappe for tilstedeværelsen af en avtar.cmd-fil .
Kontroller, om filen indeholder aktive --exclude eller --exclude-from-file-sætninger .
Hvis en mappe eller et filsystem er udelukket, men der bruges flag, scanner avtar det for elementer, som det har fået besked på at 'inkludere'.

Kontrollér, om datasættet indeholder reparsepunkter eller stubfiler:
Vær forsigtig, hvis et datasæt indeholder stubfiler eller henvisninger til data, der er gemt på en anden enhed.
Backup-ydeevnen lider, hvis avtar skal vente på, at fjernfilen tilbagekaldes.
Eksempler på sådan software er: Enterprise Vault Archiver, Moonwalk og DiskXtender.

• Avamar-sikkerhedskopieringsydeevnen for winclusterfs-plug-in-sikkerhedskopiering er dårlig efter opgradering fra 7.0 til 7.2.

Sikkerhedskopiering af virtuelle klienter med en Avamar-gæsteinstallation

• Avamar guest-sikkerhedskopiering af virtuel maskine kører langsomt og får timeout på grund af en hardwareressourceflaskehals  
• Avamar VM-klientens gæstesikkerhedskopiering oplever langsom ydeevne pga. VMware vShield Endpoint Trend Micro Deep Security  

• Avamar: Dårlig sikkerhedskopieringsydeevne i winclusterfs-pluginsikkerhedskopiering efter opgradering til 7.2 fra 7.0 

Andre bemærkninger

• Sørg for, at klienter til virtuelle maskiner ikke er ressourcebegrænsede eller overholder strenge hardwarebegrænsninger, der påvirker Avamar-sikkerhedskopieringens mulighed for at blive fuldført hurtigt.  På travle maskiner kan operativsystemet være overbelastet eller jonglere med for mange tråde, hvilket resulterer i alvorlige kontekstskift.
• Brug af Avamar Operational Best Practices-vejledningen til optimering af Avamar-systemet, planlægning af sikkerhedskopier og justering af klientcacher.

Andre referencer

• Avamar-klientydeevne og Windows NTFS-komprimering