Avamar: risoluzione dei problemi di prestazioni di backup lente

  
Sintomi tipici di prestazioni di backup lente:

• Il backup non viene completato entro la finestra pianificata. Il monitoraggio dell'attività riporta il messaggio "Client time out - end"
• Il backup non riesce ad avviarsi prima della fine della finestra pianificata. Il monitoraggio dell'attività riporta il messaggio "Client time out - start"
• La Garbage Collection ha esito negativo con MSG_ERR_BACKUPSINPROGRESS oppure MSG_ERR_TRYAGAINLATER 

Raccogliere informazioni:
Raccogliere informazioni dettagliate sul problema: 

• Informazioni richieste dal supporto quando si analizzano i problemi di prestazioni di backup Avamar Client.

Determinare quale parte della catena di backup presenta il collo di bottiglia più grave:
Lo schema seguente mostra i componenti principali in un sistema di backup.  


I colli di bottiglia sono SEMPRE presenti, ma dobbiamo impegnarci per capire dove si trovano.
Se ci riusciamo e mitighiamo i colli di bottiglia, le prestazioni dovrebbero migliorare. 
Una volta mitigato un collo di bottiglia, potrebbe emergerne un altro. Il nostro obiettivo finale è quello di raggiungere una situazione in cui la durata del backup è accettabile. 


Colli di bottiglia sul lato Avamar Server:
Se TUTTI I backup in un Avamar Server sono lenti, considerare la possibilità che vi sia un problema sul lato server.  
Se TUTTI I backup su un Avamar Server sono lenti in determinati momenti della giornata, potrebbe essere presente un conflitto sul lato server o un collo di bottiglia nella rete.
Se si verifica un problema di prestazioni con uno o più backup client, concentrarsi su ciascun client.


Stato del server:
 È improbabile che un Avamar Server integro rappresenti un collo di bottiglia per i backup. 

Controllare lo stato del server di backup.  

• Avamar: come eseguire lo script di controllo integrità proactive_check.pl su Avamar Server
• Se vengono inviati backup a Data Domain, controllare le informazioni di DD Autosupport o contattare il supporto di Data Domain per verificarne l'integrità

Avamar limita le connessioni client per preservare livelli accettabili di prestazioni.


Conflitto del server:

Se in alcuni momenti della giornata le prestazioni del backup sono scarse, potrebbe trattarsi di un conflitto.

• Lo script sched.sh può fornire una rappresentazione visiva delle attività eseguite in parallelo con il backup lento.
• Vedere Avamar: come utilizzare lo script sched.sh per controllare le attività cronologiche di backup, replica e manutenzione su un Avamar Server.
• Controllare le attività di manutenzione in corso eseguendo status.dpn
• Controllare il numero di sessioni client attive

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Organizzare pianificazioni di manutenzione e backup in modo che non si sovrappongano.
• Rivedere l'output dei comandi status.dpn top per controllare il carico sui nodi di dati
• Eseguire mapall 'iostat -x' sui nodi di dati. Controllare %iowait, %idle e %util per verificare se la larghezza di banda I/O di qualsiasi disco è satura.
• Per isolare le prestazioni di un determinato client, eseguire il test del backup quando Avamar Server non esegue attività di manutenzione o altre attività di backup o replica.

Prestazioni di acquisizione del backup Data Domain:
Accedere al portale del Supporto Dell e consultare:

• Data Domain: DDPCONNCHK: come risolvere i problemi di connettività e prestazioni di Data Domain DDBoost

Colli di bottiglia lato rete:
La rete può rappresentare un collo di bottiglia se un client viene sottoposto a backup su una WAN.

Latenza di rete:
 Influisce sulla velocità con cui i client possono verificare la presenza di hash su Avamar Server.  

• Eseguire il ping da Avamar Client ad Avamar Server e controllare la perdita di pacchetti e la latenza della rete

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Se il client e il server sono separati da una WAN, il collegamento è in grado di trasmettere i dati necessari all'interno della finestra di backup?
In questo caso, i dati che devono essere trasmessi sono 4,316 GB.

Questi valori sono tutti correlati:

• Quantità di nuovi dati di backup
• Tempo disponibile per il backup
• Larghezza di banda di rete effettiva

Una maggiore quantità di nuovi dati richiede una maggiore larghezza di banda della rete o un tempo di backup più lungo.
Questi fattori presentano limiti pratici, ma possono essere controllati fino a un certo livello dall'utente.
Valutare se uno di questi può essere manipolato per consentire un backup tempestivo.


Se si sospetta un collo di bottiglia della rete o un problema di comunicazione del server:
Verificare il throughput di rete tra il client e il dispositivo di backup. 

• Avamar: come eseguire iperf tra due sistemi Avamar per testare le prestazioni di throughput di rete

Abilitare la registrazione di comstats in avtar per facilitare la risoluzione dei problemi.

• Avamar: come abilitare e interpretare la registrazione di COMSTATS in avtar per diagnosticare i problemi di comunicazione

Colli di bottiglia lato client:

• Il backup Avamar ha esito negativo con errore "Time out - End" perché non ha ancora completato un backup iniziale

Verificare che il backup non sia stato annullato prematuramente:
Cercare "canceled" nel registro di backup. Di seguito è riportato un esempio in cui un utente impaziente ha annullato un backup L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

In casi come questo, in cui un backup termina normalmente, i dati vengono conservati come backup "PARTIAL".

• Avamar: funzionalità di backup parziale e best practice per i backup iniziali

Sebbene i registri di backup parziale indichino le prestazioni di backup, un'analisi adeguata richiede il registro di un backup completato.


Verificare il registro per individuare problemi di dimensionamento della memoria cache di file o hash:

• Vedere Avamar - come controllare il registro di Avamar Client per verificare la presenza di problemi di dimensionamento della memoria cache di file o hash

Verificare se i flag di limitazione vengono passati ad avtar:
La CPU avtar o la limitazione della rete riduce notevolmente le prestazioni di backup. 
Vedere Avamar: come limitare il consumo di risorse di sistema di un Avamar Client (CPU, rete, I/O e memoria).

Questa condizione è rilevabile nel registro di backup.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

È presente un collo di bottiglia della memoria o della CPU di Avamar Client?
Un backup Avamar viene eseguito nella velocità consentita dall'hardware e compete con altri servizi per le risorse. Tenere conto del "lavoro quotidiano" del client e di quando è sovraccarico. 

Monitorare il client utilizzando Gestione attività o Process Explorer (su Windows) oppure il comando "top" (UNIX o Linux). Questi possono indicare si verifica la saturazione della CPU durante il backup. 

Dell dispone di uno strumento interno, "LogAnalyzer", che traccia il consumo di risorse e le prestazioni nel tempo. Contattare il supporto per utilizzarlo.

I file della memoria cache vengono caricati durante il backup. Controllare l'utilizzo della memoria del client per verificare la presenza di errori di pagina o indizi del fatto che il client non abbia RAM a sufficienza.

Questo è meno problematico nei casi in cui i client Avamar v7.x per Data Domain utilizzino la "memoria cache di paging" (f_cache2.dat).
La memoria cache di paging riduce l'ingombro di memoria su un client rispetto alla tradizionale memoria cache avtar "monolitica".


Verificare la presenza di un collo di bottiglia di I/O lato client:
Dopo il dimensionamento della memoria cache del client, il fattore successivo che determina le prestazioni di backup è il sistema di storage che ospita i dati di backup e li invia ad avtar.


Verificare che la memoria di destinazione sia integra:
Verificare che non vi siano problemi con il dispositivo di storage di destinazione che impediscono prestazioni ottimali. 
 

Assicurarsi che il software di terze parti non competa con avtar per l'I/O:
Le applicazioni sul client competono con Avamar Client per l'I/O di storage?
La scansione in tempo reale o all'accesso del software antivirus ha un impatto drastico sulle prestazioni di Avamar Client.  

• Le prestazioni di backup di Avamar Client sono notevolmente influenzate dalla scansione in tempo reale dei file da parte del software antivirus

• Utilizzo del parallelismo dei volumi per migliorare le prestazioni dei backup Avamar

Assicurarsi che il client non stia eseguendo il backup dei dati tramite CIFS o NFS:
Il backup dei dati CIFS o NFS è supportato solo tramite un acceleratore NDMP. 

• Avamar e supportabilità per condivisioni di rete mappate CIFS (SMB) e NFS. 

Controllare se è in uso la compressione o la crittografia dello storage:
Le prestazioni di backup potrebbero essere inferiori a quelle previste se i dati di destinazione risiedono nello storage di destinazione, in cui i dati vengono compressi o crittografati a livello di file system.  


Analisi dei colli di bottiglia delle risorse client Windows con Perfmon:
Il seguente articolo consente di creare grafici delle prestazioni per capire se il client è in attesa di una determinata risorsa in un determinato momento. Considerare l'utilizzo con grafici prodotti dallo strumento LogAnalyzer.

• Avamar: utilizzo di Perfmon di Microsoft Windows per il monitoraggio delle prestazioni di Avamar Client 

Backup dei file .pst di archivio di Outlook
Un backup con file numerosi o di grandi dimensioni può funzionare lentamente. 

• Considerazioni sulle prestazioni quando si utilizza Avamar per eseguire il backup dei file .pst dell'archivio di Outlook

Valutazione delle prestazioni di storage 
Verificare le prestazioni del dispositivo di storage in cui sono ospitati i dati di destinazione.

• Test delle prestazioni del disco per Avamar Linux Client (in inglese) 

Scarse prestazioni di backup a causa dei dati:
La causa più comune di backup lenti è dovuta alle caratteristiche dei dati di cui si esegue il backup.


Controllare se sono presenti molti dati nuovi o modificati:

• Avamar: un backup è lento o non riesce con "Time out - end" a causa di molti dati nuovi o modificati  

Alcuni file nuovi o modificati di grandi dimensioni possono causare il superamento della finestra di backup da parte di un backup altrimenti veloce. Per identificare questi file, vedere:

• Avamar: come utilizzare i registri del client per identificare i file nuovi o modificati rispetto al backup precedente   
• Come identificare i file che hanno impiegato molto tempo per l'elaborazione durante un backup Avamar 

Client Windows

• Avamar: il backup di un dataset contenente molti collegamenti simbolici procede molto lentamente  
• Prestazioni di Avamar Client e compressione NTFS di Windows 

Client Linux e UNIX: verificare se il dataset del client contiene file sparse di grandi dimensioni. 

• File Avamar e sparse 
• Le dimensioni del backup di un Avamar Linux Client potrebbero risultare fuorvianti a causa del comportamento di gestione dei file sparse Avamar e di "/var/log/lastlog" 

Controllare le righe di riepilogo del backup per comprendere l'ambito del backup e identificare valori anomali:
Cercare nel registro di backup le stringhe "Backup #" o "Backed-up".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Queste righe consentono di risparmiare molto tempo durante l'analisi delle prestazioni di backup.
Per l'output sopra riportato, considerare quanto segue:

1. Se si tratta di un backup iniziale o di livello 1. (Improbabile, poiché l'etichetta di backup è #441)
2. Se il numero di file nel backup è ragionevole. (2,6 milioni di file sono ragionevoli)
3. Qual è il rapporto tra file e cartelle? (10:1, un rapporto tipico)
4. La quantità totale di dati nel dataset. (circa 1,5 TB)
5. Il numero di file da elaborare e la proporzione del numero totale di file. (circa 11.000 su 2,5 milioni di file è una proporzione ragionevole)
6. Le dimensioni totali di tutti i file da elaborare. (solo una stima)
7. La quantità di dati modificati da inviare ad Avamar Server. (668 MB)
8. Se il tasso di modifica è ragionevole. Tassi di modifica più elevati possono essere tollerati per dataset di dimensioni ridotte (0,04% è un tasso ragionevole)
9. Se le prestazioni per ora, considerando le dimensioni generali e l'ambito del backup, sono ragionevoli. (124.000 file/ora equivalgono a prestazioni lente, viste le altre cifre)

Spesso questi dettagli forniscono dati sufficienti per comprendere la causa delle scarse prestazioni di backup.
Se necessario, rivedere i messaggi delle righe con Status generati durante l'esecuzione del backup.

Determinare se uno dei valori in queste due righe del registro è anomalo. In altre parole, sono più grandi o più piccoli di quelli tipici?
Se si conosce il comportamento del backup, è più facile rilevare le anomalie.


Rapporto file/cartelle
La maggior parte dei dataset dei clienti ha un rapporto file/cartelle pari a circa 10:1 e avtar riflettere questo rapporto.
Se un dataset ha un rapporto file/cartelle basso, come nell'esempio seguente, il backup potrebbe non essere eseguito in modo efficiente senza una certa ottimizzazione.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Vedere Ottimizzazione delle prestazioni di backup di Avamar Client per i dataset con un rapporto file/cartelle basso.

Analisi delle prestazioni utilizzando i messaggi informativi di Status del registro di avtar:
Utilizzando Notepad++ o uno strumento simile, filtrare il registro per le righe avtar Info che contengono messaggi Status. Possono essere filtrati utilizzando le voci di codice contenenti <5100> o <8688> , a seconda della versione di Avamar Client. Queste righe sono messaggi di stato periodici segnalati da avtar.

• Avamar: come interpretare le righe Status del registro di backup avtar.  

• Il backup Avamar procede lentamente a causa della modifica dei metadati da parte di software di terze parti per file altrimenti non modificati 

Rivedere l'uso dei flag include ed exclude. Evitare affermazioni di tipo "include":
La guida alle best practice operative tratta gli elenchi di tipo include ed exclude. 

Avamar deve confrontare ogni file nel dataset di backup con entrambi gli elenchi per determinare se eseguire il backup del file. Questo processo di confronto aggiunge un sovraccarico e può aumentare il tempo di esecuzione del backup.

Controllare la directory avsar del client per verificare la presenza di un file avtar.cmd.
Verificare se il file contiene istruzioni --exclude o --exclude-from-file attive.
Se viene esclusa una directory o un file system, ma vengono utilizzati i flag include, avtar ne esegue la scansione per individuare gli elementi che sono stati "inclusi".

Controllare se il dataset contiene reparse point o file stub:
Fare attenzione se un dataset contiene file stub o puntatori a dati archiviati su un altro dispositivo.
Le prestazioni di backup si riducono se avtar deve attendere che il file remoto venga richiamato.
Esempi di tali software sono: Enterprise Vault Archiver, Moonwalk e DiskXtender.

• Le prestazioni di backup Avamar del backup del plug-in winclusterfs peggiorano dopo l'aggiornamento da 7.0 a 7.2 (in inglese).

Backup di client virtuali con un'installazione guest Avamar

• Il backup guest Avamar della macchina virtuale procede lentamente e si verifica un timeout a causa di un collo di bottiglia delle risorse hardware  
• Il backup guest del client di macchine virtuali Avamar procede lentamente a causa di VMware vShield Endpoint Trend Micro Deep Security (in inglese)  

• Avamar: scarse prestazioni di backup nel backup del plug-in winclusterfs dopo l'aggiornamento a 7.2 da 7.0 (in inglese) 

Altre note

• Assicurarsi che i client delle macchine virtuali non siano limitati in termini di risorse, né che aderiscano a rigide limitazioni hardware che rallentano il completamento del backup Avamar.  Sui computer con traffico elevato, il sistema operativo potrebbe essere sovraccarico o il traffico di thread potrebbe essere eccessivo. Ne consegue un significativo cambio di contesto.
• Utilizzare il documento Avamar Operational Best Practices guide per ottimizzare il sistema Avamar, pianificare i backup e ottimizzare la memoria cache dei client.

Altri riferimenti

• Prestazioni di Avamar Client e compressione NTFS di Windows