Avamar: Fehlerbehebung bei verminderter Backupperformance

  
Typische Symptome einer langsamen Backupperformance:

• Backup kann nicht innerhalb des geplanten Zeitfensters abgeschlossen werden. Die Aktivitätsüberwachung meldet „Client Time out - end“
• Backup kann nicht gestartet werden, bevor das geplante Zeitfenster endet. Die Aktivitätsüberwachung meldet „Client time out - start“
• Die automatische Speicherbereinigung schlägt regelmäßig mit MSG_ERR_BACKUPSINPROGRESS oder MSG_ERR_TRYAGAINLATER fehl. 

Erfassen von Informationen:
Erfassen Sie detaillierte Informationen über das Problem: 

• Informationen, die vom Support bei der Untersuchung von Problemen mit der Avamar Client-Backupperformance benötigt werden.

Bestimmen Sie, welcher Teil der Backupkette den schwerwiegendsten Engpass aufweist:Im Folgenden finden Sie eine schematische Darstellung der wichtigsten Teile einer Backupkette.  


Engpässe gibt es IMMER, aber wir sollten daran arbeiten, zu verstehen, wo sie liegen.
Wenn wir das schaffen und den Engpass reduzieren, sollte sich die Performance verbessern. 
Sobald ein Engpass behoben ist, kann ein weiterer Engpass offensichtlich werden. Unser Ziel besteht letztlich darin, eine akzeptable Backupdauer zu erreichen. 


Serverseitige Engpässe bei Avamar:
Wenn ALLE Backups auf einen Avamar-Server langsam sind, sollten Sie die Möglichkeit eines serverseitigen Problems in Betracht ziehen.  
Wenn ALLE Backups auf einem Avamar-Server zu bestimmten Tageszeiten langsam sind, sollten serverseitige Konflikte oder ein Netzwerkengpass in Betracht gezogen werden.
Wenn bei einem oder mehreren Backupclients ein Performanceproblem auftritt, konzentrieren Sie sich auf jeden Client für sich.


Server-Funktionszustand:
Es ist unwahrscheinlich, dass ein fehlerfreier Avamar-Server einen Engpass für Backups darstellt. 

Überprüfen Sie die Integrität des Backupservers.  

• Avamar: Anleitung zum Ausführen des proactive_check.pl-Integritätsprüfungs-Skripts auf einem Avamar Server
• Wenn Backups an Data Domain gesendet werden, überprüfen Sie die DD Autosupport-Informationen oder wenden Sie sich an den Data Domain-Support, um zu überprüfen, ob er ordnungsgemäß funktioniert.

Avamar schränkt Clientverbindungen ein, um ein akzeptables Performanceniveau beizubehalten.


Serverkonflikte:

Wenn es Tageszeiten gibt, in denen die Backupperformance schlecht ist, kann dies auf Konflikte hindeuten.

• Führen Sie das Skript sched.sh aus, um eine visuelle Darstellung der Aktivitäten zu erhalten, die parallel zum langsamen Backup ausgeführt wurden.
• Siehe Avamar: So verwenden Sie das Skript sched.sh zur Überprüfung historischer Backup-, Replikations- und Wartungsaktivitäten auf einem Avamar-Server.
• Suchen Sie nach laufenden Wartungsaufgaben mit status.dpn.
• Überprüfen Sie, wie viele Clientsitzungen aktiv sind.

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Koordinieren Sie Wartungs- und Backup-Zeitpläne, damit sie sich nicht überschneiden.
• Überprüfen Sie die Ausgabe der Befehle status.dpn und top, um die Auslastung der Datenknoten zu überprüfen
• Führen Sie mapall 'iostat -x' auf den Daten-Nodes aus. Überprüfen Sie %iowait, %idle und %util, um festzustellen, ob die I/O-Bandbreite einer Festplatte ausgelastet ist.
• Um die Performance eines bestimmten Clients zu isolieren, testen Sie das Backup, wenn der Avamar-Server keine Wartungsaufgaben oder andere Backups oder Replikationen durchführt.

Performance der Data Domain-Backupaufnahme:
Melden Sie sich beim Dell Support-Portal an und lesen Sie:

• Data Domain: DDPCONNCHK Troubleshooting von Data Domain DDBoost-Konnektivität und -Leistung

Netzwerkseitige Engpässe:
Das Netzwerk kann ein Engpass sein, wenn ein Client über ein WAN gesichert wird.

Netzwerklatenz:
Dies wirkt sich auf die Geschwindigkeit aus, mit der Clients prüfen können, ob Hashes auf dem Avamar-Server vorhanden sind.  

• Verwenden Sie Ping vom Client zum Avamar-Server und überprüfen Sie den Paketverlust und die Latenz des Netzwerks.

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Wenn Client und Server durch ein WAN getrennt sind, kann die Verbindung die erforderlichen Daten innerhalb des Backup-Fensters übertragen?
In diesem Fall sind die zu übertragenden Daten 4,316 GB.

Diese Werte hängen alle miteinander zusammen:

• Menge der neuen Backupdaten
• Verfügbare Zeit für Backup
• Effektive Netzwerkbandbreite

Größere Mengen neuer Daten erfordern eine höhere Netzwerkbandbreite oder eine längere Backupzeit.
Diese Faktoren haben praktische Grenzen, können aber bis zu einem gewissen Grad kontrolliert werden.
Überlegen Sie, ob einer von ihnen angepasst werden kann, um ein schnelleres Backup zu ermöglichen.


Wenn ein Netzwerkengpass oder ein Serverkommunikationsproblem vermutet wird:
Überprüfen Sie den Netzwerkdurchsatz zwischen dem Client und dem Backupgerät. 

• Avamar – So führen Sie iperf zwischen zwei Avamar Systemen aus, um die Netzwerkdurchsatzperformance zu testen

Aktivieren Sie die Protokollierung avtar comstats, um das Troubleshooting zu erleichtern.

• Avamar: Aktivieren und Interpretieren der Avtar COMSTATS-Protokollierung zur Diagnose von Kommunikationsproblemen

Clientseitige Engpässe:

• Avamar Backup ist mit „Time Out – End“ fehlgeschlagen, da es immer noch ein erstes Backup durchführt.

Stellen Sie sicher, dass das Backup nicht vorzeitig abgebrochen wurde:
Suchen Sie im Backupprotokoll nach „canceled�“. Im Folgenden finden Sie ein Beispiel, in dem eine ungeduldige Person ein L1-Backup abgebrochen hat.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

In solchen Fällen, in denen ein Backup ordnungsgemäß beendet wird, werden die Daten als „PARTIELLES“ Backup aufbewahrt.

• Avamar: Funktionen für partielle Backups und Best Practices für erste Backups

Obwohl partielle Backupprotokolle einen Hinweis auf die Backupperformance geben, erfordert eine vollständige Analyse ein Protokoll von einem vollständigen Backup.


Überprüfen Sie das Protokoll auf Probleme mit der Dateicache- oder Hash-Cache-Dimensionierung.

• Siehe Avamar – So überprüfen Sie das Avamar Clientprotokoll auf Probleme mit der Dateicache- oder Hash-Cache-Dimensionierung

Überprüfen Sie, ob Drosselungsflags an avtar übergeben werden:
Avtar-CPU- oder Netzwerkdrosselung reduziert die Backupperformance erheblich. 
Siehe Avamar: How to throttle an Avamar client's consumption of system resources (CPU, network, I/O & memory) [So drosseln Sie den Verbrauch von Systemressourcen eines Avamar Clients (CPU, Netzwerk, I/O und Arbeitsspeicher)].

Dies kann im Backupprotokoll erkannt werden.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Gibt es einen Avamar Client-CPU- oder Arbeitsspeicherengpass?
Ein Avamar-Backup wird so schnell ausgeführt, wie es die Hardware zulässt, und konkurriert mit anderen Services um Ressourcen. Achten Sie auf die üblichen Aufgaben des Clients und darauf, wann er beschäftigt ist. 

Überwachen Sie den Client mithilfe des Task-Managers oder der Prozessanzeige (unter Windows) oder des Befehls „top“ (UNIX oder Linux). Diese können Aufschluss darüber geben, ob während des Backups eine vollständige Auslastung der CPU auftritt. 

Dell verwendet ein internes „LogAnalyzer“-Tool, das den Ressourcenverbrauch und die Performance im Laufe der Zeit darstellt. Wenden Sie sich an den Support, um dies zu nutzen.

Cachedateien werden während des Backups in den Arbeitsspeicher geladen. Überprüfen Sie die Speichernutzung des Clients und achten Sie auf Seitenfehler oder Hinweise darauf, dass der Client nicht genügend RAM hat.

Dies ist weniger ein Problem, wenn Avamar v7.x-Clients zu Data Domain den „Paging Cache“ (f_cache2.dat) nutzen.
Der Auslagerungscache reduziert den Speicherbedarf auf einem Client im Vergleich zum herkömmlichen „monolithischen“ Avtar-Cache.


Prüfen auf einen clientseitigen I/O-Engpass:
Nach der Cache-Dimensionierung des Clients ist der nächste Faktor, der die Backupperformance bestimmt, das Speichersystem, das die Backupdaten hostet und an avtar weiterleitet.


Stellen Sie sicher, dass der Ziel-Storage funktionsfähig ist:
Stellen Sie sicher, dass keine Probleme mit dem Ziel-Storage-Gerät vorliegen, die eine optimale Leistung verhindern. 
 

Stellen Sie sicher, dass Drittanbietersoftware nicht mit avtar um I/O konkurriert:
Konkurrieren Anwendungen auf dem Client mit dem Avamar-Client um Speicher-I/O?
Antivirensoftware, Echtzeit- oder On-Access-Scans wirken sich drastisch auf die Performance des Avamar-Clients aus.  

• Die Backup-Performance eines Avamar Clients wird durch den Real-Time-Scan von Dateien der Antiviren-Software erheblich beeinträchtigt.

• Verwenden von Volume-Parallelität zur Verbesserung der Avamar-Backupperformance

Stellen Sie sicher, dass der Client keine Daten mit CIFS oder NFS sichert.Das Backup von CIFS- oder NFS-Daten wird nur über einen NDMP-Accelerator unterstützt. 

• Siehe Avamar und Unterstützbarkeit für CIFS- (SMB) und NFS-zugeordnete Netzwerkfreigaben. 

Überprüfen Sie, ob die Komprimierung oder Verschlüsselung auf dem Storage verwendet wird.
Die Backupperformance kann niedriger als erwartet sein, wenn sich die Zieldaten auf einem Ziel-Storage befinden, in dem Daten auf Dateisystemebene komprimiert oder verschlüsselt werden.  


Analysieren von Ressourcenengpässen des Windows-Clients mit Perfmon:
Der folgende Artikel hilft bei der Erstellung von Leistungsdiagrammen, um zu verstehen, ob der Client zu einem bestimmten Zeitpunkt auf eine bestimmte Ressource wartet. Erwägen Sie die Verwendung mit Diagrammen, die vom LogAnalyzer-Tool erstellt wurden.

• Avamar – Verwendung von Microsoft Windows Perfmon für das Performancemonitoring von Avamar Clients 

Backup von PST-Dateien eines Outlook-Archivs
Ein Backup mit vielen oder großen PST-Dateien wird möglicherweise langsam ausgeführt. 

• Performance considerations when using Avamar to back up Outlook archive .pst files (Performanceüberlegungen bei der Verwendung von Avamar zum Sichern von PST-Dateien im Outlook-Archiv)

Benchmarking der Storage-Performance
Prüfen Sie die Leistung des Storage-Geräts, auf dem die Zieldaten gehostet werden.

• Disk performance testing for Avamar Linux clients (Festplattenperformancetests für Avamar Linux-Clients) 

Schlechte Backupperformance aufgrund der Datensicherung:

Die häufigste Ursache für langsame Backups ist die Art der zu sichernden Daten.
Prüfen Sie, ob viele neue oder geänderte Daten vorhanden sind.

• Avamar - A backup is slow or fails with "Time out - end" due to a lot of new or changed data (Avamar – Ein Backup ist langsam oder schlägt aufgrund vieler neuer oder geänderter Daten mit „Timeout - end“ fehl.)  

Einige große neue oder geänderte Dateien können dazu führen, dass ein ansonsten schnell ausgeführtes Backup über das Backupzeitfenster hinaus ausgeführt wird. Informationen zum Identifizieren dieser Dateien finden Sie unter:

• Avamar: How to use the client logs to identify which files are new or changed since the previous backup (So verwenden Sie die Clientprotokolle, um zu ermitteln, welche Dateien seit dem vorherigen Backup neu sind oder geändert wurden)   
• How to identify which files took a long time to be processed during an Avamar backup (So ermitteln Sie, welche Dateien während eines Avamar-Backups lange verarbeitet wurden) 

Windows-Clients

• Avamar backup of dataset containing many symbolic links is running very slowly (Avamar-Backup des Datenvolumens mit vielen symbolischen Links wird sehr langsam ausgeführt)  
• Avamar Clientperformance und Windows-NTFS-Komprimierung 

Linux- und UNIX-Clients – Überprüfen Sie, ob das Datenvolumen des Clients große Dateien mit geringer Datendichte enthält. 

• Avamar and sparse files (Avamar und Dateien mit geringer Datendichte) 
• Die für einen Avamar Linux-Client gemeldete Backupgröße kann aufgrund von „/var/log/lastlog“ und dem Verhalten bei der Verarbeitung von Avamar-Dateien mit geringer Datendichte irreführend sein 

Überprüfen Sie die Zeilen der Backupzusammenfassung, um den Backupumfang zu verstehen und Ausreißerwerte zu identifizieren:
Durchsuchen Sie das Backupprotokoll nach den Zeichenfolgen „Backup #“ oder „Backed-up“.

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Dadurch können Sie bei der Untersuchung der Backupperformance viel Zeit sparen.
Berücksichtigen Sie für die obige Ausgabe Folgendes:

1. Ob es sich um ein erstes Backup oder ein Level-1-Backup handelt. (Nein, da das Backup die Bezeichnung #441 trägt.)
2. Ob die Anzahl der Dateien im Backup angemessen ist. (2,6 Millionen Dateien sind angemessen.)
3. Das Verhältnis zwischen Dateien und Ordner? (Liegt bei 10:1, das ist üblich)
4. Die Gesamtmenge der Daten im Datenvolumen. (ca. 1,5 TB)
5. Die Anzahl der zu verarbeitenden Dateien und der Anteil der Gesamtzahl der Dateien. (Ca. 11.000 von 2,5 Mio. Dateien ist angemessen.)
6. Die Gesamtgröße aller zu verarbeitenden Dateien. (Dies kann nur geschätzt werden.)
7. Die Menge der geänderten Daten, die an den Avamar Server gesendet werden sollen. (668 MB)
8. Ob die Änderungsrate angemessen ist. Höhere Änderungsraten können für kleinere Datenvolumen toleriert werden (0,04 % sind angemessen).
9. Ob die Performance pro Stunde angesichts der Gesamtgröße und des Umfangs des Backups angemessen ist. (124.000 Dateien/Stunde werden angesichts der anderen Zahlen als langsame Performance betrachtet.)

Häufig liefern uns diese Details genügend Daten, um die Ursache für eine schlechte Backupperformance zu verstehen.
Überprüfen Sie gegebenenfalls die Statuszeilenmeldungen, die während der Ausführung des Backups generiert werden.

Stellen Sie fest, ob einer der Werte in diesen beiden Protokollzeilen Ausreißer darstellt. Mit anderen Worten: Sind sie größer oder kleiner als üblich?
Wenn Sie mit dem Backupverhalten vertraut sind, ist es einfacher, Anomalien zu erkennen.



Verhältnis von Dateien zu OrdnernDie meisten Kundendatensätze haben einen Datei-zu-Ordner-Wert von ca. 10:1 und avtar ist darauf abgestimmt.
Wenn ein Datenvolumen wie im folgenden Beispiel ein niedriges Datei-zu-Ordner-Verhältnis aufweist, wird das Backup ohne größere Anpassungen möglicherweise nicht so effizient ausgeführt.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Weitere Informationen finden Sie unter Tuning der Avamar Client-Backupperformance für Datenvolumen mit einem geringen Verhältnis von Dateien zu Ordnern.

Performanceanalyse mithilfe der Statusinformationsmeldungen des avtar-Protokolls:
Filtern Sie mithilfe von Notepad++ oder Ähnlichem das Protokoll nach Zeilen mit avtar Info, die Meldungen vom Typ Status enthalten. Diese können je nach Version des Avamar Clients mithilfe der Codeeinträge gefiltert werden, die <5100> oder <8688> enthalten. Bei diesen Zeilen handelt es sich um regelmäßige Statusmeldungen, die von avtar gemeldet werden.

• Avamar – So interpretieren Sie Statuszeilen im avtar-Backupprotokoll.  

• Avamar-Backup wird langsam ausgeführt, da Drittanbietersoftware Metadaten für ansonsten unveränderte Dateien ändert. 

Überprüfen Sie die Verwendung von Einschluss- und Ausschlussmarkierungen. Vermeiden Sie „include“-Angaben:
Im Leitfaden zu betrieblichen Best Practices werden Einschluss- und Ausschlusslisten erläutert. 

Avamar muss jede Datei im Backup-Datenvolumen mit beiden Listen vergleichen, um festzustellen, ob die Datei gesichert werden soll. Dieser Vergleichsprozess erhöht den Overhead und kann die Backuplaufzeit verlängern.

Überprüfen Sie das Verzeichnis avsar des Clients auf das Vorhandensein der Datei avtar.cmd.
Überprüfen Sie, ob diese Datei aktive Angaben vom Typ --exclude oder --exclude-from-file enthält.
Falls ein Verzeichnis oder Dateisystem ausgeschlossen ist, aber „include“-Flags verwendet werden, durchsucht avtar es nach Elementen, die es „einschließen“ soll.

Überprüfen Sie, ob das Datenvolumen Analysepunkte oder Stub-Dateien enthält:
Seien Sie vorsichtig, wenn ein Datenvolumen Stub-Dateien oder Zeiger auf Daten enthält, die auf einem anderen Gerät gespeichert sind.
Die Backupperformance leidet, wenn avtar warten muss, bis die Remote-Datei abgerufen wird.
Beispiele für solche Software sind: Enterprise Vault Archiver, Moonwalk und DiskXtender.

• Die Avamar-Backupperformance des Plug-in-Backups von winclusterfs ist nach dem Upgrade von 7.0 auf 7.2 schlecht.

Backups von virtuellen Clients mit einer Avamar-Gastinstallation

• Avamar guest backup of Virtual Machine runs slowly and times out due to a hardware resource bottleneck (Avamar-Gastbackup der virtuellen Maschine wird aufgrund eines Hardwareressourcenengpasses langsam ausgeführt und es kommt zu Zeitüberschreitungen)  
• Avamar VM client guest backup experiencing slow performance due to VMware vShield Endpoint Trend Micro Deep Security (Avamar-VM-Client-Gastbackup mit langsamer Performance aufgrund von VMware vShield Endpoint Trend Micro Deep Security)  

• Avamar: Poor backup performance in winclusterfs plugin backup after upgrading to 7.2 from 7.0 (Schlechte Backupperformance im Winclusterfs-Plug-in-Backup nach dem Upgrade auf 7.2 von 7.0) 

Weitere Hinweise

• Stellen Sie sicher, dass VM-Clients nicht auf Ressourcen beschränkt sind oder strenge Hardwareeinschränkungen einhalten, die sich auf die schnelle Durchführung des Avamar Backups auswirken.  Auf ausgelasteten Computern ist das Betriebssystem möglicherweise überlastet oder hantiert mit zu vielen Threads, was zu schwerwiegendem Kontextswitching führt.
• Nutzen Sie den Leitfaden zu den Best Practices für die Verwendung von Avamar, um den Betrieb des Avamar Systems zu optimieren, Backups zu planen und Clientcaches zu verbessern.

Weitere Referenzen

• Avamar Clientperformance und Windows-NTFS-Komprimierung