Avamar: Konzepte und Schulungen zum Kapazitätsmanagement

Zu Fragen des Kapazitätsmanagements, die sich auf Data Domain-Geräte beziehen, lesen Sie bitte das Kapitel „Speicherplatz freigeben in einem reinen Data Domain-System“ im Avamar-und Data Domain-System Integrationsleitfaden. Die für Ihre Betriebsumgebung relevanten Benutzerhandbücher finden Sie unter So finden Sie die Avamar-Dokumentation auf der Dell Supportwebsite.

Ziele dieses Artikels:
 

• Zusammenfassen der Datentypen, die in den /data*-Partitionen gespeichert werden.
• Einführung in das Konzept der „Betriebssystemkapazität“ und Gegenüberstellung mit dem Konzept der „Nutzungskapazität“ (manchmal auch „GSAN-Kapazität“ genannt).
• Erläuterung, warum Avamar nicht in der Nähe der Nutzungskapazitätsgrenze ausgeführt werden sollte.
• Auflisten der Faktoren, die zum Prüfpunkt-Overhead beitragen.
• Beschreiben, wie Sie die Auslastung von Datenpartitionen überwachen können.
• Beschreiben der Symptome, die auftreten, wenn die Auslastung der Betriebssystemskapazität außer Kontrolle gerät.
• Typische Ursachen für die MSG_ERR_DISKFULL Meldung.
• Beschreiben der Wiederherstellungsmethoden, die verwendet werden, wenn eine hohe Auslastung der Betriebssystemkapazität den normalen Systembetrieb beeinträchtigt.
• Beschreiben der Symptome, die auftreten, wenn die Nutzungskapazität die Kapazitätsgrenze überschreitet.
• Erläutern, wie Sie eine Situation mit hoher Auslastung der Nutzungskapazität korrigieren können.

In diesem Artikel wird davon ausgegangen, dass die LeserInnen mit dem Abschnitt „Kapazitätsmanagement“ im Avamar-Handbuch zu Operational Best Practices vertraut sind.

Die für Ihre Betriebsumgebung relevanten Benutzerhandbücher finden Sie unter So finden Sie die Avamar-Dokumentation auf der Dell Support-Website.

Häufige Probleme, die auf eine zu hohe Auslastung der „Betriebssystemkapazität“ zurückzuführen oder Symptome dafür sind, sind:

• Die Prüfpunkt-Validierung (hfscheck) schlägt fehl.
• Die automatische Speicherbereinigung kann nicht ausgeführt werden und meldet den Fehler MSG_ERR_DISKFULL.
• Fehler bei der Prüfpunkterstellung.

Häufige Symptome, die eng mit einer zu hohen „Nutzerkapazität“ verknüpft sind, sind:

• Backups schlagen fehl.
• Eingehende Replikationsjobs schlagen fehl.
• Die Administrator-Schnittstelle zeigt das System im „Admin“-Modus während des Sicherungsfensters an.

Siehe Abschnitt „Lösung“.

Wie werden Daten im Avamar-Raster gespeichert?

Avamar Kapazitätsmanagement betrifft die Daten, die sich in den /data*-Partitionen aller Avamar Data Nodes befinden. Dies umfasst:

• Deduplizierte Sicherungsdaten
• RAIN-Paritätsdaten
• Prüfpunkt-Overhead-Daten

Sowohl RAIN-Paritäts- als auch Prüfpunktdaten sind Redundanzebenen, die Avamar zusätzlich zu RAID und Replikation zur Verfügung stehen.

Freier Speicherplatz in den Datenpartitionen ist ebenfalls erforderlich, damit Wartungsaufgaben wie die automatische Speicherbereinigung und das asynchrone Stripe-Crunching ordnungsgemäß ausgeführt werden können.

Im Folgenden finden Sie eine grafische Darstellung des physischen Speicherplatzes, der in den Datenpartitionen auf den Avamar-Speicher-Nodes verfügbar ist.

 

Wie werden Daten auf den Datenpartitionen gespeichert?

Im obigen Diagramm sehen wir eine einfache Darstellung, wie der Speicherplatz in den Datenpartitionen verwendet wird.

Der Wert 100 % auf der linken Seite ist definiert als die Gesamtmenge des physischen Speicherplatzes, der dem Betriebssystem in den Datenpartitionen zur Verfügung steht.

Wenn eine der Datenpartitionen mehr als 85 % des gesamten Speicherplatzes belegt, kann die automatische Speicherbereinigung nicht ausgeführt werden.

Die Markierung 100 % Nutzungskapazität (Schreibschutzgrenze) gibt an, dass bis zu 65 % des Gesamtspeicherplatzes in der Datenpartition für die Speicherung deduplizierter Daten verfügbar sind. Der Platz unterhalb dieser 100 %-Nutzungskapazitätsmarke entspricht dem Wert für die Serverauslastung, der in der Administrations-UI sichtbar ist. Wenn die Menge der deduplizierten Daten, die auf einer Datenpartition auf einem beliebigen Node gespeichert sind, 65 % erreicht, wird das Avamar-System schreibgeschützt und weist weitere Backupdaten zurück.

Wir wissen inzwischen, dass NutzerInnen über die Administration-UI von Avamar Einblick in den Speicherplatz haben, den Backups belegen, aber keinen Einblick in den Speicherplatz, der in den Datenpartitionen des Betriebssystems verbraucht wird.

 

Warum ein Avamar-System nicht in der Nähe der Nutzungskapazitätsgrenze ausgeführt werden sollte.

Die Beziehung zwischen einer hohen Auslastung der „Nutzungskapazität“ und dem Prüfpunkt-Overhead ist derart, dass bei zunehmender Auslastung eines Systems selbst kleine Steigerungen der Backupdaten zu einem großen Anstieg des Prüfpunkt-Overhead führen können.

Eine vollständige Erörterung der Gründe, warum dies der Fall ist, würde den Rahmen dieses Artikels sprengen, aber es ist wichtig, Folgendes zu bedenken: Je näher ein Avamar-System an der Nutzungskapazitätsgrenze von 100 % ist, desto weniger Betriebssystemkapazität steht für Prüfpunkt-Overhead zur Verfügung.

Wie im obigen Diagramm zu sehen ist, ist der Prüfpunkt-Overhead auf einem vollständig betriebstüchtigen System auf 20 % des gesamten Betriebssystemspeicherplatzes in den Datenpartitionen beschränkt.

Damit ein Avamar-System zuverlässig nah an der „Nutzungskapazitätsgrenze“ ausgeführt werden kann, muss es die folgenden Kriterien erfüllen:

• Das System muss eine niedrige Rate an täglich geänderten Daten aufweisen (nicht mehr als 1 %).
• Die Kapazität muss sich in einem stabilen Zustand befinden, wie im Avamar Leitfaden zu Operational Best Practices beschrieben. Hier finden Sie die für Ihre Betriebsumgebung relevanten Benutzerhandbücher: So finden Sie die Avamar-Dokumentation auf der Dell Supportwebsite.
• Die Wartungsaufgaben sollten jeden Tag erfolgreich abgeschlossen werden.

Wenn eine dieser Aussagen von wahr auf falsch umschlägt, ist zu erwarten, dass die Prüfpunkt-Overhead entweder allmählich ansteigt oder plötzlich in die Höhe schießt und ernsthafte Betriebsprobleme verursacht.

 

Faktoren, die zum Prüfpunkt-Overhead beitragen:

Die folgenden Faktoren können zu einem Anstieg des Prüfpunkt-Overheads führen.

• Asynchrones Crunching von Stripes (standardmäßig aktiviert).
• Die Anzahl der Prüfpunkte, die auf dem System gespeichert sind.
• Nicht täglich erfolgreich abgeschlossene Prüfpunkt-Validierung.
• Wie leer Stripes sind, wenn der Avamar-Server sie wiederverwendet (wird mit zunehmender Serverauslastung schwerwiegender)
• Die tägliche Änderungshäufigkeit der Backups.<

Ein Systemadministrator hat einen gewissen Grad an Kontrolle über diese Faktoren. Die Konfiguration des asynchronen Crunching ist nur für den Support gedacht, aber AdministratorInnen können überflüssige Prüfpunkte entfernen, Prüfpunktfehler untersuchen und die Serverauslastung und die tägliche Datenänderungshäufigkeit beeinflussen.

 

So überwachen Sie die Auslastung der Datenpartition:

Die korrekte Methode zur Überwachung der Auslastung der Betriebssystem-Datenpartition ist die Verwendung des folgenden Avamar-Befehls vom Avamar Utility-Node aus.

Beispiel:

admin@utilitynode:~/>: avmaint nodelist | grep fs-percent
        fs-percent-full="7.8"
        fs-percent-full="6.3"
        fs-percent-full="6.4"
        fs-percent-full="6.4"
        fs-percent-full="7.6"
        fs-percent-full="6.2"
        fs-percent-full="6.1"
        fs-percent-full="6.6"
        fs-percent-full="7.8"
        fs-percent-full="6.4"
        fs-percent-full="6.5"
        fs-percent-full="6.8"

Diese Ausgabe gibt Ihnen einen echten Eindruck von der Kapazitätsauslastung des Betriebssystems. In einem Raster, in dem Daten-Nodes einen Dateipool verwenden, df ist der Linux-Befehl „df“ nicht aussagekräftig, da die Stripes im Dateipool vorbelegt sind und viele der Stripes möglicherweise nicht in Gebrauch sind.

 

Was passiert, wenn die Kapazitätsauslastung des Betriebssystems außer Kontrolle gerät?

Aus Sicht eines Anwenders ist das erste Anzeichen dafür, dass die Auslastung der Datenpartition außer Kontrolle geraten ist, wenn sie über 85 % ansteigt.

Die automatische Speicherbereinigung kann dann nicht mehr ausgeführt werden und schlägt mit einer MSG_ERR_DISKFULL Fehlermeldung fehl.

Hier kommt es oft zu Missverständnissen: NutzerInnen interpretieren die MSG_ERR_DISKFULL Meldung oft so, dass das System keinen Platz mehr für Backups hat.

Diese Interpretation ist nicht korrekt. NutzerInnen überprüfen in der Regel jedoch den Serverauslastungswert in der Avamar Administrations-Benutzeroberfläche und stellen fest, dass der Wert akzeptabel ist, z. B. 60 %.

NutzerInnen versuchen dann vielleicht, Backups über die Backupmanagementschnittstelle der Avamar-Benutzeroberfläche zu löschen. Selbst wenn die Nutzungskapazität hoch wäre, würde das Löschen von Backups die Situation nicht verbessern, da die automatische Speicherbereinigung nicht ausgeführt werden kann, um abgelaufene Datenblöcke aus dem System zu entfernen.

Wenn bei einem System sowohl ein Problem mit einer ausgelasteten Betriebssystemkapazität als auch mit einer ausgelasteten Nutzungskapazität vorliegt, konzentrieren Sie sich zuerst auf die Lösung des Problems mit der ausgelasteten Betriebssystemkapazität.

Bei einer hohen Auslastung der Betriebssystemkapazität kann dem System der Platz zum Erstellen von Prüfpunkten ausgehen.

 

Was verursacht die Meldung „MSG_ERR_DISKFULL“?

Die häufigste Ursache ist zu hoher Prüfpunkt-Overhead. Typische Ursachen für einen hohen Prüfpunkt-Overhead könnten sein:

• Die Prüfpunkt-Validierung (hfscheck) ist wiederholt fehlgeschlagen.
• Das Scheitern von hfscheck hat viele mögliche Ursachen (abrupter Abbruch, Softwarefehler, etc.).
• Das System ist zu voll und hat eine hohe tägliche Datenänderungshäufigkeit.
• Das System benötigt mehr Daten-Nodes, um die Datenänderungsrate zu bewältigen und die Daten zu speichern.
• Das System ist so konfiguriert, dass es mehr Daten oder Clients sichert, als für seine Größe vorgesehen sind.
• Es werden zu viele Prüfpunkte gespeichert (Avamar speichert standardmäßig zwei Prüfpunkte, von denen einer validiert wurde).
• SystemadministratorInnen haben übermäßig viele Prüfpunkte erstellt.
• Vor kurzem wurde eine Wartung durchgeführt, aber die standardmäßigen Prüfpunkt-Speicherungen wurden nicht wiederhergestellt.

Im folgenden Artikel erfahren Sie, wie Sie den Fehler „MSR_ERR_DISKFULL“ beheben können: Avamar Wartungsaufgaben schlagen aufgrund einer Auslastung der Betriebssystemkapazität der Datenpartition von >89 % mit „MSG_ERR_DISKFULL“ fehl

 

Maßnahmen zur Untersuchung und Abhilfe bei ausgelasteter Betriebssystemkapazität

1. Ermitteln Sie, wann der letzte hfscheck abgeschlossen wurde. Verwenden Sie dazu entweder den Avamar Administrator oder die Befehlszeile auf dem Avamar Utility Node:

• Wechseln Sie im Avamar Administrator zur Registerkarte Server>Prüfpunktmanagement.
• Überprüfen Sie das neuestein der Spalte Prüfpunktvalidierung aufgeführte Datums- und Zeitfenster. Dies sollte in den letzten 24 Stunden aufgetreten sein.

• Führen Sie über die Befehlszeile des Avamar Utility Node den folgenden Befehl aus: cplist.

admin@utilitynode:~/>: cplist

cp.20110114111419 Fri Jan 14 11:14:19 2011   valid rol ---  nodes   3/3 stripes   1131
cp.20110114194457 Fri Jan 14 19:44:57 2011   valid --- ---  nodes   3/3 stripes   1131

 

2. Bestätigen Sie, das hfscheck ausgeführt wurde oder fehlgeschlagen ist.

Last hfscheck: finished Sat Jan 15, 11:07:17 2011 after 06m 41s >> checked 528 of 528 stripes (OK)

admin@utilitynode:~/>: dpnctl status maint

Identity added: /home/admin/.ssh/dpnid (/home/admin/.ssh/admin_key)
dpnctl: INFO: Maintenance windows scheduler status: enabled.

• Wenn der Wartungsfensterplaner heruntergefahren, deaktiviert oder angehalten ist, aktivieren Sie ihn mit dem folgenden Befehl: dpnctl start maint
• Verwenden Sie optional einen neuen Prüfpunkt und führen Sie hfscheck aus oder warten Sie, bis das nächste geplante Wartungsfenster abgeschlossen ist.

Sobald ein hfscheck erfolgreich abgeschlossen wurde (nach der Behebung von Problemen oder dem Neustart des Wartungsplaners), wird der älteste Prüfpunkt entfernt und die Kapazität des Betriebssystems sollte erheblich reduziert werden.

• Wenn die Auslastung der Betriebssystemkapazität weiterhin zu hoch ist und die automatische Speicherbereinigung weiterhin mit der Meldung MSG_ERR_DISKFULL fehlschlägt, holen Sie sich Unterstützung durch das technische Support-Team von Dell.
• Wenn die Auslastung der Betriebssystemkapazität niedrig genug ist, um die Ausführung der automatischen Speicherbereinigung zu ermöglichen, versuchen Sie, die Auslastung der „Nutzungskapazität“ zu senken, und bringen Sie den Wert für die „Serverauslastung“ nach unten.

 

 

Maßnahmen zur Abhilfe bei hoher Auslastung der Betriebssystemkapazität:

Anders als bei der Betriebssystemkapazität können Nutzungskapazitätsstufen leichter und direkt über den Avamar System Administrator beeinflusst werden.

1. Stellen Sie sicher, dass die automatische Speicherbereinigung jeden Tag läuft und nicht durch Backups unterbrochen wird.

Dies ist der wichtigste Punkt, da selbst ein ausreichend dimensioniertes System schnell eine hohe Auslastung der Nutzungskapazität erfährt, wenn die automatische Speicherbereinigung nicht regelmäßig oder zuverlässig ausgeführt wird.

Vergewissern Sie sich, wie zuvor gezeigt, dass das Wartungsfenster aktiviert ist, und verwenden Sie die Skripte capacity.sh und sched.sh, um zu überprüfen, ob Daten über die automatische Speicherbereinigung entfernt werden.

Vor Avamar v7.x konnten Backups während des Beschränkungszeitfensters für die automatische Speicherbereinigung nicht ausgeführt werden.

Die mit der Avamar v7.x-Funktion eingeführte Funktion „Hash Referenced Bit Maps“ ermöglicht Backups während der Wartungsaktivität zur automatischen Speicherbereinigung. Diese Funktion erfordert, dass diese Zuordnungen mindestens 5 Minuten „Ruhezeit“ pro Tag haben, in der keine Backups ausgeführt werden, damit sie zurückgesetzt werden können.

Informationen zu dieser Funktion finden Sie unter dem Link zum Artikel Avamar: Ab Avamar v7 meldet die automatische Speicherbereinigung „skipped-hashes“, die aufgrund von „Hash-referenzierten Bitmaps“ nicht gelöscht werden können, wenn die Daten verwendet werden.

2. Fügen Sie keine weiteren neuen Clients zum Raster hinzu.
 

Sobald ein Avamar-Raster seine Kapazität erreicht, sollten wir sofort aufhören, neue Clients hinzuzufügen, um eine Verschlechterung der Situation zu verhindern.

Wenn Sie ein anderes Avamar-Raster haben, das auf einer niedrigeren Ebene der Serverauslastung ausgeführt wird, sollten Sie erwägen, diesem Raster neue Clients hinzuzufügen, statt zu dem Server, der sich der vollständigen Auslastung zuneigt.


3. Finden Sie heraus, welche Clients den meisten Speicherplatz verbrauchen.

Um ein Kapazitätsproblem zu beheben, sollten wir ermitteln, welche Clients für das Hinzufügen der meisten Daten zum Avamar-System verantwortlich sind.

Das Skript capacity.sh (wird über die Befehlszeile des Avamar Utility Node ausgeführt) kann auch verwendet werden, um zu ermitteln, welche Clients die höchste Änderungshäufigkeit aufweisen.

Bei Dell registrierte NutzerInnen finden weitere Informationen dazu unter dem Link zum Artikel Avamar: So managen Sie die Kapazität mit dem Skript capacity.sh. Dort wird die Verwendung des Skripts capacity.sh näher erläutert.

Es wird oft festgestellt, dass die „gierigsten“ Clients diejenigen sind, die SQL-Datenbanken oder E-Mail-Server sichern, daher sollten Sie diesen besondere Aufmerksamkeit schenken.

Nachdem Sie Clients mit hoher Änderungshäufigkeit identifiziert haben, überprüfen Sie die Aufbewahrungsrichtlinien erneut, um zu sehen, ob diese gesenkt werden können, um die Speicheranforderungen auf ein akzeptables Niveau zu reduzieren.

Wenn ein anderes Avamar-System zur Verfügung steht, sollten Sie die Möglichkeit in Betracht ziehen, große Clients oder Clients mit hoher Änderungshäufigkeit über die Avamar Client Manager-Schnittstelle von einem höher ausgelasteten System auf ein geringer ausgelastetes System zu migrieren.

Wenn die Auslastung der Nutzungskapazität schwerwiegend (>90 %) ist, müssen Sie möglicherweise alte Backups über die Backupmanagementschnittstelle oder mit dem Tool modify-snapups ablaufen lassen. 

Dell NutzerInnen finden weitere Informationen unter dem Link zum Artikel Avamar-Kapazitätsmanagement: Löschen oder Ablaufen lassen von mehreren Backups mit dem Tool „modify-snapups“.

Durch das Löschen von Backups wird die Serverauslastung nicht sofort gesenkt. Vielmehr ermöglicht es der automatischen Speicherbereinigung, die Daten bei ihrer nächsten Ausführung zu entfernen. Das Löschen alter Backups ist ein kurzfristiger Workaround. Die Backups werden einfach in den nächsten Tagen wieder durch neue ersetzt. Wenn Backups gelöscht werden, ist es wichtig, auch die Aufbewahrungsrichtlinien anzupassen.

Nachdem die Backups gelöscht und die Aufbewahrungsrichtlinien geändert wurden, sollten Sie die Datenveränderung auf dem System mit dem Skript capacity.sh genau überwachen. Sie sollten feststellen können, dass der Wert „entfernte Daten“ steigt und der Wert „Nettoänderung“ negativ wird. Wenn die überschüssigen Daten aus dem System entfernt werden, kehrt der Wert „Entfernt“ auf ein normaleres Niveau zurück. Überwachen Sie weiterhin den Wert „Entfernt“.

Wenn der Nettoänderungswert nicht negativ wird, überprüfen Sie das Protokoll zur automatischen Speicherbereinigung, um festzustellen, wie lange die automatische Speicherbereinigung ausgeführt wird und wie viel Arbeit innerhalb des Wartungsfensters erreicht wird.

Dell NutzerInnen finden weitere Informationen unter dem zum Artikel Avamar: So managen Sie die Kapazität mit dem Skript capacity.sh. Dort wird die Verwendung des Skripts capacity.sh erläutert.

Häufig ist eine hohe Auslastung des Avamar-Systems auf das natürliche und erwartete Datenwachstum zurückzuführen. Es muss mehr Speicherplatz zur Verfügung gestellt werden, um Produktionsbackups fortzusetzen.

Wie dies erfolgen kann, hängt vom Typ des Avamar-Systems ab.

• Systeme mit einem Node und Avamar Virtual Edition (AVE)-Systeme

Diese können nicht erweitert werden. Nehmen Sie ein zweites, größeres Avamar-System in Betrieb und beauftragen Sie Dell Professional Services mit der Durchführung einer Systemmigration von dem kleineren auf das größere System. Professional Services können über Ihren Dell Account Manager angefordert werden.
Das neue System kann ein Single-Node-, AVE- oder Multinode-System sein, solange es mehr Speicherplatz bietet als die Quelle.

• Systeme mit mehr Nodes

Diese Systeme können auf bis zu 16 Daten-Nodes erweitert werden. Wenden Sie sich für weitere Informationen an Ihren Dell Account Manager. Die Standard-Supportteams können keine Nodes hinzufügen. Daher sollte kein Service-Request geöffnet werden, um derartige Arbeiten anzufragen.

• Integrieren von Data Domain

Die Integration eines Data Domain-Systems als Back-End-Speichergerät ist eine nützliche Möglichkeit zur Erweiterung der Kapazität von Clients, die ein Backup auf Avamar durchführen. Besprechen Sie die Optionen mit Ihrem Dell Account Manager.

Nützliche Tools

• status.dpn
• capacity.sh
• Avalanche
• DPN-Übersichtsbericht
• replcnt.sh
• Avamar Client Manager

Best Practices:

• Versuchen Sie, zu verhindern, dass der Wert für die Avamar Server-Auslastung (Benutzerkapazität) höher als 80 % steigt.
• Eine geringere Auslastung der Nutzungskapazität bietet Ausfallsicherheit bei unerwarteten Änderungen der hinzugefügten Datenmenge und kann davor schützen, dass das System bei unerwarteten Ausfällen oder kurzfristigen Problemen mit Wartungsaufgaben unbrauchbar wird.
• Ein Avamar-System, das mit einer Auslastung der Nutzungskapazität von mehr als 80 % betrieben wird, erfordert eine sorgfältigere Überwachung durch die Systemadministration, um sicherzustellen, dass Wartungsaufgaben erfolgreich abgeschlossen werden und das System nicht schreibgeschützt wird.