Avamar: Konzepte und Schulungen zum Kapazitätsmanagement

Zu Fragen des Kapazitätsmanagements, die sich auf Data Domain-Geräte beziehen, lesen Sie bitte das Kapitel „Speicherplatz freigeben in einem reinen Data Domain-System“ im Avamar-und Data Domain-System Integrationsleitfaden.

Hier finden Sie die für Ihre Betriebsumgebung relevanten Benutzerhandbücher: So finden Sie die Avamar-Dokumentation auf der Dell Supportwebsite.

• Zusammenfassen der Datentypen, die in den /data*-Partitionen gespeichert werden.
• Führen Sie das Konzept der "Betriebssystemkapazität (BS)" ein und vergleichen Sie es mit dem Konzept der "Nutzerkapazität" (manchmal auch als "GSAN Kapazität.")
• Erläuterung, warum Avamar nicht in der Nähe der Nutzungskapazitätsgrenze ausgeführt werden sollte.
• Auflisten der Faktoren, die zum Prüfpunkt-Overhead beitragen.
• Beschreiben, wie Sie die Auslastung von Datenpartitionen überwachen können.
• Beschreiben der Symptome, die auftreten, wenn die Auslastung der Betriebssystemskapazität außer Kontrolle gerät.
• Typische Ursachen für die MSG_ERR_DISKFULL Meldung.
• Beschreiben der Wiederherstellungsmethoden, die verwendet werden, wenn eine hohe Auslastung der Betriebssystemkapazität den normalen Systembetrieb beeinträchtigt.
• Beschreiben der Symptome, die auftreten, wenn die Nutzungskapazität die Kapazitätsgrenze überschreitet.
• Erläutern, wie Sie eine Situation mit hoher Auslastung der Nutzungskapazität korrigieren können.

In diesem Artikel wird davon ausgegangen, dass die LeserInnen mit dem Abschnitt "Managing Capacity" im Avamar-Handbuch zu betrieblichen Best Practices vertraut sind.

Auch hier finden Sie die für Ihre Betriebsumgebung relevanten Leitfäden: So finden Sie die Avamar-Dokumentation auf der Dell Support-Website.

Häufige Probleme, die sich auf eine hohe Betriebssystemkapazität auswirken oder Symptome einer hohen Betriebssystemkapazität sind, sind:

• Kontrollpunktvalidierung (hfscheck) schlägt fehl.
• Die automatische Speicherbereinigung kann nicht ausgeführt werden und meldet MSG_ERR_DISKFULL.
• Fehler bei der Prüfpunkterstellung.

• Backups schlagen fehl.
• Eingehende Replikationsjobs schlagen fehl.
• Die Administrator-Schnittstelle zeigt das System im „Admin“-Modus während des Sicherungsfensters an.

Dieser Artikel enthält die Konzepte rund um Avamar-Kapazitätsmanagementkonzepte und -schulungen.

Wie werden Daten im Avamar-Raster gespeichert?

Avamar Kapazitätsmanagement betrifft die Daten, die sich in den /data*-Partitionen aller Avamar Data Nodes befinden.

• Deduplizierte Sicherungsdaten
• RAIN-Paritätsdaten
• Prüfpunkt-Overhead-Daten

Sowohl die RAIN-Parität als auch die Prüfpunktdaten sind Redundanzebenen, die zusätzlich zu RAID und Replikation für Avamar verfügbar sind.

Freier Speicherplatz in den Datenpartitionen ist ebenfalls erforderlich, damit Wartungsaufgaben wie die automatische Speicherbereinigung (Garbage Collection, GC) und das asynchrone Stripe-Crunching ordnungsgemäß ausgeführt werden können.

Im Folgenden finden Sie eine grafische Darstellung des physischen Speicherplatzes, der in den Datenpartitionen auf den Avamar-Speicher-Nodes verfügbar ist.

Wie werden Daten auf den Datenpartitionen gespeichert?

Im obigen Diagramm gibt es eine einfache Darstellung, wie der Speicherplatz in den Datenpartitionen verwendet wird.

Der 100 %-Wert auf der linken Seite ist definiert als die Gesamtmenge an physischem Speicherplatz, die dem Betriebssystem in den Datenpartitionen zur Verfügung steht.

• Die Markierung 100 % Nutzerkapazität (schreibgeschützte Grenze) gibt an, dass bis zu 65 % des Gesamtspeicherplatzes in der Datenpartition für die Speicherung deduplizierter Daten verfügbar sind.
• Der Platz unterhalb dieser 100 %-Nutzungskapazitätsmarke entspricht dem Wert für die Serverauslastung, der in der Administrations-UI sichtbar ist.

Wenn die Menge der deduplizierten Daten, die auf einer Datenpartition auf einem beliebigen Node gespeichert sind, 65 % erreicht, wird Avamar schreibgeschützt und lehnt weitere Backupdaten ab.

Basierend auf dem oben Gesagten kann davon ausgegangen werden, dass der Nutzer über die Avamar Administrator-Benutzeroberfläche Sichtbarkeit für den Speicherplatz hat, den Backups belegt haben, aber nicht für den Speicherplatz, der in den Datenpartitionen des Betriebssystems verbraucht wird.

Warum ein Avamar-System nicht in der Nähe der Nutzungskapazitätsgrenze ausgeführt werden sollte.

Die Beziehung zwischen hoher „Nutzerkapazität“ und dem Prüfpunkt-Overhead ist derart, dass, wenn ein System immer voller wird, selbst kleine Erhöhungen der Sicherungsdaten einen großen Anstieg des Checkpoint-Overheads verursachen können.

Eine vollständige Erörterung der Gründe, warum dies der Fall ist, würde den Rahmen dieses Artikels sprengen, aber es ist wichtig, sich daran zu erinnern: D e r100 % Nutzerkapazität für ein Avamar -System gilt, desto weniger Betriebssystemkapazität steht für Kontrollpunkt-Overhead zur Verfügung.

Auf einem vollständigen System ist der Kontrollpunkt-Overhead gemäß dem obigen Diagramm auf 20 % des gesamten Betriebssystemspeicherplatzes in den Datenpartitionen beschränkt.

• Das System muss eine niedrige Rate an täglich geänderten Daten aufweisen (nicht mehr als 1 %).
• Die Kapazität muss sich in einem stabilen Zustand befinden, wie im Avamar Leitfaden zu Operational Best Practices beschrieben. Hier finden Sie die für Ihre Betriebsumgebung relevanten Benutzerhandbücher: So finden Sie die Avamar-Dokumentation auf der Dell Supportwebsite.
• Die Wartungsaufgaben sollten jeden Tag erfolgreich abgeschlossen werden.

Wenn eine dieser Aussagen von wahr auf falsch umschlägt, ist zu erwarten, dass die Prüfpunkt-Overhead entweder allmählich ansteigt oder plötzlich in die Höhe schießt und ernsthafte Betriebsprobleme verursacht.

Faktoren, die zum Prüfpunkt-Overhead beitragen:

• Asynchrones Crunching von Stripes (standardmäßig aktiviert).
• Die Anzahl der Prüfpunkte, die auf dem System gespeichert sind.
• Nicht täglich erfolgreich abgeschlossene Prüfpunkt-Validierung.
• Wie leer Stripes sind, wenn der Avamar-Server sie wiederverwendet (wird mit zunehmender Serverauslastung schwerwiegender)
• Die tägliche Änderungshäufigkeit der Backups.

Ein Systemadministrator hat einen gewissen Grad an Kontrolle über diese Faktoren. Die Konfiguration des asynchronen Crunching ist nur für den Support gedacht, aber AdministratorInnen können überflüssige Prüfpunkte entfernen, Prüfpunktfehler untersuchen und die Serverauslastung und die tägliche Datenänderungshäufigkeit beeinflussen.

So überwachen Sie die Auslastung der Datenpartition:

Die richtige Methode zum Überwachen der Auslastung der BS-Datenpartition ist die Verwendung des folgenden Avamar -Befehls vom Avamar Utility Node:

avmaint nodelist | grep fs-percent        

Beispiel Ausgabe:

fs-percent-full="7.8"
fs-percent-full="6.3"
fs-percent-full="6.4"
fs-percent-full="6.4"
fs-percent-full="7.6"
fs-percent-full="6.2"
fs-percent-full="6.1"
fs-percent-full="6.6"
fs-percent-full="7.8"
fs-percent-full="6.4"
fs-percent-full="6.5"
fs-percent-full="6.8"

• • Diese Ausgabe gibt einen echten Messwert für die Kapazitätsauslastung des Betriebssystems.
  • In einem Raster, in dem Daten-Nodes einen Dateipool verwenden, df ist der Linux-Befehl „df“ nicht aussagekräftig, da die Stripes im Dateipool vorbelegt sind und viele der Stripes möglicherweise nicht in Gebrauch sind.

Was passiert, wenn die Kapazitätsauslastung des Betriebssystems außer Kontrolle gerät?

Aus Nutzersicht tritt das erste Anzeichen dafür, dass die Auslastung der Datenpartition außer Kontrolle geraten ist, auf, wenn sie über 89 % steigt.

Die automatische Speicherbereinigung kann nicht mehr ausgeführt werden und schlägt mit einem MSG_ERR_DISKFULL Fehlermeldung.

Hier kommt es oft zu Missverständnissen: NutzerInnen interpretieren die MSG_ERR_DISKFULL angezeigt, dass auf dem System kein Speicherplatz mehr für Backups vorhanden ist.

Diese Interpretation ist nicht korrekt. NutzerInnen überprüfen in der Regel jedoch den Serverauslastungswert in der Avamar Administrator-Benutzeroberfläche und stellen fest, dass der Wert akzeptabel ist, z. B. 60 %.

Der Nutzer kann versuchen, Backups über die Backupmanagementschnittstelle der Avamar-Benutzeroberfläche zu löschen. Selbst wenn die Nutzerkapazität hoch wäre, würde das Löschen von Backups die Situation nicht verbessern, da die automatische Speicherbereinigung nicht ausgeführt werden kann und abgelaufene Datenblöcke aus dem System entfernt werden können.

Wenn bei einem System sowohl ein Problem mit einer hohen Systemkapazität als auch mit einer hohen Nutzerkapazität vorliegt, konzentrieren Sie sich zuerst auf die Lösung des Problems mit der hohen Betriebssystemkapazität. 

Bei einer hohen Auslastung der Betriebssystemkapazität kann dem System der Platz zum Erstellen von Prüfpunkten ausgehen.

Was verursacht die Meldung „MSG_ERR_DISKFULL“?

• Kontrollpunktvalidierung (hfscheck) ist wiederholt fehlgeschlagen.
• Ein hfscheck Fehler haben viele mögliche Ursachen (abrupte Abbrechung, Softwarefehler usw.).
• Das System ist zu voll und hat eine hohe tägliche Datenänderungshäufigkeit.
• Das System benötigt mehr Daten-Nodes, um die Datenänderungsrate zu bewältigen und die Daten zu speichern.
• Das System ist so konfiguriert, dass es mehr Daten oder Clients sichert, als für seine Größe vorgesehen sind.
• Es werden zu viele Prüfpunkte gespeichert (Avamar speichert standardmäßig zwei Prüfpunkte, von denen einer validiert wurde).
• SystemadministratorInnen haben übermäßig viele Prüfpunkte erstellt.
• Vor kurzem wurde eine Wartung durchgeführt, aber die standardmäßigen Prüfpunkt-Speicherungen wurden nicht wiederhergestellt.

Lesen Sie den folgenden Artikel, um das Problem zu beheben MSG_ERR_DISKFULL Szenario: Avamar: Wartungsaufgaben schlagen mit MSG_ERR_DISKFULL fehl, weil die Betriebssystemkapazität einer oder mehrerer Datenpartitionen 89 Prozent übersteigt

Maßnahmen zur Untersuchung und Behebung der hohen Betriebssystemkapazität:

1. Bestimmen Sie, wann die letzte hfscheck Fertig. Verwenden Sie dazu entweder den Avamar Administrator oder die Befehlszeile auf dem Avamar Utility Node:

• Gehen Sie in der Avamar Java Administrator-Benutzeroberfläche wie folgt vor:
  • Navigieren Sie zur Registerkarte Server > Checkpoint Management.
  • Überprüfen Sie das neuestein der Spalte Prüfpunktvalidierung aufgeführte Datums- und Zeitfenster. Dies sollte in den letzten 24 Stunden aufgetreten sein.

-- oder --

• Verwenden der Befehlszeile des Avamar Utility Node:
  • Führen Sie den Befehl aus: cplist.

admin@utilitynode:~/>: cplist

cp.20110114111419 Fri Jan 14 11:14:19 2011   valid rol ---  nodes   3/3 stripes   1131
cp.20110114194457 Fri Jan 14 19:44:57 2011   valid --- ---  nodes   3/3 stripes   1131

• • • • Der neueste validierte Prüfpunkt, der hier aufgeführt ist, ist der vom 14. Januar 11:14.
      • Er wird durch das Flag direkt hinter der "gültigen" Markierung identifiziert.
      • Je nachdem, welche Arten von Kontrollpunktvalidierungen auf dem System festgelegt sind, kann das Flag wie folgt lauten: rol oder hfs.
      • Dies ist ein Beispiel für eine rol (rollend) hfscheck.

Wenn die Ergebnisse anzeigen, dass der neueste validierte Prüfpunkt älter als 24 Stunden ist, finden Sie heraus, warum. Dies kann entweder daran liegen, dass die HFScheck nicht ausgeführt wurde oder weil es fehlgeschlagen ist.

2. Überprüfen Sie, ob HFScheck ausgeführt wurde oder wenn es fehlgeschlagen ist:

Führen Sie auf dem Avamar Utility Node den Befehl status.dpn und suchen Sie die Zeile, die mit "Last hfscheck“ überschritten werden.

Zum Beispiel:

Last hfscheck: finished Sat Jan 15, 11:07:17 2011 after 06m 41s >> checked 528 of 528 stripes (OK)

Notieren Sie sich, wann der Vorgang abgeschlossen wurde und wie der Status lautete (in der obigen Codezeile wird der Status als „OK“ angezeigt).

Wenn hfscheck Aufträge gescheitert sind, sollte dies sofort untersucht werden.

Wenn hfscheck in letzter Zeit nicht ausgeführt wurde, überprüfen Sie, ob der Wartungsplaner aktiviert ist, indem Sie den Befehl "dpnctl status maint" auf dem Avamar Utility Node: .

admin@utilitynode:~/>: dpnctl status maint

Identity added: /home/admin/.ssh/dpnid (/home/admin/.ssh/admin_key)
dpnctl: INFO: Maintenance windows scheduler status: enabled.

• Wenn der Wartungsfenster-Scheduler heruntergefahren, deaktiviert oder angehalten ist, aktivieren Sie ihn mit dem Befehl: dpnctl start maint
• Nehmen Sie optional einen neuen Prüfpunkt und führen Sie Folgendes aus: hfscheck, oder warten Sie, bis das nächste geplante Wartungsfenster abgeschlossen ist.

Einmal ein hfscheck erfolgreich abgeschlossen wurde (nach der Behebung von Problemen oder dem Neustart des Wartungsplaners), wird für den ältesten Prüfpunkt ein Rollback durchgeführt und die Kapazität des Betriebssystems sollte erheblich reduziert werden.

• Wenn die Kapazität des Betriebssystems immer noch zu hoch ist und die automatische Speicherbereinigung weiterhin mit dem Befehl MSG_ERR_DISKFULL und wenden Sie sich dann an das technische Support-Team von Dell.
• Wenn die Auslastung der Betriebssystemkapazität niedrig genug ist, um die Ausführung der automatischen Speicherbereinigung zu ermöglichen, versuchen Sie, die Auslastung der „Nutzungskapazität“ zu senken, und bringen Sie den Wert für die „Serverauslastung“ nach unten.

Maßnahmen zur Abhilfe bei hoher Auslastung der Betriebssystemkapazität:

Anders als bei der Betriebssystemkapazität können Nutzerkapazitätsstufen leichter und direkt vom Avamar System Administrator beeinflusst werden.

1. Stellen Sie sicher, dass die automatische Speicherbereinigung jeden Tag läuft und nicht durch Backups unterbrochen wird.

Dies ist der wichtigste Punkt, da selbst ein ausreichend dimensioniertes System schnell eine hohe Nutzerkapazität erfährt, wenn die automatische Speicherbereinigung nicht regelmäßig oder zuverlässig ausgeführt wird.

Vergewissern Sie sich, wie zuvor gezeigt, dass das Wartungszeitfenster aktiviert ist, und verwenden Sie die capacity.sh und sched.sh Skripte, um zu überprüfen, ob die automatische Speicherbereinigung ausgeführt wird, dass Daten entfernt werden.

Vor Avamar v7.x konnten Backups während des Zeitfensters für die "Beschränkung" für die automatische Speicherbereinigung nicht ausgeführt werden.

Die mit der Avamar v7.x-Funktion eingeführte Funktion "Hash Referenced Bit Maps" ermöglicht Backups während der GC-Wartungsaktivität. Diese Funktion erfordert, dass diese "Karten" mindestens 5 Minuten "ruhige" Zeit pro Tag haben, in der keine Backups ausgeführt werden, damit sie zurückgesetzt werden können.

Auf Inhalte zu dieser Funktion kann über den Link zum Artikel Avamar zugegriffen werden: Ab Avamar v7 meldet die automatische Speicherbereinigung „skipped-hashes“, die aufgrund von „Hash-referenzierten Bitmaps“ nicht gelöscht werden können, wenn die Daten verwendet werden.

2. Fügen Sie keine weiteren neuen Clients zum Raster hinzu.

Sobald ein Avamar-Grid seine Kapazität erreicht, beenden Sie sofort das Hinzufügen neuer Clients, um eine Verschlechterung der Situation zu verhindern.

Wenn es ein anderes Avamar-Raster gibt, das auf einer niedrigeren Ebene der Serverauslastung ausgeführt wird, sollten Sie erwägen, diesem Raster neue Clients hinzuzufügen, anstatt des Servers, der sich der Auslastung zuneigt.

3. Finden Sie heraus, welche Clients den meisten Speicherplatz verbrauchen.

Um ein Kapazitätsproblem zu beheben, ermitteln Sie, welche Clients für das Hinzufügen der meisten Daten zum Avamar-System verantwortlich sind.

Bei der capacity.sh Skript (über die Befehlszeile des Avamar Utility Node ausgeführt) kann auch verwendet werden, um zu ermitteln, welche Clients die höchste Änderungsrate aufweisen.

Siehe Avamar: Managen der Kapazität mit dem capacity.sh Skript für weitere Informationen zur Verwendung der capacity.sh Skript.

Es wird oft festgestellt, dass die „hungrigsten“ Clients diejenigen sind, die SQL-Datenbanken oder E-Mail-Server sichern, also achten Sie besonders auf diese.

4. Überprüfen Sie die Aufbewahrungsrichtlinien erneut.

Nachdem Sie Clients mit hoher Änderungshäufigkeit identifiziert haben, überprüfen Sie die Aufbewahrungsrichtlinien erneut, um zu sehen, ob diese gesenkt werden können, um die Speicheranforderungen auf ein akzeptables Niveau zu reduzieren.

Wenn das System alt genug ist, um die am längsten aufbewahrten Backups ablaufen zu lassen, können Sie nach der Reduzierung der Aufbewahrungs-Policies mit einer Zunahme der Menge der Daten rechnen, die jeden Tag durch die automatische Speicherbereinigung entfernt werden. Beobachten Sie diesen Trend mit capacity.sh.

Wenn das Avamar-System noch nicht alt genug ist, um mit dem Ablaufen von Backups zu beginnen, müssen die Aufbewahrungsrichtlinien möglicherweise so geändert werden, dass die ältesten Backups jetzt ablaufen.

Wenn es aufgrund behördlicher Auflagen nicht möglich ist, Aufbewahrungs-Policies zu reduzieren, ziehen Sie in Betracht, das Avamar-System zu erweitern oder Clients zu einem anderen, weniger genutzten Avamar-System zu migrieren.

5. Migrieren von Clients auf ein alternatives Avamar-System

Wenn ein anderes Avamar-System zur Verfügung steht, sollten Sie die Möglichkeit in Betracht ziehen, große Clients oder Clients mit hoher Änderungshäufigkeit über die Avamar Client Manager-Schnittstelle von einem höher ausgelasteten System auf ein geringer ausgelastetes System zu migrieren.

6. Löschen Sie alte Sicherungen.

Wenn das Nutzerkapazitätslevel schwerwiegend (>90 %) ist, müssen möglicherweise alte Backups über die Backupmanagementschnittstelle ablaufen oder mit dem modify-snapups . 

Dell NutzerInnen können über den Link zum Artikel Avamar auf die Inhalte zugreifen: Capacity-Management – So löschen Sie große Backups oder lassen sie ablaufen mit "modify-snapups"

Durch das Löschen von Backups wird die Serverauslastung nicht sofort verringert. Vielmehr ermöglicht es der automatischen Speicherbereinigung, die Daten bei ihrer nächsten Ausführung zu entfernen. Das Löschen alter Backups ist ein kurzfristiger Workaround. Die Backups werden in den kommenden Tagen ersetzt. Wenn Backups gelöscht werden, ist es wichtig, auch die Aufbewahrungsrichtlinien anzupassen.

7. Überwachen von Datenänderungen mithilfe von capacity.sh.

Nachdem Backups gelöscht und Aufbewahrungs-Policies geändert wurden, überwachen Sie die Menge der geänderten Daten auf dem System mithilfe von capacity.sh Skript. Der Wert für "entfernte" Daten sollte steigen und der Wert für "Nettoveränderung" sollte negativ werden. Wenn die überschüssigen Daten aus dem System entfernt werden, kehrt der Wert „Entfernt“ auf ein normaleres Niveau zurück. Überwachen Sie weiterhin den Wert „Entfernt“.

Wenn der Nettoänderungswert nicht negativ wird, überprüfen Sie das GC-Protokoll, um festzustellen, wie lange die automatische Speicherbereinigung ausgeführt wird und wie viel Arbeit innerhalb des Wartungsfensters erreicht wird.

Siehe Avamar: Managen der Kapazität mit dem capacity.sh für weitere Informationen zur Verwendung der capacity.sh Skript.

8. Erweitern des Avamar-Systems:

Oft ist eine hohe Auslastung im Avamar-Raster auf natürliches und erwartetes Datenwachstum zurückzuführen. Es muss mehr Speicherplatz zur Verfügung gestellt werden, um Produktionsbackups fortzusetzen.

• Raster einzelner Nodes und Avamar Virtual Edition (AVE):

  • Diese können nicht erweitert werden. Nehmen Sie ein zweites, größeres Avamar-System in Betrieb und beauftragen Sie Dell Professional Services mit der Durchführung einer Systemmigration von dem kleineren auf das größere System.
    • Professional Services können über den Dell Account Manager kontaktiert werden.
  • Das neue System kann ein Einzel-Node-, AVE- oder ein Multi-Node-System sein, wenn es mehr Speicherplatz als die Quelle bietet.
• Raster mit mehreren Nodes:

  • Diese Systeme können auf bis zu 16 Daten-Nodes erweitert werden.
    • Wenden Sie sich an den Dell Account Manager, um weitere Informationen zu erhalten (in regulären Supportkanälen werden keine Nodes hinzugefügt, sodass kein Service-Request geöffnet werden sollte, um diese Arbeiten anzufordern.)
• Integration von Data Domain:
  • Die Integration eines Data Domain-Systems als Back-End-Speichergerät ist eine nützliche Möglichkeit zur Erweiterung der Kapazität von Clients, die ein Backup auf Avamar durchführen.
    • Besprechen Sie die Optionen mit Ihrem Dell Account Manager.

Nützliche Tools

• status.dpn
• capacity.sh
• Avalanche
• DPN Summary Report
• replcnt.sh
• Avamar Client Manager

• Versuchen Sie, zu verhindern, dass der Wert für die Avamar Server-Auslastung (Benutzerkapazität) höher als 80 % steigt.
• Eine geringere Auslastung der Nutzungskapazität bietet Ausfallsicherheit bei unerwarteten Änderungen der hinzugefügten Datenmenge und kann davor schützen, dass das System bei unerwarteten Ausfällen oder kurzfristigen Problemen mit Wartungsaufgaben unbrauchbar wird.
• Ein Avamar-System, das mit einer Auslastung der Nutzungskapazität von mehr als 80 % betrieben wird, erfordert eine sorgfältigere Überwachung durch die Systemadministration, um sicherzustellen, dass Wartungsaufgaben erfolgreich abgeschlossen werden und das System nicht schreibgeschützt wird.