Avamar-Speicherplatzrückgewinnungsprozesse – Teil 1: Automatische Speicherbereinigung

Dieser Artikel ist der erste in einer Serie, der dokumentiert, wie Avamar Speicherplatz recycelt, sowohl innerhalb des GSAN als auch auf den Festplatten.

• Avamar-Speicherplatzrückgewinnungsprozesse – Teil 1: Automatische Speicherbereinigung 
• Avamar-Speicherplatzrückgewinnungsprozesse – Teil 2: Knirschen 
• Avamar-Speicherplatzrückgewinnungsprozesse – Teil 3:  Prozess zum Entfernen des Kontrollpunkts (RMCP) 

Die aktuelle Implementierung der automatischen Speicherbereinigung wurde zusammen mit Avamar v7.0 eingeführt und ihr Design ist weitgehend unverändert geblieben.

Was bewirkt die automatische Speicherbereinigung?

Die automatische Speicherbereinigung ist die erste Phase des Prozesses, in der Avamar Speicherplatz zurückfordert, der zum Speichern von Backupdaten verwendet wurde.

Es arbeitet im Cur-Verzeichnis und gibt Speicherplatz innerhalb des GSAN frei, indem Datenblöcke entfernt werden, die nicht mehr von einem Backup referenziert werden:

• Daten werden als "definiert" bezeichnet, wenn sie im Index nachgesehen werden können.
• Daten werden referenziert, wenn sie als Teil eines Backups vorhanden sind (das heißt, der Hash ist im Nutzerrechnungssystem, in zusammengesetzten Stripes oder verzeichnisbasierten Elementen vorhanden).

Speicherplatz, der durch die automatische Speicherbereinigung zurückgewonnen wird, kann erst wiederverwendet werden , nachdem das Crunching ausgeführt wurde. Crunching wird unmittelbar nach Abschluss der täglich geplanten automatischen Speicherbereinigung ausgeführt. Siehe Avamar-Speicherplatzrückgewinnungsprozesse – Teil 2: Crunching.


Wann wird die automatische Speicherbereinigung ausgeführt?

• Wartungsplaner oder, genauer gesagt, automatische Speicherbereinigung ist deaktiviert. Die Ausgabe von status.dpn kann dies bestätigen.
• Die Kapazität des Betriebssystems liegt über dem DiskNogc-Wert (der 86 % bis 89 % betragen kann).
  • Siehe Avamar-Wartungsaufgaben schlagen aufgrund der BS-Kapazität >der Datenpartition mit "MSG_ERR_DISKFULL" fehl 85 %
• Zeitsynchronisationsprobleme zwischen Avamar-Nodes.
  • Siehe Avamar – Symptom code 4202 – failed garbage collection with error MSG_ERR_BADTIMESYNC 
• Index-Stripes teilen sich.
  • Siehe Avamar – Automatische Speicherbereinigung schlägt mit MSG_ERR_TRYAGAINLATER fehl
• Hash-referenzierte Bitzuordnungen können nicht zurückgesetzt werden.
  • Siehe Avamar v7 und höher : Automatische Speicherbereinigung meldet "übersprungene Hashes", die aufgrund von "Hash Referenced Bit Maps" nicht bereinigt werden können, wenn die Daten verwendet werden.

Funktionsweise der automatischen Speicherbereinigung

Schritt 1: Erstellen der Tabelle der Referenzanzahlen (TORC):

Bei der automatischen Speicherbereinigung werden Einträge im Nutzerrechnungssystem, in den zusammengesetzten Stripes und in Verzeichniselementen gelesen, um eine ToRC -Tabelle (Table of Reference Counts) zu erstellen.
Im TORC zeichnet die automatische Speicherbereinigung alle Hashes auf dem System auf und wie oft jeder Hash referenziert wird.

Schritt 2: Lesen der Indizes:
Sobald der TORC abgeschlossen ist, lädt jeder Node eine Teilmenge seiner einzelnen Index-Stripes in den Arbeitsspeicher. Die Anzahl der gelesenen Stripes wird durch den Parameter gccount definiert. Für jeden im Index definierten Hash sucht die automatische Speicherbereinigung den Hash im TORC, um zu überprüfen, ob er referenziert ist.

• Wenn der Hash sowohl im Index als auch im TORC vorhanden ist, gibt es nichts zu tun. Jeder Hash im TORC hat eine Referenzanzahl von mindestens 1, sodass der Hash sowohl definiert als auch referenziert ist.
• Wenn der Hash im Index vorhanden ist, aber nicht im TORC, wird der Hash definiert, aber nicht referenziert, sodass er entfernt werden kann.

Hinweis: Wenn der Hash im TORC, aber nicht im Index vorhanden ist, handelt es sich um einen Datenintegritätsfehler (Hash, der referenziert, aber nicht definiert ist).  Dies führt zu einem Hfscheck-Fehler.

Schritt 3: Entfernen sie nicht referenzierte Hashes:
Wie bereits erwähnt, sind Hashes, auf die nicht verwiesen wird, nicht Teil eines Backups, sodass sie sicher aus Avamar entfernt werden können. Dazu führen Sie die automatische Speicherbereinigung durch:

1. Entfernt den Eintrag im Index.
2. Gibt den Eintrag für den Hash im Chunk Header Descriptor (CHD) auf Null an. Das CHD definiert, wo sich einzelne Blöcke im Stripe-Container befinden.

Avamar hat den Bereich, den der Hash belegte, als leer markiert. Aus Performance- und/ oder Kapazitätsgründen werden die Daten zu diesem Zeitpunkt nicht gelöscht.

Schritt 4: Aktualisieren Sie den TORC:
Wenn der Block, den die automatische Speicherbereinigung entfernt hat, ein Zusammengesetzter war, muss der TORC aktualisiert werden.
Wenn wir uns Schritt 1 ansehen, enthalten die Referenzanzahlen im TORC Referenzen, die von zusammengesetzten Stripes erstellt wurden, die zusammengesetzte Blöcke enthalten.
Da ein zusammengesetzter Block entfernt wurde, können wir die Referenzanzahl im TORC für alle Hashes, auf die von diesem zusammengesetzten Block verwiesen wird, um eins verringern.
Bei der automatischen Speicherbereinigung wird dies durch Lesen im Zusammengesetzten durchgeführt, um zu sehen, auf welche Hashes es verweist, und dann die TORC zu aktualisieren.

Schritt 5: Lesen Sie den nächsten Indexsatz:
Die automatische Speicherbereinigung entfernt den vorherigen Satz von Index-Stripes aus dem Speicher und lädt dann einen neuen Satz.
Die Schritte 2, 3 und 4 werden für diese neuen Index-Stripes wiederholt.
Sobald alle Index-Stripes gelesen wurden, werden alle Datenblöcke (die als "atomare" Blöcke bezeichnet werden) im TORC mit 0 Referenzen (dank Schritt 4) entfernt.

Schritt 6: Starten Sie einen neuen Durchgang:
Sobald alle Indizes gelesen wurden, startet die automatische Speicherbereinigung einen neuen Durchgang.
Alle Index-Stripes werden neu gelesen und suchen nach Daten, die aufgrund unserer vorherigen Läufe nicht mehr referenziert werden.

Dies ist notwendig, da Hashes nicht in einer logischen Reihenfolge gelesen werden, sondern in der Reihenfolge, in der sie in den Indizes gespeichert werden.
Die automatische Speicherbereinigung ist nicht sicher, um die Hashes in der optimalen Reihenfolge zu finden. Ein Hash kann bis zum Ende des Durchgangs referenziert bleiben.

Zwei Durchläufe der automatischen Speicherbereinigung können in den meisten Avamar-Serverumgebungen eine "stabile" Kapazität aufrechterhalten.
Die automatische Speicherbereinigung wird ausgeführt, bis die Zeit abgelaufen ist, oder ein Durchgang wird abgeschlossen, ohne Daten zu entfernen.

Manuelle automatische Speicherbereinigung

Das Micromanaging eines Avamar -Servers sollte nicht erforderlich sein. Der Scheduler soll die Ausführung von Wartungsaufgaben automatisieren. Wenn die Avamar -Kapazität hoch ist, finden Sie weitere Informationen im Avamar Operational Best Practices Guide und in Avamar: Kapazitätsmanagementkonzepte und -schulungen.

In seltenen Fällen kann die Ausführung der automatischen Speicherbereinigung dazu beitragen, die schärferen Probleme zu beheben, bei denen die GSAN-Nutzerkapazität so hoch ist, dass das System in den schreibgeschützten Modus wechselt. 
In diesen Fällen wird die automatische Speicherbereinigung manuell ausgeführt, um die Kapazitätsstufe auf knapp unter den schreibgeschützten Schwellenwert zu senken. Auf diese Weise kann das Backupzeitfenster ausgeführt werden.
Die automatische automatische Automatische Speicherbereinigung kann wie gewohnt funktionieren.

Der Avamar-Support sollte die Situation vollständig untersuchen und verstehen, bevor die manuelle automatische Speicherbereinigung in Betracht gezogen wird.
Es ist nie sinnvoll, den Support aufzufordern, die manuelle automatische Speicherbereinigung auf einem System ohne Autorisierung durch einen L2-Supporttechniker nach einer solchen Untersuchung auszuführen.
Siehe Avamar – Informationen zur Verwendung der manuellen automatischen Speicherbereinigung.