Avamar-Speicherplatzrückgewinnungsprozesse – Teil 2: Knirschen

Was ist "Crunching" in Avamar?

Die automatische Speicherbereinigung identifiziert Daten, auf die keine Backups mehr verweisen.
Die Chunk-Header-Deskriptor wird geändert, um anzugeben, welche Blöcke gelöscht werden sollen. Die Daten-Stripes, die diese Blöcke enthalten, sind unverändert.
Das Entfernen dieser Blöcke erfolgt als Nebeneffekt des Crunching-Vorgangs.

Crunching ist ein Avamar-Wartungsvorgang, der automatisch gesammelte Stripes ändert, um den freien Speicherplatz in diesen Stripes zusammenhängend zu machen. 
Durch die Bearbeitung von Stripes, um ihren freien Speicherplatz zusammenhängend zu machen, verwendet Avamar Speicherplatz für eingehende Backupdaten effizient.

Stellen Sie sich das Crunching auf ähnliche Weise vor wie bei der klassischen Defragmentierung von Festplatten. 
Daten müssen von einem Ort zu einem anderen verschoben werden, damit die Datencontainer effizienter wiederverwendet werden können.

Dienstprogramme zur Festplattendefragmentierung verschieben zugehörige Datenelemente in benachbarte Teile einer rotativen Festplatte, um sequenzielle Zugriffszeiten zu verkürzen.
Crunching verschiebt die Daten jedoch an die Unterseite des Stripes, um Speicherplatz für neue eingehende Blöcke zu schaffen.

Analogie:

Stellen Sie sich einen Bus mit einer vorderen Zugangsklappe und ohne Zugangsklappe vor. Personen (Blöcke) gelangen mithilfe der vorderen Tür in den Bus. 
Hierbei handelt es sich um einen speziellen Bus, bei dem Menschen nur mithilfe der Star- Und Scotty-Technologie "Beam me up Scotty" fahren können. 
Der Bus startet vollständig. 
Sobald mehrere Personen entmaterialisiert wurden, hat der Bus Platz für mehr Gäste.
Niemand sonst kann aufpassen, bis die Menge vom Eingang weggezogen wurde. Das heißt, es wird zur Rückseite des Busses "geklemmt", um Platz in der Nähe der vorderen Tür zu schaffen.

Warum Crunching wichtig ist:

Wir besprechen, was passiert, wenn Backupdaten in Avamar geschrieben werden. Dies erklärt, warum Crunching wichtig ist.

Zur Vorbereitung auf die Annahme von Backupdaten wählt avamar den Stripe auf jedem Daten-Node aus, der über den meisten zusammenhängenden freien Speicherplatz verfügt. Der Stripe ist als aktiver Stripe markiert. 
Alle neuen eingehenden Backupdaten werden dem aktiven Stripe hinzugefügt. 
Wenn der Stripe voll wird, wird der nächste, am wenigsten vollständige Stripe als aktiver Stripe markiert.

Stellen Sie sich ein System vor, bei dem nicht genügend Crunching aufgetreten ist.
Ein "crunchable"-Stripe (garbage-collected, aber noch zu crunching) kann relativ leer sein. 
Dieser relativ leere Stripe wird nicht als aktiver Stripe ausgewählt, wenn ein weiterer Stripe mit mehr zusammenhängendem freiem Speicherplatz vorhanden ist. 

Im folgenden Diagramm wurden beide Stripes im Diagramm zur automatischen Speicherbereinigung gesammelt, aber nur Daten-Stripe 2 wurde zerknirscht,

Obwohl Daten-Stripe 1 leerer ist, hat Stripe 2 nützlicheren zusammenhängenden Speicherplatz. 
Avamar wählt Stripe 2 als aktiven Stripe aus. 

Wenn die Avamar -Speicherauslastung zunimmt, wird der aktive Stripe aus einem Pool aus zunehmend vollständigen Stripes ausgewählt.

Wenn das Crunching überfällig ist, ist die Wiederverwendung von Stripes ineffizient. 
Mehr Stripes sind erforderlich, um die eingehenden Daten für einen durchschnittlichen Tag zu erfassen, selbst wenn diese Datenmenge unverändert ist. 
Die Verwendung von mehr Stripes zur Erfassung der Daten führt zu einem höheren Kontrollpunktoverhead, als wenn Stripes effizienter wiederverwendet würden.

Stellen Sie aus diesem Grund immer sicher, dass Avamar die Möglichkeit hat, regelmäßig genügend Crunching durchzuführen.

Wie funktioniert crunching? 

Wenn das System das Crunching auf einem Stripe durchführt, ist folgendes zu beachten:

• Liest die Daten aus der Stripe-Datei im Cur-Verzeichnis in den Speicher.
• Bestimmt, welche Blöcke vom Chunk-Header referenziert werden.
• Schreibt die Stripe-Datei und den Chunk-Header auf die Festplatte neu. Die Stripe-Datei wird nur mit Elementen ausgefüllt, auf die der Chunk-Header verweist.

Durch das Ändern der Stripe-Datei wird ihre Hard-Link-Verbindung unterbrochen, wodurch die Dateisystemauslastung erhöht wird. 
Ab Avamar Version 5.0 und höher bleiben Stripes nach dem Crunching in voller Größe. Dies trägt dazu bei, die Fragmentierung des Dateisystems im Laufe der Zeit zu vermeiden.

Wann kommt es zum Crunching?

Asynchrones Crunching – Der Standardwert und die bevorzugte Methode zur Durchführung von Crunching.

Asynchrones Crunching wird im zweiten Teil des "Blackout-Fensters" ausgeführt, nachdem bei der automatischen Speicherbereinigung eine Zeitüberschreitung aufgetreten ist und nur unter den folgenden Umständen:

• Wenn der Parameter "asynccrunching" auf "true" festgelegt ist.
• Wenn es crunchable Stripes* gibt.
• UND wenn wir unser Crunching-Ziel oder unser tägliches Limit nicht erreicht haben*.
• UND wenn sich das System im Leerlauf befindet* (es werden keine Backups oder andere Wartungsarbeiten durchgeführt).
• Wenn das System beschreibbar ist und disknoflush nicht erreicht wurde.

Asynchrones Crunching ist ein präventiver Vorgang. 
Es verwendet dedizierte Zeit und Ressourcen, um Stripes vor dem Backupzeitfenster vorzubereiten. 
Sehen Sie sich das beigefügte Diagramm blackout-window.jpg an, in dem dies dargestellt ist.

Wie viel Arbeit leistet das Crunching?

Durch die Vorbereitung von Stripes für die Verwendung während des Blackout-Zeitfensters kann Avamar Daten so schnell wie möglich während des Backupzeitplans aufnehmen. 
Das Crunching ändert den Inhalt eines Stripes. Jede Menge Crunching verursacht große Unterschiede zu den Daten, die im Verzeichnis "cur" gespeichert sind. 
Dies führt zu einem erhöhten Kontrollpunktoverhead und einer höheren Speicherplatznutzung in den Daten-Node-Daten/ Partitionen.

Avamar prognostiziert, wie viele Stripes vorbereitet werden müssen, um die Menge der erwarteten eingehenden Daten für den nächsten Tag zu bewältigen. 
Die Berechnungen basieren auf dem gleitenden Durchschnitt der vorherigen N Tage (wobei N z. B. bis zu 10 oder 14 beträgt). 
Dieser Selbsttuning-Mechanismus ermöglicht es Avamar, gerade genügend Stripes zu erstellen, damit Backups optimal ausgeführt werden können, ohne unnötigen Prüfpunktoverhead zu verursachen. 

Wir können jetzt verstehen, dass avamar mehrere Tage braucht, um schrittweise eine erhöhte Crunching-Grenze einzuführen, wenn die Änderungsrate des Systems plötzlich zunimmt.

Wenn asynchrones Crunching nicht genügend Stripes vorbereitet, erfolgt dies durch synchrones Crunching.

Synchrones Crunching:

Wenn asynchrones Crunching nicht in der Lage ist, genügend Stripes vorab vorzubereiten, oder wenn der Asynchronkrümelparameter auf "false" festgelegt ist, wird crunching synchron mit Backups ausgeführt. 
Dieser auch als On-Demand-Crunching bezeichnete Crunching-Modus wird bei Bedarf ausgeführt und arbeitet auf einem Stripe, wenn der Stripe crunchable ist und darauf vorbereitet ist, zum aktiven Stripe eines Node zu werden.

Das synchrone Ausführen von Crunching mit Backups führt zu einem größeren Wettbewerb um Festplatten-I/O-Ressourcen. 
Auf ausgelasteten Systemen kann dies dazu führen, dass backupjobs länger dauern. 

Wir können Avamar so einstellen, dass nur synchrones Crunching in Situationen durchgeführt wird, in denen ein System einen hohen Kontrollpunktoverhead hat. Wenn dies geschieht, informieren Sie den Kunden, warum wir ihn für notwendig halten, und erläutern Sie den Kompromiss.

A Zusammenfassung der beiden Crunching-Modi:

asynchrones Crunching:

• Die Einstellung des Avamar -Serverparameters ist asynccrunching=true.
• Höhere Backupperformance, wenn ein normaler Tag datengestaut wird.
• Höherer Kontrollpunktoverhead.
• Standardbetriebsmodus.
• Kann deaktiviert werden, um den Kontrollpunktoverhead in Situationen mit hoher Betriebssystemkapazität zu senken.

Synchrones Crunching:

• Die Einstellung des Avamar -Serverparameters ist asynccrunching=false
• Ausführung nach Bedarf
• Geringere Anforderungen an den Kontrollpunktoverhead
• Potenziell längere Backupzeiten
• Nicht der Standardbetriebsmodus

Was kann asynchrones Crunching verhindern?

 Der Konfigurationsparameter für die asynchroneCrunching-Konfiguration ist false.

• Backups werden durchgeführt.
• Das tägliche Limit wurde erreicht.
• Server ist schreibgeschützt
• Die Ausführungsebene des Servers ist niedriger als "admin".
• Stripe-Konvertierung wird durchgeführt
• Das Disknoflush-Limit wurde erreicht.
• Auf dem Avamar-Server, auf dem er angewendet wird, wird die hfscheck-Instanz (manchmal auch als CGSAN bezeichnet) ausgeführt.
• HFScheck wird gestartet