Data Domain: Überwachen von Datenverschiebungen mithilfe eines Data Domain Restorer

Bestimmte Modelle von Data Domain Restorer (DDR) können mit Funktionen konfiguriert werden, die als Extended Retention (ER) oder Long Term Retention (LTR) bezeichnet werden. Mit dieser Funktion kann dem System eine zweite Speicherschicht hinzugefügt werden, auf die Dateien, die eine langfristige Aufbewahrung benötigen, migriert werden können. Der Speichertyp, der für diese zweite Ebene verwendet wird, hängt von der spezifischen Funktionalität ab, die verwendet wird, d. h.:

• Erweiterte Aufbewahrung: Die zweite Speicherschicht wird als Archiv-Tier bezeichnet und besteht aus Festplattengehäusen, die physisch mit dem DDR verbunden sind
• Langfristige Aufbewahrung: Die zweite Storage-Tier wird als Cloud-Tier bezeichnet und besteht aus Objektspeicher, der von einem unterstützten Cloud-Anbieter bereitgestellt wird (d. h., sie befindet sich außerhalb des DDR)

Funktionsweise der Datenverschiebung:

In beiden Fällen wird für die physische Migration der Datei vom aktiven zum Archiv-/Cloud-Tier ein Prozess verwendet, der als Datenverschiebung (FMIG) bezeichnet wird. Nach dem Start durchläuft FMIG 5 Betriebsphasen, wie unten beschrieben:

Phase 1 - Bulk Seeding:

• Dies wird auf allen LTR-fähigen Systemen übersprungen.
• Dies wird auf ER-Systemen mit DDOS 5.5.1.x (und höher) übersprungen.
• Auf ER-Systemen, auf denen DDOS 5.5.0.x (und früher) ausgeführt wird, kann dadurch eine Kopie ausgewählter Daten auf Blockebene vom aktiven Tier in den Archiv-Tier durchgeführt werden. Die Funktionsweise dieser Kopie würde den Rahmen dieses Dokuments sprengen, daher wird sie hier nicht behandelt.

Phase 2 - Scannen:

• Das Data Domain File System (DDFS) sucht nach Dateien im aktiven Tier, die Kandidaten für die Migration in den Archiv-/Cloud-Tier sind (Dateien, die nicht länger als die Datenverschiebungs-Policy/der Altersschwellenwert des übergeordneten MTrees geändert wurden)
• Eine Reihe von Kopier-Threads wird gestartet (die genaue Anzahl hängt vom Systemmodell/der Konfiguration ab), wobei jeder der Threads eine Kandidatendatei auf dem aktiven Tier liest und eindeutige Daten in den Archiv-/Cloud-Tier kopiert (d. h. Daten, die noch nicht auf dem Ziel-Tier vorhanden sind)
• Es wird eine Reihe von Verifizierungs-Threads gestartet (auch hier hängt die spezifische Thread-Anzahl vom Systemmodell/der Konfiguration ab), die, sobald das Kopieren einer Kandidatendatei abgeschlossen ist, die Kopie der Datei aus dem Ziel-Tier zurücklesen, um sicherzustellen, dass sie gültig ist bzw. alle Daten erreichbar sind
• Sobald eine Kandidatendatei kopiert/verifiziert wurde, wird sie zu einer Liste von Dateien hinzugefügt, für die die Installation im Ziel-Tier ansteht (eine Metadatenaktualisierung für die Datei, um anzuzeigen, dass sie jetzt auf dem Ziel-Tier vorhanden ist). In regelmäßigen Abständen wird ein Installationsthread aktiviert, um alle ausstehenden Dateien zu "installieren"

Phase 3 – Überprüfung:

• Während dieser Phase wartet DDFS auf den Abschluss der Überprüfung aller kopierten Dateien auf dem Ziel-Tier

Phase 4 - Verpackung:

• Dies wird auf allen LTR-fähigen Systemen übersprungen.
• Auf ER-Systemen versucht FMIG, alle doppelten Datensegmente zu entfernen, die während der Scanphase in den Archiv-Tier kopiert wurden. Beachten Sie, dass duplizierte Datensegmente kopiert werden können, um den Kopiervorgang zu beschleunigen. Aufgrund des Designs des Archiv-Tier (maximales Gesamtkomprimierungsverhältnis mit herabgesetzter Leseleistung) müssen solche doppelten Daten jedoch entfernt werden

Phase 5 - Installation:

• Während dieser Phase wartet DDFS, bis die Installation aller kopierten/geprüften Dateien abgeschlossen ist

Überwachung des Fortschritts von FMIG:

In erster Linie wird die Data Domain-Befehlszeilenshell (DDSH) verwendet, um den Fortschritt von FMIG auf ER- und LTR-Systemen zu überwachen. Hinweis:

• Auf ER-Systemen sollten die Befehle "archive data-movement [status|watch]" verwendet werden, während auf LTR-Systemen die Befehle "data-movement [status|watch]" verwendet werden sollten, d. h.:

• Auf ER-Systemen wird der Fortschritt aller 5 Phasen gemeldet (d. h. die Ausgabe zeigt "Phase x von 5" an), während bei LTR-Systemen nur der Fortschritt der Phasen 2/3/5 angezeigt wird, da die Phasen 1 und 4 immer übersprungen werden (d. h. die Ausgabe zeigt "Phase x von 3")
• Der Befehl "status" zeigt einen einmaligen Snapshot des FMIG-Fortschritts an:

• Der Befehl "watch" zeigt die fortlaufende Ausgabe an, während FMIG die Phasen durchläuft:

Eine Reihe von Registrierungsschlüsseln wird auch verwendet, um den FMIG-Fortschritt zu verfolgen - diese werden in vom System generierten Autosupports erfasst und können auch über DDSH:

ER angezeigt werden: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

In beiden Fällen sind die angezeigten Registrierungsschlüssel sehr ähnlich und daher werden hier nur die von einem LTR-fähigen System angezeigt:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== GESAMTZAHL DER DATEIEN IM DDFS-NAMENSRAUM ÜBERPRÜFT, UM FESTZUSTELLEN, OB SIE DIE KRITERIEN FÜR KANDIDATEN
ERFÜLLEN state.fmig2_end_time = 1470059610 <=== ENDZEIT DER LETZTEN AUSFÜHRUNG VON FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== PRE-COMP (LOGISCHE) BYTES, DIE BISHER
AUF DEN ZIEL-TIER KOPIERT WURDEN state.fmig2_fcopy_post_lc_size = 10944662855 <=== POST-COMP (PHYSISCHE) BYTE, DIE AUF DEN ZIEL-TIER KOPIERT WURDEN,
ALSO FAR...
state.fmig2_files_copied = 8 <=== DATEIEN, FÜR DIE DER KOPIERVORGANG
ABGESCHLOSSEN WURDE state.fmig2_files_failed_in_copy = 0 <=== DATEIEN, DIE NICHT KOPIERT
WERDEN KONNTEN state.fmig2_files_failed_in_install = 0 <=== DATEIEN, DIE KOPIERT/ÜBERPRÜFT, ABER NICHT INSTALLIERT
WERDEN KONNTEN state.fmig2_files_failed_in_verify = 0 <=== DATEIEN, DIE KOPIERT WURDEN, ABER NICHT ÜBERPRÜFT
WERDEN KONNTEN state.fmig2_files_installed = 4 <=== DATEIEN, DIE KOPIERT/VERIFIZIERT/INSTALLIERT WURDEN
state.fmig2_files_verified = 4 <=== DATEIEN, FÜR DIE DAS KOPIEREN/ÜBERPRÜFEN
ABGESCHLOSSEN IST ...
state.fmig2_is_running = 1 <=== FMIG WIRD AUSGEFÜHRT
state.fmig2_is_waiting = 0 <=== FMIG WARTET (Z. B. BIS DIE BEREINIGUNG ABGESCHLOSSEN IST)
state.fmig2_progress_current_phase = 2 <=== AKTUELLE PHASE (IN DIESEM FALL KOPIEREN/SCANNEN)
state.fmig2_progress_percent_complete = 92 <=== % ABSCHLUSS DER AKTUELLEN PHASE BASIEREND AUF DEN GEPRÜFTEN DATEIEN IM VERGLEICH ZUR GESAMTZAHL DER DATEIEN IM NAMENSRAUM
state.fmig2_progress_phase_time = 1245 <=== SEKUNDEN, DIE BISHER IN DER AKTUELLEN PHASE VERBRACHTWURDEN state.fmig2_progress_total_time = 1255 <=== SEKUNDEN, DIE FMIG BISHER
AUSGEFÜHRT HAT state.fmig2_start_time = 1470061560 <=== STARTZEIT DES AKTUELLEN LAUFS VON FMIG
...

state.fmig2_total_inodes = 14 <=== GESAMTZAHL DER IM NAMESPACE
EINZUCHECKENDEN DATEIEN ...

Schließlich werden verschiedene Meldungen in DDFS-Protokolldateien (/ddr/var/log/debug/ddfs.info) protokolliert, um den Fortschritt von FMIG anzuzeigen. Auch hier ist die Ausgabe für die ER- und LTR-Funktionalität sehr ähnlich, so dass hier nur die von einem LTR-fähigen System angezeigt werden:

08/01 15:26:00.945 (tid 0x7ff4c683e090): NOTICE: MSG-FMIG-00004: Datenverschiebung gestartet <=== FMIG STARTET...

08/01 15:26:00.977 (TID 0x7ff4cbeabcf0): INFO: Fmig: Phase 1 (Seeding) gestartet <=== BULK SEEDING STARTET (LÄUFT NICHT AUF LTR)
08/01 15:26:10.978 (TID 0x7ff4cbeabcf0): INFO: Fmig: Phase 1 (Seeding) beendet
08/01 15:26:10.978 (Tid 0x7ff4cbeabcf0): INFO: Fmig: Phase 2 (Scannen) gestartet <=== SCANPHASE STARTET
 
08/01 15:26:22.162 (Tid 0x4ca2150): Fmig: Kandidatendatei /data/col1/jftest/file2, src-Datei snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KANDIDATENDATEI VOM COPY-THREAD
AUFGENOMMEN 08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: Kandidatendatei /data/col1/jftest/file3, src-Datei snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== KANDIDATENDATEI STARTET KOPIE
08/01 15:26:22.273 (Tid 0x7ff7d252a9e0): Fmig: Kandidatendatei /data/col1/jftest/file4, src-Datei snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KANDIDATENDATEI STARTET KOPIE
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: Kandidatendatei /data/col1/jftest/file5, src-Datei snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KANDIDATENDATEI STARTET KOPIE
 
08/01 15:27:11.072 (TID 0x7ff45ad95d30): Fmig: fmig_dump_stats ( Cloud): Phase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, in Bearbeitung vbytes 1936986672 <=== STATISTIKEN WERDEN REGELMÄSSIG
 
AUSGEGEBEN08/01 15:45:59.040 (Tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== DIE KOPIERTE DATEI SCHLIESST DIE VERIFIZIERUNG AB
08/01 15:45:59.140 (TID 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== DIE KOPIERTE DATEI SCHLIESST DIE VERIFIZIERUNG AB
08/01 15:45:59.225 (TID 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KOPIERTE DATEI SCHLIESST VERIFIZIERUNG AB
08/01 15:45:59.228 (TID 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== DIE KOPIERTE DATEI SCHLIESST DIE ÜBERPRÜFUNG AB
 
08/01 15:47:15.113 (Tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (Cloud): Phase 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, in Bearbeitung vbytes 536870911 <=== WEITERE PERIODISCHE STATISTIKEN
 
08.01. 15:47:41.858 (Tid 0x7ff4cbeabcf0): INFO: Fmig: Phase 2 (Scannen) beendet <=== SCANPHASE ABGESCHLOSSEN (ALLE KANDIDATENDATEIEN KOPIERT)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: Phase 3 (Überprüfung) gestartet <=== ÜBERPRÜFUNG DER PHASE BEGINNT
 
08/01 15:47:57.855 (TID 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== RESTLICHE DATEIEN VERIFIZIERT
08/01 15:47:57.875 (TID 0x7ff4cbeabcf0): INFO: Fmig: Phase 4 (Packen) beendet <=== PACKPHASE (LÄUFT NICHT AUF LTR)
08/01 15:47:57.875 (TID 0x7ff4cbeabcf0): INFO: Fmig: Phase 5 (Installation) gestartet <=== INSTALLATIONSPHASE BEGINNT
08/01 15:48:08.890 (TID 0x7ff4cbeabcf0): INFO: Fmig: Phase 5 [Installation] beendet<=== INSTALLATIONSPHASE ENDET
 
08/01 15:48:35.337 (Tid 0x7ff4cbeabcf0): NOTICE: MSG-FMIG-00001: Abgeschlossene Datenverschiebung (Cloud) auf Cloud-CPS: 0:22:35 verstrichen, 9 Dateien migriert, 11274289152 der gesamten migrierten <Bytes === FMIG ABGESCHLOSSEN
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Phase[1]: 10-Sekunden-Phase[2]: 1291 s Phase[3]: 16-Sekunden-Phase[4]: 0-Sekunden-Phase[5]: 11 Sekunden <=== ANGEZEIGTE

PHASENZEITENBeachten Sie, dass:

• Zahlen, die die Menge der (physischen) Daten nach der Komprimierung angeben, die auf den Ziel-Tier kopiert wurden, werden nur jedes Mal aktualisiert, wenn das Kopieren einer Datei abgeschlossen ist. Wenn also eine einzelne große Datei nach der Komprimierung migriert wird, werden 0 Byte angezeigt, bis die Kopier- (und Scan-Phase) abgeschlossen ist
• Zahlen, die die Menge der (logischen) Daten vor der Komprimierung angeben, die auf den Ziel-Tier kopiert wurden, werden regelmäßig aktualisiert und nicht nur nach Abschluss des Dateikopiervorgangs
• Der in der Scanphase angezeigte Prozentsatz der Abgeschlossenheit gibt nicht den Gesamtprozentsatz der bisher kopierten Kandidatendaten an. Stattdessen wird angegeben, dass der Prozentsatz aller Dateien im DDFS-Namespace bisher von Kopier-Threads überprüft wurde, um festzustellen, ob sie Kandidaten für die Migration sind. Wenn sich FMIG in der Scanphase befindet, ist es daher üblich, Folgendes zu sehen: