Data Domain: Gegevensverplaatsing bewaken met behulp van een Data Domain Restorer

Bepaalde modellen van Data Domain Restorer (DDR) kunnen worden geconfigureerd met functionaliteit die bekend staat als Extended Retention (ER) of Long Term Retention (LTR). Met deze functionaliteit kan een tweede opslaglaag aan het systeem worden toegevoegd waarnaar bestanden die langdurig moeten worden bewaard, kunnen worden gemigreerd. Het type storage dat voor deze tweede laag wordt gebruikt, is afhankelijk van de specifieke functionaliteit die wordt gebruikt, namelijk:

• Verlengde retentie: De tweede opslaglaag staat bekend als de archieflaag en wordt gevormd uit schijfbehuizingen die fysiek aan de DDR zijn gekoppeld
• Langdurig bewaren: De tweede storagelaag staat bekend als de cloudlaag en wordt gevormd op basis van objectstorage die is ingericht door een ondersteunde cloudprovider (d.w.z. buiten de DDR)

Mechanismen voor gegevensverplaatsing:

In beide gevallen wordt een proces gebruikt dat bekend staat als dataverplaatsing (FMIG) om het bestand fysiek te migreren van de actieve naar de archief-/cloudlaag. Bij de start doorloopt FMIG 5 fasen van de werking, zoals hieronder beschreven:

Fase 1 - Bulk Seeding:

• Dit wordt overgeslagen op alle LTR-systemen
• Dit wordt overgeslagen op ER-systemen waarop DDOS 5.5.1.x (en hoger) wordt uitgevoerd
• Op ER-systemen met DDOS 5.5.0.x (en eerder) kan hiermee een kopie op blokniveau van geselecteerde data van de actieve laag naar de archieflaag worden uitgevoerd. De mechanica van deze kopie valt buiten het bestek van dit document en wordt hier daarom niet besproken.

Fase 2 - Scannen:

• Het Data Domain File System (DDFS) zoekt naar bestanden in de actieve laag die in aanmerking komen voor migratie naar de archief-/cloudlaag (bestanden die niet zijn gewijzigd in een langere tijd dan de bovenliggende mtrees dataverplaatsingsbeleid/ouderdomsdrempel)
• Er wordt een aantal kopieerthreads gestart (het specifieke aantal is afhankelijk van het systeemmodel/de configuratie), waarbij elk van de threads een kandidaatbestand op de actieve laag leest en unieke gegevens kopieert naar de archief-/cloudlaag (d.w.z. gegevens die nog niet bestaan op de doellaag)
• Er worden een aantal verificatiethreads gestart (ook hier hangt het specifieke aantal threads af van het systeemmodel/de configuratie) die, zodra een kandidaatsbestand de kopie heeft voltooid, de kopie van het bestand van de doellaag teruglezen om er zeker van te zijn dat het geldig is / alle gegevens bereikbaar zijn
• Zodra een kandidaat-bestand is gekopieerd/geverifieerd, wordt het toegevoegd aan een lijst met bestanden die in afwachting zijn van 'installatie' in de doellaag (een metadata-update voor het bestand om aan te geven dat het nu bestaat op de doellaag). Regelmatig wordt een installatiethread geactiveerd om alle in behandeling zijnde bestanden te 'installeren'

Fase 3 - Verificatie:

• Tijdens deze fase wacht DDFS tot de verificatie van alle gekopieerde bestanden op de doellaag is voltooid

Fase 4 - Verpakking:

• Dit wordt overgeslagen op alle LTR-systemen
• Op ER-systemen probeert FMIG dubbele gegevenssegmenten te verwijderen die tijdens de scanfase naar de archieflaag zijn gekopieerd. Houd er rekening mee dat dubbele datasegmenten kunnen worden gekopieerd om het kopieerproces te versnellen. Gezien het ontwerp van de archieflaag (maximale algehele compressieverhouding met verminderde leesprestaties) moeten dergelijke dubbele data echter worden verwijderd

Fase 5 - Installatie:

• Tijdens deze fase wacht DDFS tot de installatie van alle gekopieerde/geverifieerde bestanden is voltooid

Monitoring van de voortgang van FMIG:

De Data Domain command line shell (DDSH) wordt voornamelijk gebruikt om de voortgang van FMIG op ER- en LTR-systemen te bewaken. Let op:

• Op ER-systemen moeten de commando's 'data-movement [status|watch]' worden gebruikt, terwijl op LTR-systemen de 'data-movement [status|watch]'-commando's moeten worden gebruikt, d.w.z.:

• Op SEH-systemen wordt de voortgang van alle 5 fasen gerapporteerd (d.w.z. de output zal 'fase x van 5' weergeven), terwijl op LTR-systemen, aangezien fase 1 en 4 altijd worden overgeslagen, de voortgang van alleen fase 2/3/5 wordt weergegeven (d.w.z. de output zal 'fase x van 3' weergeven)
• De 'status'-opdracht toont een eenmalige momentopname van de FMIG-voortgang:

• Het 'watch'-commando toont rollende output terwijl FMIG door fasen gaat:

Een set registersleutels wordt ook gebruikt om de voortgang van FMIG bij te houden - deze worden vastgelegd in autosupports die door het systeem worden gegenereerd en kunnen ook worden weergegeven via DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

In beide gevallen lijken de registersleutels erg op elkaar en daarom worden hier alleen de registersleutels van een LTR-systeem weergegeven:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== TOTAL NUMBER OF FILES IN DDFS NAME SPACE GECONTROLEERD OM TE ZIEN OF ZE VOLDOEN AAN DE CRITERIA OM IN AANMERKING
TE KOMEN state.fmig2_end_time = 1470059610 <=== EINDTIJD VAN DE LAATSTE FMIG-UITVOERING
state.fmig2_fcopy_byte_count = 11274289151 <=== PRE-COMP (LOGISCHE) BYTES GEKOPIEERD NAAR DOELLAAG TOT NU TOE
state.fmig2_fcopy_post_lc_size = 10944662855 <=== POST-COMP (FYSIEKE) BYTES GEKOPIEERD NAAR DOELLAAG, DUS FAR...

state.fmig2_files_copied = 8 <=== BESTANDEN DIE ZIJN GEKOPIEERD
state.fmig2_files_failed_in_copy = 0 <=== BESTANDEN DIE NIET ZIJN GEKOPIEERD
state.fmig2_files_failed_in_install = 0 <=== BESTANDEN DIE ZIJN GEKOPIEERD/GEVERIFIEERD MAAR NIET ZIJN GEÏNSTALLEERD
state.fmig2_files_failed_in_verify = 0 <=== BESTANDEN DIE ZIJN GEKOPIEERD MAAR NIET ZIJN GEVERIFIEERD
state.fmig2_files_installed = 4 <=== BESTANDEN DIE ZIJN GEKOPIEERD/GEVERIFIEERD/GEÏNSTALLEERD
state.fmig2_files_verified = 4 <=== BESTANDEN DIE ZIJN VOLTOOID KOPIËREN/VERIFIËREN
...
state.fmig2_is_running = 1 <=== FMIG WORDT UITGEVOERD
state.fmig2_is_waiting = 0 <=== FMIG WACHT (BIJVOORBEELD TOT EEN OPSCHONING IS VOLTOOID)
state.fmig2_progress_current_phase = 2 <=== HUIDIGE FASE (IN DIT GEVAL KOPIËREN/SCANNEN)
state.fmig2_progress_percent_complete = 92 <=== % VOLTOOIING VAN HUIDIGE FASE OP BASIS VAN GECONTROLEERDE BESTANDEN VERSUS TOTAAL AANTAL BESTANDEN IN DE NAAMRUIMTE
state.fmig2_progress_phase_time = 1245 <=== SECONDEN DOORGEBRACHT IN DE HUIDIGE FASE TOT NU TOE
state.fmig2_progress_total_time = 1255 <=== SECONDEN DAT FMIG TOT NU TOE
HEEFT GEDRAAID state.fmig2_start_time = 1470061560 <=== STARTTIJD VAN DE HUIDIGE RUN VAN FMFIG...

state.fmig2_total_inodes = 14 <=== TOTAAL AANTAL TE CONTROLEREN BESTANDEN IN NAMESPACE...


Ten slotte worden verschillende berichten gelogd naar DDFS-logbestanden (/ddr/var/log/debug/ddfs.info) om de voortgang van FMIG aan te geven. Nogmaals, de uitvoer is zeer vergelijkbaar voor ER- en LTR-functionaliteit, dus alleen die van een LTR-systeem worden hier weergegeven:

08/01 15:26:00.945 (tid 0x7ff4c683e090): BEMERKEN: MSG-FMIG-00004: Data-beweging gestart <=== FMIG START...

08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (seeding) gestart <=== BULK SEEDING STARTS (DOES NOT RUN ON LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (seeding) afgelopen
08/01 15:26:10.978 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (scannen) gestart <=== SCANFASE START
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: candidate file /data/col1/jftest/file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== CANDIDATE FILE PICKED BY COPY THREAD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: candidate file /data/col1/jftest/file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== CANDIDATE FILE STARTS COPY
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: candidate file /data/col1/jftest/file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== CANDIDATE FILE STARTS COPY
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: candidate file /data/col1/jftest/file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== CANDIDATE FILE STARTS COPY
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (cloud): fase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, in uitvoering zijnde vbytes 1936986672 <=== STATISTIEKEN PERIODIEK GEDUMPT
 
08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== COPIED FILE COMPLETES VERIFICATION
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== COPIED FILE COMPLETES VERIFICATION
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== COPIED FILE COMPLETES VERIFICATION
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig geverifieerd bestand4, src bestand snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== GEKOPIEERD BESTAND VOLTOOIT VERIFICATIE
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (cloud): fase 2, phase_time 1265, total_time 1275, 14 total_inodes, 13 checked_inodes, 8 copied_files, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, in uitvoering vbytes 536870911 <=== MEER PERIODIEKE STATISTIEKEN
 
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (scannen) beëindigd <=== SCANFASE VOLTOOID (ALLE KANDIDAATBESTANDEN GEKOPIEERD)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 3 (verifiëren) gestart <=== VERIFY-FASE START
 
08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== REMAINING FILES VERIFIED
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 4 (packing) beëindigd <=== PACKING PHASE (DOES NOT RUN ON LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: phase 5 (install) started <=== INSTALL PHASE STARTS
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: phase 5 [install] ended<=== INSTALL PHASE ENDS
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): BEMERKEN: MSG-FMIG-00001: Dataverplaatsing voltooid (cloud) op cloud-cps: 0:22:35 verstreken, 9 van de gemigreerde bestanden, 11274289152 van het totaal aantal gemigreerde <bytes === FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fase[1]: 10 seconden fase[2]: 1291 secs fase[3]: 16 secs fase[4]: 0 secs fase[5]: 11 secs <=== GETOONDE FASETIJDEN

Houd er rekening mee dat:

• Cijfers die de hoeveelheid fysieke gegevens (post-comp) aangeven die naar het doelniveau zijn gekopieerd, worden alleen bijgewerkt telkens wanneer een bestand wordt gekopieerd. Als gevolg hiervan zal post-comp 0 bytes weergeven als een enkel groot bestand wordt gemigreerd, totdat de kopieer- (en scanfase) is voltooid.
• Cijfers die de hoeveelheid pre-comp (logische) data aangeven die naar het doelniveau is gekopieerd, worden periodiek bijgewerkt en niet alleen na voltooiing van de bestandskopie
• Het % voltooid dat in de scanfase wordt getoond, geeft niet het totale percentage kandidaatgegevens aan dat tot nu toe is gekopieerd. In plaats daarvan geeft het aan dat het % van het totale aantal bestanden in de DDFS-naamruimte tot nu toe is gecontroleerd door copy threads om te bepalen of ze in aanmerking komen voor migratie. Als gevolg hiervan wanneer FMIG zich in de scanfase bevindt, is het gebruikelijk om te zien: