Data Domain: Sådan overvåger du dataflytning ved hjælp af en Data Domain Restorer

Visse modeller af Data Domain Restorer (DDR) kan konfigureres med funktioner, der kaldes Extended Retention (ER) eller Long Term Retention (LTR). Denne funktionalitet gør det muligt at føje et sekundært storageniveau til systemet, hvortil filer, der kræver langvarig opbevaring, kan migreres. Den type storage, der anvendes til dette andet niveau, afhænger af den specifikke funktionalitet, der anvendes, dvs.:

• Udvidet opbevaring: Det andet storageniveau kaldes arkivniveauet og består af diskkabinetter, der er fysisk tilsluttet DDR
• Langsigtet opbevaring: Det andet storageniveau kaldes cloudniveauet og består af objektstorage, der leveres af en understøttet cloududbyder (dvs. det er eksternt i forhold til DDR)

Mekanik af dataflytning:

I begge tilfælde anvendes en proces, der kaldes dataflytning (FMIG), til fysisk at overføre filen fra det aktive til arkiv-/cloudniveau. Når FMIG startes, løber den gennem 5 driftsfaser som beskrevet nedenfor:

Fase 1 - Bulk Seeding:

• Dette springes over på alle LTR-aktiverede systemer
• Dette springes over på ER-systemer, der kører DDOS 5.5.1.x (og nyere)
• På ER-systemer, der kører DDOS 5.5.0.x (og tidligere), kan dette udføre en blokniveaukopi af valgte data fra det aktive niveau til arkivniveauet. Mekanikken i denne kopi ligger uden for rammerne af dette dokument og diskuteres derfor ikke her.

Fase 2 - Scanning:

• Data Domain File System (DDFS) søger efter filer på det aktive niveau, som er kandidater til migrering til arkiv-/cloudniveauet (filer, der ikke er blevet ændret i længere tid end den overordnede politik for dataflytning/aldersgrænse)
• Der startes et antal kopitråde (det specifikke antal afhænger af systemmodel/konfiguration), hvor hver af trådene læser en kandidatfil på det aktive niveau og kopierer unikke data til arkiv-/cloudniveauet (dvs. data, der ikke allerede findes på målniveauet)
• Der startes et antal bekræftelsestråde (igen afhænger det specifikke antal tråde af systemmodel/konfiguration), som, når en kandidatfil har udfyldt kopien, læser kopien af filen fra målniveauet op for at sikre, at den er gyldig/at alle data er tilgængelige
• Når en kandidatfil er blevet kopieret/verificeret, føjes den til en liste over filer, der afventer "installation" på målniveauet (en metadataopdatering mod filen for at angive, at den nu findes på målniveauet). Med jævne mellemrum vågner en installationstråd op for at 'installere' alle ventende filer

Fase 3 - Verifikation:

• I denne fase venter DDFS på, at alle kopierede filer på målniveauet afsluttes

Fase 4 - Pakning:

• Dette springes over på alle LTR-aktiverede systemer
• På ER-systemer forsøger FMIG at fjerne eventuelle dublerede datasegmenter, som blev kopieret til arkivniveauet under scanningsfasen. Bemærk, at duplikerede datasegmenter kan kopieres for at fremskynde kopieringsprocessen, men i betragtning af arkivniveauets design (maksimalt samlet komprimeringsforhold med forringet læseydeevne) skal sådanne dublerede data fjernes

Fase 5 - Installation:

• I denne fase venter DDFS på, at installationen af alle kopierede/verificerede filer er fuldført

Overvågning af status for FMIG:

Data Domain Command Line Shell (DDSH) bruges primært til at overvåge status for FMIG på ER- og LTR-systemer. Bemærk, at:

• På ER-systemer bør kommandoerne »archive data-movement [status|watch]« anvendes, mens kommandoerne »data-movement [status|watch]« bør anvendes på LTR-systemer, dvs.:

• På ER-systemer rapporteres fremskridt for alle 5 faser (dvs. output vil vise 'fase x af 5'), mens der på LTR-systemer, da fase 1 og 4 altid springes over, kun vises fremskridt for fase 2/3/5 (dvs. output vil vise 'fase x af 3')
• Kommandoen "status" viser et engangssnapshot af FMIG-status:

• Kommandoen "watch" viser rullende output, efterhånden som FMIG bevæger sig gennem faser:

Et sæt registreringsdatabasenøgler bruges også til at spore FMIG-fremskridt - disse registreres i autosupports genereret af systemet og kan også vises via DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg vis state.fmig2

I begge tilfælde er de viste registreringsdatabasenøgler meget ens, og som følge heraf vises kun dem fra et LTR-aktiveret system her:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== DET SAMLEDE ANTAL FILER I DDFS-NAVNEOMRÅDET KONTROLLERES FOR AT SE, OM DE MATCHER KRITERIERNE FOR AT VÆRE KANDIDAT
state.fmig2_end_time = 1470059610 <=== SLUTTIDSPUNKT FOR SIDSTE KØRSEL AF FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== PRE-COMP (LOGISKE) BYTES KOPIERET TIL TARGET TIER INDTIL VIDERE
state.fmig2_fcopy_post_lc_size = 10944662855 <=== POST-COMP (FYSISKE) BYTES KOPIERET TIL TARGET TIER HIDTIL
...
state.fmig2_files_copied = 8 <=== FILER, DER HAR FULDFØRT KOPI
state.fmig2_files_failed_in_copy = 0 <=== FILER, DER IKKE KUNNE KOPIERES
state.fmig2_files_failed_in_install = 0 <=== FILER, DER KOPIEREDE/KONTROLLEREDE, MEN IKKE KUNNE INSTALLERES
state.fmig2_files_failed_in_verify = 0 <=== FILER, DER KOPIEREDE, MEN IKKE KUNNE VERIFICERE
state.fmig2_files_installed = 4 <=== FILER, DER HAR FULDFØRT, KOPIERET/VERIFICERET/INSTALLERET
state.fmig2_files_verified = 4 <=== FILER, DER HAR AFSLUTTET KOPI / VERIFIKATION
...
state.fmig2_is_running = 1 <=== FMIG KØRER
state.fmig2_is_waiting = 0 <=== FMIG VENTER (F.EKS. PÅ, AT RENSNINGEN FULDFØRES)
state.fmig2_progress_current_phase = 2 <=== AKTUEL FASE (I DETTE TILFÆLDE KOPIERING/SCANNING)
state.fmig2_progress_percent_complete = 92 <=== % AFSLUTNING AF DEN AKTUELLE FASE BASERET PÅ KONTROLLEREDE FILER I FORHOLD TIL DET SAMLEDE ANTAL FILER I NAVNERUMMET
state.fmig2_progress_phase_time = 1245 <=== SEKUNDER BRUGT I DEN AKTUELLE FASE HIDTIL
state.fmig2_progress_total_time = 1255 <=== SEKUNDER FMIG HAR KØRT INDTIL VIDERE
state.fmig2_start_time = 1470061560 <=== STARTTIDSPUNKT FOR NUVÆRENDE KØRSEL AF FMIG...

state.fmig2_total_inodes = 14 <=== FILER I ALT, DER SKAL TJEKKES IND I NAVNEOMRÅDE...


Endelig logføres forskellige meddelelser i DDFS-logfiler (/ddr/var/log/debug/ddfs.info) for at angive status for FMIG. Igen er output meget ens for ER- og LTR-funktionalitet, så kun dem fra et LTR-aktiveret system vises her:

08/01 15:26:00.945 (tid 0x7ff4c683e090): MEDDELELSE: MSG-FMIG-00004: Dataflytning startet< === FMIG STARTER...

08/01 15:26:00.977 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (såning) startede <=== BULKSÅNING STARTER (KØRER IKKE PÅ LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (seedning) afsluttet
08/01 15:26:10.978 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (scanning) startet< === SCANNINGSFASEN STARTER
 
08/01 15:26:22.162 (TID 0x4ca2150): Fmig: kandidatfil /data/col1/jftest/file2, src-fil snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KANDIDATFIL HENTET AF KOPITRÅD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: kandidatfil /data/col1/jftest/file3, src-fil snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== KANDIDATFIL STARTER KOPI
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: kandidatfil /data/col1/jftest/file4, src-fil snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KANDIDATFILEN STARTER KOPI
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: kandidatfil /data/col1/jftest/file5, src-fil snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KANDIDATFIL STARTER KOPI
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (sky): fase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, igangværende vbytes 1936986672 <=== STATISTIK DUMPET PERIODISK
 
08/01 15:45:59.040 (TID 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KOPIERET FIL FULDENDER VERIFICERING
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== KOPIERET FIL FULDENDER VERIFICERING
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KOPIERET FIL FULDENDER VERIFICERING
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src-fil snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KOPIERET FIL FULDFØRER VERIFICERING
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (sky): fase 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, igangværende vbytes 536870911 <=== FLERE PERIODISKE STATISTIKKER
 
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (scanning) afsluttet <=== SCANNINGSFASEN ER AFSLUTTET (ALLE KANDIDATFILER KOPIERET08
/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 3 (bekræft) startet< === VERIFICERING AF FASESTART
 
08/01 15:47:57.855 (TID 0x7ff50351a620): Fmig: fmig verificeret fil10, src-fil snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== RESTERENDE FILER BEKRÆFTET
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 4 (pakning) afsluttet <=== PAKKEFASE (KØRER IKKE PÅ LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 5 (installation) startet< === INSTALLATIONSFASEN STARTER
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 5 [installation] afsluttet<=== INSTALLATIONSFASEN SLUTTER
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): MEDDELELSE: MSG-FMIG-00001: Dataflytning fuldført (cloud) på cloud cps: 0:22:35 gået, 9 filer migreret, 11274289152 af det samlede antal bytes migreret <=== FMIG GENNEMFØRER
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fase[1]: 10 sek. Fase[2]: 1291 sek. Fase[3]: 16 sek. Fase[4]: 0 sek. Fase[5]: 11 sek. <=== VISTE FASETIDER

Bemærk, at:

• Tal, der angiver mængden af post-comp (fysiske) data, der kopieres til målniveauet, opdateres kun, hver gang en fil er færdig med at kopiere. Som et resultat, hvis en enkelt stor fil blev migreret, vil post-comp vise 0 byte, indtil kopieringen (og scanningsfasen) er fuldført
• Tal, der angiver mængden af pre-comp (logiske) data, der kopieres til målniveauet, opdateres periodisk og ikke kun, når filkopieringen er afsluttet
• Den procentdel fuldført, der vises i scanningsfasen, angiver ikke den samlede procentdel af kandidatdata, der hidtil er kopieret. I stedet angiver det, at % af de samlede filer i DDFS-navnerummet indtil videre er blevet kontrolleret af kopitråde for at afgøre, om de er kandidater til migrering. Når FMIG er i scanningsfasen, er det derfor almindeligt at se: