Data Domain: Hvordan overvåke dataflytting ved hjelp av en Data Domain Restorer

Enkelte modeller av Data Domain Restorer (DDR) kan konfigureres med funksjonalitet kjent som Extended Retention (ER) eller Long Term Retention (LTR). Denne funksjonaliteten gjør det mulig å legge til et andre lagringsnivå til systemet som filer som trenger langsiktig oppbevaring, kan migreres til. Lagringstypen som brukes for dette andre nivået, avhenger av spesifikk funksjonalitet som brukes, dvs.:

• Utvidet oppbevaring: Det andre lagringsnivået kalles arkivnivået og består av diskkabinetter som er fysisk festet til DDR
• Langsiktig oppbevaring: Det andre lagringsnivået er kjent som skynivået og består av objektlagring fra en støttet skyleverandør (det vil si at det er eksternt for DDR)

Mekanikk for dataflytting:

I begge tilfeller brukes en prosess kjent som dataflytting (FMIG) for å fysisk migrere en fil fra det aktive til arkiv-/skynivået. Ved oppstart går FMIG gjennom 5 driftsfaser som beskrevet nedenfor:

Fase 1 - Bulksåing:

• Dette hoppes over på alle LTR-aktiverte systemer
• Dette hoppes over på ER-systemer som kjører DDOS 5.5.1.x (og nyere)
• På ER-systemer som kjører DDOS 5.5.0.x (og eldre), kan dette utføre en blokknivåkopi av valgte data fra aktivt nivå til arkivnivå. Mekanikken i denne kopien er utenfor omfanget av dette dokumentet og derfor ikke diskutert her.

Fase 2 - Skanning:

• Data Domain File System (DDFS) ser etter filer på det aktive nivået som er kandidater for migrering til arkiv-/skynivået (filer som ikke har blitt endret lenger enn den overordnede dataflyttingspolicyen/aldersterskelen)
• Et antall kopitråder startes (spesifikt antall avhenger av systemmodell/konfigurasjon) der hver av trådene leser en kandidatfil på det aktive nivået og kopierer unike data til arkiv-/skynivået (dvs. data som ikke allerede finnes på målnivået)
• En rekke bekreftelsestråder startes (igjen avhenger spesifikt antall tråder av systemmodell/konfigurasjon) som, når en kandidatfil er ferdig kopiert, leser kopien av filen fra målnivået for å sikre at den er gyldig / alle data er tilgjengelige
• Når en kandidatfil er kopiert/verifisert, legges den til i en liste over filer som venter på installasjon, på målnivået (en metadataoppdatering mot filen for å indikere at den nå eksisterer på målnivået). Med jevne mellomrom våkner en installasjonstråd for å "installere" alle ventende filer

Fase 3 - Verifisering:

• I denne fasen venter DDFS på bekreftelse av alle kopierte filer på målnivået før de er fullført

Fase 4 - Pakking:

• Dette hoppes over på alle LTR-aktiverte systemer
• På ER-systemer forsøker FMIG å fjerne eventuelle dupliserte segmenter av data som ble kopiert til arkivnivået under skannefasen. Vær oppmerksom på at dupliserte segmenter med data kan kopieres for å øke hastigheten på kopieringsprosessen, men gitt at arkivnivået er designet (maksimalt samlet komprimeringsforhold med redusert leseytelse), må slike dupliserte data fjernes

Fase 5 - Installasjon:

• I denne fasen venter DDFS på at installasjonen av alle kopierte/verifiserte filer er fullført

Overvåke fremdriften av FMIG:

Primært brukes Data Domain kommandolinjeskall (DDSH) til å overvåke fremdriften av FMIG på ER- og LTR-systemer. Vær oppmerksom på at:

• På ER-systemer bør kommandoene 'archive data-movement [status|watch]' brukes, mens på LTR-systemer bør kommandoene 'databevegelse [status|watch]' brukes, dvs.:

• På ER-systemer rapporteres fremgang i alle 5 faser (dvs. utdata vil vise 'fase x av 5'), mens på LTR-systemer, gitt at fase 1 og 4 alltid hoppes over, vises fremgang for bare fase 2/3/5 (dvs. utdata vil vise 'fase x av 3')
• 'status'-kommandoen viser et øyeblikksbilde av FMIG-fremdriften én gang:

• «Se»-kommandoen viser rullerende utdata etter hvert som FMIG går gjennom fasene:

Et sett med registernøkler brukes også til å spore FTIG-fremdrift – disse registreres i autostøtter som genereres av systemet, og kan også vises via DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg vis state.fmig2

I begge tilfeller er registernøklene som vises svært like, og som et resultat vises bare de fra et LTR-aktivert system her:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== TOTALT ANTALL FILER I DDFS-NAVNEROMMET SJEKKET FOR Å SE OM DE SAMSVARER MED KRITERIENE FOR Å VÆRE KANDIDAT
state.fmig2_end_time = 1470059610 <=== SLUTTIDSPUNKT FOR SISTE KJØRING AV FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== PRE-COMP (LOGISK) BYTE KOPIERT TIL MÅLET TIER SÅ LANGT
state.fmig2_fcopy_post_lc_size = 10944662855 <=== POST-COMP (FYSISK) BYTE KOPIERT TIL MÅLET TIER SÅ LANGT ...

state.fmig2_files_copied = 8 <=== FILER SOM HAR FULLFØRT KOPI
state.fmig2_files_failed_in_copy = 0 <=== FILER SOM IKKE KLARTE Å KOPIERE
state.fmig2_files_failed_in_install = 0 <=== FILER SOM KOPIERTE/VERIFISERTE, MEN IKKE KUNNE INSTALLERES
state.fmig2_files_failed_in_verify = 0 <=== FILER SOM KOPIERTE, MEN IKKE KLARTE Å VERIFISERE
state.fmig2_files_installed = 4 <=== FILER SOM HAR FULLFØRT KOPIERING / VERIFISERE / INSTALLERE
state.fmig2_files_verified = 4 <=== FILER SOM HAR FULLFØRT KOPIERING / VERIFISERE
...
state.fmig2_is_running = 1 <=== FMIG KJØRER
state.fmig2_is_waiting = 0 <=== FMIG VENTER (FOR EKSEMPEL FOR REN Å FULLFØRE)
state.fmig2_progress_current_phase = 2 <=== NÅVÆRENDE FASE (I DETTE TILFELLET KOPIERING/SKANNING)
state.fmig2_progress_percent_complete = 92 <=== % FULLFØRING AV GJELDENDE FASE BASERT PÅ KONTROLLERTE FILER VS TOTALE FILER I NAVNEROMMET
state.fmig2_progress_phase_time = 1245 <=== SEKUNDER BRUKT I NÅVÆRENDE FASE SÅ LANGT
state.fmig2_progress_total_time = 1255 <=== SEKUNDER FMIG HAR KJØRT SÅ LANGT
state.fmig2_start_time = 1470061560 <=== STARTTID FOR NÅVÆRENDE KJØRING AV FMIG ...

state.fmig2_total_inodes = 14 <=== TOTALT ANTALL FILER Å SJEKKE INN I NAVNEROM
...

Til slutt logges ulike meldinger til DDFS-loggfiler (/ddr/var/log/debug/ddfs.info) for å indikere fremdriften til FMIG. Igjen er utdataene svært like for ER- og LTR-funksjonalitet, så bare de fra et LTR-aktivert system vises her:

08/01 15:26:00.945 (tid 0x7ff4c683e090): BEMERKE: MSG-FMIG-00004: Data-bevegelse startet <=== FMIG STARTER ...

08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (seeding) startet <=== BULK SEEDING STARTER (KJØRER IKKE PÅ LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (såing) avsluttet
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (skanning) startet <=== SKANNEFASEN STARTER
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: candidate file /data/col1/jftest/file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== CANDIDATE FILE PICKED UP BY COPY THREAD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: candidate file /data/col1/jftest/file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== CANDIDATE FILE STARTS COPY
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: candidate file /data/col1/jftest/file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== CANDIDATE FILE STARTS COPY
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: kandidatfil /data/col1/jftest/file5, src-fil snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KANDIDATFILEN STARTER KOPIEN
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (sky): fase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, pågående vbyte 1936986672 <=== STATISTIKK DUMPET MED JEVNE MELLOMROM
 
08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== COPIED FILE COMPLETES VERIFICATION
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== COPIED FILE COMPLETES VERIFICATION
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== COPIED FILE COMPLETES VERIFICATION
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KOPIERT FIL FULLFØRER VERIFISERINGEN
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (sky): fase 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, pågående vbyte 536870911 <=== MER PERIODISK STATISTIKK
 
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (skanning) avsluttet< === SKANNINGSFASEN ER FULLFØRT (ALLE KANDIDATFILER KOPIERT)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 3 (verifisere) startet <=== VERIFISERINGSFASEN STARTER
 
08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== REMAINING FILES VERIFIED
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 4 (pakking) avsluttet <=== PAKKEFASE (KJØRER IKKE PÅ LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 5 (installere) startet <=== INSTALLASJONSFASEN STARTER 08
/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 5 [installer] avsluttet<=== INSTALLASJONSFASEN AVSLUTTES
 
08/01 15:48:35.337 (TID 0x7ff4cbeabcf0): BEMERKE: MSG-FMIG-00001: Dataflytting fullført (sky) på sky-cps: 0:22:35 egått, 9 av filene migrert, 11274289152 av totalt antall byte migrert <=== FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fase[1]: 10 sekunder Fase[2]: 1291 sekunder Fase[3]: 16 sekunder Fase[4]: 0 sekunder Fase[5]: 11 sekunder <=== FASETIDER VIST

Merk at:

• Tall som indikerer mengden post-comp (fysiske) data kopiert til målnivået, oppdateres bare hver gang en fil fullføres kopiering. Som et resultat av dette, hvis én stor fil ble migrert, vil etterkomprimering vise 0 byte til kopieringen (og skannefasen) er fullført
• Tall som indikerer mengden forhåndsutfylte (logiske) data som kopieres til målnivået, oppdateres periodisk og ikke bare når filkopien er fullført
• % fullført som vises i skannefasen, angir ikke den totale % av kandidatdata som er kopiert så langt. I stedet angir den at % av det totale antallet filer i DDFS-navneområdet hittil har blitt kontrollert av kopitråder for å avgjøre om de er kandidater for overføring. Som et resultat når FMIG er i skannefasen, er det vanlig å se: