Data Domain: Så här övervakar du dataförflyttning med hjälp av en Data Domain Restorer

Vissa modeller av Data Domain Restorer (DDR) kan konfigureras med funktioner som kallas Extended Retention (ER) eller Long Term Retention (LTR). Den här funktionen gör det möjligt att lägga till en andra lagringsnivå i systemet till vilken filer som behöver långsiktig lagring kan migreras. Vilken typ av lagring som används för den andra nivån beror på vilka specifika funktioner som används, dvs.:

• Förlängt kvarhållande: Den andra lagringsnivån kallas arkivnivå och består av diskhöljen som är fysiskt anslutna till DDR
• Långsiktig retention: Den andra lagringsnivån kallas molnnivå och skapas av objektlagring som tillhandahållits från en molnleverantör som stöds (dvs. den är extern i förhållande till DDR)

Mekanismer för dataförflyttning

:I båda fallen används en process som kallas dataflytt (FMIG) för att fysiskt migrera filen från den aktiva nivån till arkiv-/molnnivån. När FMIG startas går den igenom 5 faser av drift som beskrivs nedan:

Fas 1 - Bulksådd:

• Hoppas över detta på alla LTR-aktiverade system
• Detta hoppas över på ER-system som kör DDOS 5.5.1.x (och senare)
• På ER-system som kör DDOS 5.5.0.x (och tidigare) kan detta utföra en kopia på blocknivå av valda data från den aktiva nivån till arkivnivån. Mekaniken i den här kopian ligger utanför omfånget för detta dokument och diskuteras därför inte här.

Fas 2 - Skanning:

• Data Domain File System (DDFS) söker efter filer på den aktiva nivån som är kandidater för migrering till arkiv-/molnnivån (filer som inte har ändrats på längre tid än den överordnade mtree-dataförflyttningspolicyn/ålderströskeln)
• Ett antal kopieringstrådar startas (specifikt antal beror på systemmodell/konfiguration) där var och en av trådarna läser en kandidatfil på den aktiva nivån och kopierar unika data till arkiv-/molnnivån (dvs. data som inte redan finns på målnivån)
• Ett antal verifieringstrådar startas (återigen beror det specifika antalet trådar på systemmodell/konfiguration) som, när en kandidatfil har slutfört kopieringen, läser tillbaka kopian av filen från målnivån för att se till att den är giltig/alla data kan nås
• När en kandidatfil har kopierats/verifierats läggs den till i en lista över filer som väntar på "installation" på målnivån (en metadatauppdatering mot filen för att indikera att den nu finns på målnivån). Med jämna mellanrum aktiveras en installationstråd för att "installera" alla väntande filer

Fas 3 - Verifiering:

• Under den här fasen väntar DDFS på att verifieringen av alla kopierade filer på målnivån ska slutföras

Fas 4 - Packning:

• Hoppas över detta på alla LTR-aktiverade system
• På ER-system försöker FMIG att ta bort alla dubbletter av datasegment som kopierades till arkivnivån under skanningsfasen. Observera att duplicerade segment av data kan kopieras för att påskynda kopieringsprocessen, men med tanke på arkivnivåns design (maximalt övergripande komprimeringsförhållande med försämrad läsprestanda) måste sådana duplicerade data tas bort

Fas 5 - Installation:

• Under den här fasen väntar DDFS på att installationen av alla kopierade/verifierade filer ska slutföras

Övervakning av FMIG:s framsteg:

I första hand används Data Domains kommandoradsskal (DDSH) för att övervaka FMIG:s framsteg på ER- och LTR-system. Observera följande:

• På ER-system bör kommandona "archive data-movement [status|watch]" användas, medan på LTR-system bör kommandona "data-movement [status|watch]" användas, dvs.:

• På ER-system rapporteras framsteg för alla 5 faser (dvs. utgången kommer att visa "fas x av 5") medan på LTR-system, med tanke på att faserna 1 och 4 alltid hoppas över, visas förloppet för endast faserna 2/3/5 (dvs. utgången kommer att visa "fas x av 3")
• Kommandot 'status' visar en ögonblicksbild av FMIG-förloppet en gång:

• Kommandot "watch" visar rullande utdata när FMIG går igenom faser:

En uppsättning registernycklar används också för att spåra FMIG-framsteg - dessa registreras i autostöd som genereras av systemet och kan också visas via DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

I båda fallen är registernycklarna som visas mycket lika och som ett resultat visas endast de från ett LTR-aktiverat system här:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== TOTALT ANTAL FILER I DDFS-NAMNRYMDEN KONTROLLERAS FÖR ATT SE OM DE MATCHAR KRITERIERNA FÖR ATT VARA KANDIDAT
state.fmig2_end_time = 1470059610 <=== SLUTTID FÖR SENASTE KÖRNING AV FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== FÖRKOMPILERADE (LOGISKA) BYTE SOM KOPIERATS TILL MÅLNIVÅN HITTILLS
state.fmig2_fcopy_post_lc_size = 10944662855 <=== BYTE EFTER KOMP (FYSISKA) SOM KOPIERATS TILL MÅLNIVÅN HITTILLS ...

state.fmig2_files_copied = 8 <=== FILER SOM HAR KOPIERATS
state.fmig2_files_failed_in_copy = 0 <=== FILER SOM INTE KUNDE KOPIERAS
state.fmig2_files_failed_in_install = 0 <=== FILER SOM KOPIERADES/VERIFIERADES MEN INTE INSTALLERADES
state.fmig2_files_failed_in_verify = 0 <=== FILER SOM KOPIERADES MEN INTE KUNDE VERIFIERAS
state.fmig2_files_installed = 4 <=== FILER SOM HAR KOPIERATS/VERIFIERATS/INSTALLERATS
state.fmig2_files_verified = 4 <=== FILER SOM HAR KOPIERATS/VERIFIERATS
...
state.fmig2_is_running = 1 <=== FMIG KÖR
state.fmig2_is_waiting = 0 <=== FMIG VÄNTAR (T.EX. PÅ ATT CLEAN SKA SLUTFÖRAS)
state.fmig2_progress_current_phase = 2 <=== AKTUELL FAS (I DETTA FALL KOPIERING/SKANNING)
state.fmig2_progress_percent_complete = 92 <=== % SLUTFÖRANDE AV AKTUELL FAS BASERAT PÅ KONTROLLERADE FILER JÄMFÖRT MED TOTALT ANTAL FILER I NAMNRYMDEN
state.fmig2_progress_phase_time = 1245 <=== SEKUNDER SOM TILLBRINGATS I DEN AKTUELLA FASEN HITTILLS
state.fmig2_progress_total_time = 1255 <=== SEKUNDER FMIG HAR KÖRTS HITTILLS
state.fmig2_start_time = 1470061560 <=== STARTTID FÖR AKTUELL KÖRNING AV FMIG
...
state.fmig2_total_inodes = 14 <=== TOTALT ANTAL FILER SOM SKA CHECKAS IN I NAMNRYMDEN...


Slutligen loggas olika meddelanden i DDFS-loggfiler (/ddr/var/log/debug/ddfs.info) för att indikera FMIG:s framsteg. Återigen är utdata mycket lika för ER- och LTR-funktioner, så endast de från ett LTR-aktiverat system visas här:

08/01 15:26:00.945 (tid 0x7ff4c683e090): MÄRKA: MSG-FMIG-00004: Data-flytt startad< === FMIG STARTAR...

08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 1 (seeding) startade <=== BULK SEEDING STARTS (KÖRS INTE PÅ LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 1 (seedning) avslutad
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 2 (skanning) startad <=== SKANNINGSFASEN STARTAR
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: kandidatfil /data/col1/jftest/file2, src-fil snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KANDIDATFIL HÄMTAD GENOM KOPIERINGSTRÅD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: kandidatfil /data/col1/jftest/file3, src-fil snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== KANDIDATFIL STARTAR KOPIA
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: kandidatfil /data/col1/jftest/file4, src-fil snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KANDIDATFIL STARTAR KOPIA
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: kandidatfil /data/col1/jftest/file5, src-fil snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KANDIDATFIL STARTAR KOPIA
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (moln): fas 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, pågående vbytes 1936986672 <=== STATISTIK DUMPAS MED JÄMNA MELLANRUM
 
08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verifierad fil5, src-fil snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KOPIERAD FIL SLUTFÖR VERIFIERING
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verifierad fil3, src-fil snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== KOPIERAD FIL SLUTFÖR VERIFIERING
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verifierad fil2, src-fil snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KOPIERAD FIL SLUTFÖR VERIFIERING
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verifierad fil4, src-fil snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KOPIERAD FIL SLUTFÖR VERIFIERING
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (moln): fas 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, pågående vbytes 536870911 <=== MER PERIODISK STATISTIK
 
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 2 (skanning) avslutades <=== SKANNINGSFASEN ÄR KLAR (ALLA KANDIDATFILER COPIED)
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 3 (verifiera) startad <=== VERIFIERAR FAS STARTAR
 
08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== ÅTERSTÅENDE FILER VERIFIERADE
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 4 (packning) slutade <=== PACKNINGSFAS (KÖRS INTE PÅ LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 5 (installera) startade <=== INSTALLATIONSFASEN STARTAR
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: fas 5 [installera] slutade<=== INSTALLATIONSFASEN SLUTAR
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): MÄRKA: MSG-FMIG-00001: Dataflytt slutförd (moln) på moln-cps: 0:22:35 förflutit, 9 filer migrerade, 11274289152 av totalt antal byte migrerade <=== FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fas[1]: 10 sek fas[2]: 1291 sek fas[3]: 16 sek fas[4]: 0 sek fas[5]: 11 sekunder <=== FASTIDER VISAS

Tänk på följande:

• Siffror som anger mängden (fysiska) data efter sammanställning som kopieras till målnivån uppdateras bara varje gång en fil har kopierats färdigt. Det innebär att om en enda stor fil migreras efter validering visas 0 byte tills kopieringen (och genomsökningen) är klar
• Siffror som anger mängden (logiska) data som kopierats till målnivån före sammanställningen uppdateras regelbundet och inte bara när filkopieringen har slutförts
• Procent färdigt som visas i skanningsfasen anger inte den totala procentandelen kandidatdata som hittills kopierats. I stället anger det att % av det totala antalet filer i DDFS-namnrymden hittills har kontrollerats av kopieringstrådar för att avgöra om de är kandidater för migrering. Som ett resultat när FMIG är i skanningsfasen är det vanligt att se: