Data Domain: Tietojen siirron seuraaminen Data Domain Restorer -toiminnolla

Tiettyihin DDR (Data Domain Restorer) -malleihin voidaan määrittää toimintoja, jotka tunnetaan nimellä laajennettu säilytys (ER) tai pitkäaikainen säilytys (LTR). Tämän toiminnon avulla järjestelmään voidaan lisätä toinen tallennustaso, johon pitkäaikaista säilytystä tarvitsevat tiedostot voidaan siirtää. Tässä toisessa kerroksessa käytettävän tallennustilan tyyppi riippuu käytettävistä toiminnoista, joita ovat:

• Pidennetty säilytys: Toista tallennustasoa kutsutaan arkistointitasoksi, ja se muodostuu DDR:ään fyysisesti liitetyistä levykoteloista
• Pitkäaikainen säilytys: Toista tallennustasoa kutsutaan pilvitasoksi, ja se muodostuu tuetun pilvipalveluntarjoajan (eli DDR:n ulkopuolisen) objektitallennuksesta

Tiedonsiirtomekaniikka:

Molemmissa tapauksissa tiedoston fyysiseen siirtämiseen aktiiviselta tasolta arkisto-/pilvitasolle käytetään prosessia, joka tunnetaan nimellä tietojen siirto (FMIG). Käynnistettäessä FMIG käy läpi 5 toimintavaihetta alla kuvatulla tavalla:

Vaihe 1 - Joukkokylvö:

• Tämä ohitetaan kaikissa LTR-yhteensopivissa järjestelmissä
• Tämä ohitetaan ER-järjestelmissä, joissa on DDOS 5.5.1.x (tai uudempi)
• ER-järjestelmissä, joissa on DDOS 5.5.0.x (tai vanhempi), tämä voi suorittaa lohkotason kopion valituista tiedoista aktiiviselta tasolta arkistointitasolle. Tämän kopion mekaniikka ei kuulu tämän asiakirjan piiriin, joten sitä ei käsitellä tässä.

Vaihe 2 - skannaus:

• Data Domain File System (DDFS) etsii aktiiviselta tasolta tiedostoja, jotka soveltuvat siirrettäviksi arkisto-/pilvitasolle (tiedostot, joita ei ole muokattu yli mtrees-tason tietojen siirtokäytännön/-ikärajan)
• Käynnistetään useita kopiointiketjuja (tietty määrä riippuu järjestelmän mallista/kokoonpanosta), ja kukin säie lukee ehdokastiedoston aktiivisella tasolla ja kopioi yksilölliset tiedot arkisto-/pilvitasolle (eli tiedot, joita ei vielä ole kohdetasolla)
• Käynnistetään useita tarkistussäikeitä (tässäkin tietty säikeiden määrä riippuu järjestelmän mallista/kokoonpanosta), jotka, kun ehdokastiedosto on saanut kopion valmiiksi, lukevat tiedoston kopion kohdetasolta varmistaakseen, että se on kelvollinen / kaikki tiedot ovat tavoitettavissa
• Kun ehdokastiedosto on kopioitu/vahvistettu, se lisätään kohdetason asennusta odottavien tiedostojen luetteloon (tiedoston metatietojen päivitys, joka osoittaa, että tiedosto on nyt kohdetasolla). Ajoittain asennusketju herää "asentamaan" kaikki odottavat tiedostot

Vaihe 3 - todentaminen:

• Tämän vaiheen aikana DDFS odottaa kaikkien kohdetasolla kopioitujen tiedostojen tarkistuksen päättymistä

Vaihe 4 - Pakkaus:

• Tämä ohitetaan kaikissa LTR-yhteensopivissa järjestelmissä
• ER-järjestelmissä FMIG yrittää poistaa kaikki päällekkäiset tietosegmentit, jotka kopioitiin arkistointitasolle skannausvaiheen aikana. Huomaa, että päällekkäisiä tietosegmenttejä voidaan kopioida kopiointiprosessin nopeuttamiseksi, mutta arkistointitason rakenteen vuoksi (suurin kokonaispakkaussuhde ja heikentynyt lukusuorituskyky) tällaiset päällekkäiset tiedot on poistettava

Vaihe 5 - Asennus:

• Tässä vaiheessa DDFS odottaa kaikkien kopioitujen/vahvistettujen tiedostojen asennuksen valmistumista

FMIG:n edistymisen seuranta:

Data Domain -komentoriviliittymää (DDSH) käytetään ensisijaisesti valvomaan FMIG:n edistymistä ER- ja LTR-järjestelmissä. Huomioi:

• ER-järjestelmissä olisi käytettävä komentoja "archive data-movement [status|watch]", kun taas LTR-järjestelmissä olisi käytettävä komentoja "data-movement [status|watch]", eli:

• ER-järjestelmissä kaikkien 5 vaiheen edistyminen raportoidaan (eli tulosteessa näkyy "vaihe x/5"), kun taas LTR-järjestelmissä, koska vaiheet 1 ja 4 ohitetaan aina, näytetään vain vaiheiden 2/3/5 edistyminen (eli tulosteessa näkyy "vaihe x/3")
• Komento 'status' näyttää kertaluontoisen tilannevedoksen FMIG:n edistymisestä:

• 'watch'-komento näyttää rullaavan tuloksen FMIG:n edetessä vaiheiden läpi:

FMIG:n edistymisen seuraamiseen käytetään myös rekisteriavaimia, jotka tallennetaan järjestelmän luomiin automaattisiin tukiin ja jotka voidaan näyttää myös DDSH:ER:

n kautta: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

Molemmissa tapauksissa näytetyt rekisteriavaimet ovat hyvin samankaltaisia, joten vain LTR-järjestelmää tukevan järjestelmän avaimet näkyvät tässä:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== DDFS-NIMITILAN TIEDOSTOJEN KOKONAISMÄÄRÄ TARKISTETTIIN SEN SELVITTÄMISEKSI, VASTAAVATKO NE EHDOKKAAKSI
PÄÄSYN EHTOJA state.fmig2_end_time = 1470059610 <=== VIIMEISEN FMIG-SUORITUKSEN
PÄÄTTYMISAIKA state.fmig2_fcopy_byte_count = 11274289151 <=== PRE-COMP (LOOGISET) TAVUT KOPIOITU KOHDETASOLLE TÄHÄN MENNESSÄ
state.fmig2_fcopy_post_lc_size = 10944662855 <=== COMPIN JÄLKEISET (FYYSISET) TAVUT KOPIOITU KOHDETASOLLE TÄHÄN MENNESSÄ
...
state.fmig2_files_copied = 8 <=== TIEDOSTOT, JOTKA OVAT KOPIOINEET
state.fmig2_files_failed_in_copy = 0 <=== TIEDOSTOT, JOIDEN KOPIOINTI
EPÄONNISTUI state.fmig2_files_failed_in_install = 0 <=== TIEDOSTOT, JOTKA KOPIOITIIN/TARKISTETTIIN, MUTTA JOIDEN ASENNUS
EPÄONNISTUI state.fmig2_files_failed_in_verify = 0 <=== TIEDOSTOT, JOTKA KOPIOITIIN, MUTTA EIVÄT TARKISTANEET
state.fmig2_files_installed = 4 <=== TIEDOSTOT, JOTKA OVAT SUORITTANEET KOPIOINNIN/TARKISTAMISEN/ASENTAMISEN
state.fmig2_files_verified = 4 <=== TIEDOSTOT, JOTKA OVAT SUORITTANEET KOPIOINNIN/TARKISTUKSEN
...
state.fmig2_is_running = 1 <=== FMIG ON KÄYNNISSÄ state.fmig2_is_waiting
= 0 <=== FMIG ODOTTAA (ESIMERKIKSI PUHDISTUKSEN VALMISTUMISTA)
state.fmig2_progress_current_phase = 2 <=== NYKYINEN VAIHE (TÄSSÄ TAPAUKSESSA KOPIOINTI/SKANNAUS)
state.fmig2_progress_percent_complete = 92 ==<= % NYKYISEN VAIHEEN VALMISTUMISESTA TARKISTETTUJEN TIEDOSTOJEN PERUSTEELLA VERRATTUNA NIMIAVARUUDESSA OLEVIEN TIEDOSTOJEN KOKONAISMÄÄRÄÄN state.fmig2_progress_phase_time =
1245 <=== NYKYISESSÄ VAIHEESSA TÄHÄN MENNESSÄ VIETETYT SEKUNNITstate.fmig2_progress_total_time = 1255 <=== SEKUNTIA, JOLLOIN FMIG ON OLLUT KÄYNNISSÄ TÄHÄN MENNESSÄ
state.fmig2_start_time = 1470061560 <=== FMIG:n NYKYISEN AJON ALKAMISAIKA
...

state.fmig2_total_inodes = 14 <=== NIMITILASSA
TARKISTETTAVIEN TIEDOSTOJEN KOKONAISMÄÄRÄ...

Lopuksi DDFS-lokitiedostoihin (/ddr/var/log/debug/ddfs.info) kirjataan erilaisia viestejä, jotka osoittavat FMIG:n edistymisen. Jälleen lähtö on hyvin samanlainen ER- ja LTR-toiminnoille, joten vain LTR-yhteensopivan järjestelmän tulokset näkyvät tässä:

08/01 15:26:00.945 (tid 0x7ff4c683e090): HUOMATA: MSG-FMIG-00004: Tietojen siirto alkoi <=== FMIG ALKAA...

08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 1 (kylvö) alkoi <=== BULKKIKYLVÖ ALKAA (EI TOIMI LTR:LLÄ)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 1 (kylvö) päättyi
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 2 (skannaus) alkoi <=== SKANNAUSVAIHE ALKAA
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: ehdokastiedosto /data/col1/jftest/file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== EHDOKASTIEDOSTO POIMITTU COPY THREAD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: ehdokastiedosto /data/col1/jftest/file3, src-tiedosto snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== EHDOKASTIEDOSTO ALKAA COPY
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: ehdokastiedosto /data/col1/jftest/file4, src-tiedosto snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== EHDOKASTIEDOSTO ALKAA COPY
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: ehdokastiedosto /data/col1/jftest/file5, src-tiedosto snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== EHDOKASTIEDOSTO ALOITTAA KOPIOINNIN
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (pilvi): vaihe 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, käynnissä olevat vbytes 1936986672 <=== TILASTOT DUMPATAAN MÄÄRÄAJOIN
 
08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== KOPIOITU TIEDOSTO VIIMEISTELEE VAHVISTUKSEN
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== KOPIOITU TIEDOSTO VIIMEISTELEE VAHVISTUKSEN
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== KOPIOITU TIEDOSTO VIIMEISTELEE VAHVISTUKSEN
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== KOPIOITU TIEDOSTO VIIMEISTELEE VAHVISTUKSEN
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (pilvi): vaihe 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, keskeneräiset vbytes 536870911 <=== LISÄÄ KAUSITILASTOJA
 
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 2 (skannaus) päättyi <=== SKANNAUSVAIHE VALMIS (KAIKKI EHDOKASTIEDOSTOT COPIED)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: vaihe 3 (tarkista) alkoi <=== TARKISTETAAN VAIHEEN ALKAMISTA
 
08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== JÄLJELLÄ OLEVAT TIEDOSTOT VAHVISTETTU
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 4 (pakkaus) päättyi <=== PAKKAUSVAIHE (EI TOIMI LTR:LLÄ)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 5 (asennus) alkoi <=== ASENNUSVAIHE ALKAA
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: vaihe 5 [asennus] päättyi<=== ASENNUSVAIHE PÄÄTTYY
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): HUOMATA: MSG-FMIG-00001: Tietojen siirto valmis (pilvi) pilvipalvelun CPS:ssä: 0:22:35 kulunut, 9 tiedostoa siirretty, 11274289152 kaikista siirretyistä <tavuista === FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Vaihe [1]: 10 sekuntia Vaihe [2]: 1291 sek Vaihe [3]: 16 sekuntia Vaihe [4]: Vaihe 0 sekuntia[5]: 11 sekuntia <=== VAIHEAJOITUKSET ESITETTY

Huomaa, että:

• Kuvat, jotka osoittavat kohdetasolle kopioitujen kilpailun jälkeisten (fyysisten) tietojen määrän, päivitetään vain aina, kun tiedoston kopiointi päättyy. Tämän seurauksena, jos yksi suuri tiedosto siirrettäisiin compin jälkeen, se näyttää 0 tavua, kunnes kopiointi (ja skannausvaihe) on valmis
• Luvut, jotka osoittavat kohdetasolle kopioitujen pre-comp (loogisten) tietojen määrän, päivitetään säännöllisesti eikä vain tiedoston kopioinnin päätyttyä
• Skannausvaiheessa näkyvä valmistumisprosentti ei ilmaise tähän mennessä kopioitujen ehdokastietojen kokonaisprosenttiosuutta. Sen sijaan se ilmaisee, kuinka % kaikista DDFS-nimitilan tiedostoista on tähän mennessä tarkistettu kopiointiketjuilla sen määrittämiseksi, ovatko ne siirrettäviä. Tämän seurauksena, kun FMIG on skannausvaiheessa, on yleistä nähdä: