Data Domain: Come monitorare lo spostamento dei dati utilizzando Data Domain Restorer

Alcuni modelli di Data Domain Restorer (DDR) possono essere configurati con funzionalità note come Extended Retention (ER) o Long Term Retention (LTR). Questa funzionalità consente di aggiungere al sistema un secondo tier di storage a cui è possibile migrare i file che necessitano di retention a lungo termine. Il tipo di storage utilizzato per questo secondo tier dipende dalla funzionalità specifica utilizzata, ad esempio:

• Retention estesa: Il secondo livello di storage è noto come tier di archiviazione ed è formato da enclosure di dischi fisicamente collegati al DDR.
• Retention a lungo termine: Il secondo tier di storage è noto come cloud tier ed è formato da object storage fornito da un provider di cloud supportato (ovvero è esterno al DDR)

Meccanica del movimento dei dati:

In entrambi i casi, per migrare fisicamente il file dal tier attivo al tier di archiviazione/cloud, viene utilizzato un processo noto come FMIG (Data Movement). Una volta avviato, FMIG passa attraverso 5 fasi di funzionamento come descritto di seguito:

Fase 1 - Semina in blocco:

• Questa operazione viene ignorata su tutti i sistemi abilitati per LTR
• Questa operazione viene ignorata sui sistemi ER che eseguono DDOS 5.5.1.x (e versioni successive)
• Nei sistemi ER che eseguono DDOS 5.5.0.x (e versioni precedenti), può essere eseguita una copia a livello di blocco dei dati selezionati dal tier attivo al tier di archiviazione. I meccanismi di questa copia non rientrano nell'ambito di questo documento, pertanto non vengono discussi in questa sede.

Fase 2 - Scansione:

• Data Domain File System (DDFS) cerca i file nel tier attivo candidati per la migrazione al tier di archiviazione/cloud (file che non sono stati modificati per un periodo superiore alla policy di spostamento dei dati/alla soglia di età degli MTrees padre)
• Viene avviato un certo numero di thread di copia (il numero specifico dipende dal modello/configurazione del sistema) con ciascuno dei thread che legge un file candidato nel tier attivo e copia dati univoci nel tier di archiviazione/cloud (ovvero dati che non esistono già nel tier di destinazione)
• Viene avviato un certo numero di thread di verifica (anche in questo caso il numero di thread specifico dipende dal modello/configurazione del sistema) che, una volta che un file candidato ha completato la copia, rileggono la copia del file dal tier di destinazione per assicurarsi che sia valida o che tutti i dati siano raggiungibili
• Una volta copiato/verificato un file candidato, viene aggiunto a un elenco di file in attesa di "installazione" nel tier di destinazione (un aggiornamento dei metadati rispetto al file per indicare che ora esiste nel tier di destinazione). Periodicamente un thread di installazione si riattiva per "installare" tutti i file in sospeso

Fase 3 - Verifica:

• Durante questa fase, DDFS attende il completamento della verifica di tutti i file copiati nel tier di destinazione

Fase 4 - Imballaggio:

• Questa operazione viene ignorata su tutti i sistemi abilitati per LTR
• Nei sistemi ER, FMIG tenta di rimuovere eventuali segmenti di dati duplicati copiati nel tier di archiviazione durante la fase di scansione. Si noti che i segmenti di dati duplicati possono essere copiati per accelerare il processo di copia; tuttavia, data la progettazione del tier di archiviazione (rapporto di compressione complessivo massimo con prestazioni di lettura ridotte), è necessario rimuovere tali dati duplicati

Fase 5 - Installazione:

• Durante questa fase, DDFS attende il completamento dell'installazione di tutti i file copiati/verificati.

Monitoraggio dei progressi di FMIG:

Principalmente la shell della riga di comando (DDSH) di Data Domain viene utilizzata per monitorare l'avanzamento di FMIG sui sistemi ER e LTR. Importante:

• Sui sistemi ER devono essere utilizzati i comandi "archive data-movement [status|watch]", mentre sui sistemi LTR devono essere utilizzati i comandi "data-movement [status|watch]", ovvero:

• Nei sistemi ER viene riportato l'avanzamento di tutte e 5 le fasi (ad esempio, l'output mostrerà 'fase x di 5') mentre nei sistemi LTR, dato che le fasi 1 e 4 vengono sempre saltate, viene mostrato l'avanzamento solo delle fasi 2/3/5 (ad esempio l'output mostrerà 'fase x di 3')
• Il comando "status" mostra un'istantanea una tantum dell'avanzamento di FMIG:

• Il comando 'watch' mostra l'output in sequenza man mano che FMIG avanza attraverso le fasi:

Viene inoltre utilizzato un set di chiavi di registro per tenere traccia dell'avanzamento FMIG: queste vengono acquisite nei supporti automatici generati dal sistema e possono anche essere visualizzate tramite DDSH:

ER: # reg mostra dynamic.art.fmig
LTR: # reg mostra stato.fmig2

In entrambi i casi le chiavi di registro visualizzate sono molto simili e, di conseguenza, vengono mostrate qui solo quelle di un sistema abilitato per LTR:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== NUMERO TOTALE DI FILE NELLO SPAZIO DEI NOMI DDFS CONTROLLATO PER VERIFICARE SE CORRISPONDONO AI CRITERI PER ESSERE CANDIDATI
state.fmig2_end_time = 1470059610 <=== ORA DI FINE DELL'ULTIMA ESECUZIONE DI FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== BYTE PRE-COMP (LOGICI) COPIATI NEL TIER DI DESTINAZIONE FINORA
state.fmig2_fcopy_post_lc_size = 10944662855 <=== BYTE POST-COMP (FISICI) COPIATI NEL TIER DI DESTINAZIONE QUINDI FAR
...
state.fmig2_files_copied = 8 <=== FILE CHE HANNO COMPLETATO LA COPIA
state.fmig2_files_failed_in_copy = 0 <=== FILE CHE NON SONO STATI COPIATI
state.fmig2_files_failed_in_install = 0 <=== FILE COPIATI/VERIFICATI MA NON INSTALLATI
state.fmig2_files_failed_in_verify = 0 <=== FILE COPIATI MA NON VERIFICATI
state.fmig2_files_installed = 4 <=== FILE CHE HANNO COMPLETATO LA COPIA/VERIFICA/INSTALLAZIONE
state.fmig2_files_verified = 4 <=== FILE CHE HANNO COMPLETATO LA COPIA/VERIFICA
...
state.fmig2_is_running = 1 <=== FMIG È IN ESECUZIONE
state.fmig2_is_waiting = 0 <=== FMIG È IN ATTESA (AD ESEMPIO PER IL COMPLETAMENTO DELLA PULIZIA)
state.fmig2_progress_current_phase = 2 <=== FASE CORRENTE (IN QUESTO CASO COPIA/SCANSIONE)
state.fmig2_progress_percent_complete = 92 <=== % COMPLETAMENTO DELLA FASE CORRENTE IN BASE AI FILE CONTROLLATI RISPETTO AI FILE TOTALI NELLO SPAZIO
DEI NOMI state.fmig2_progress_phase_time = 1245 <=== SECONDI TRASCORSI NELLA FASE CORRENTE FINORA
state.fmig2_progress_total_time = 1255 <=== SECONDI IN ESECUZIONE FMIG FINO A QUEL MOMENTO
state.fmig2_start_time = 1470061560 <=== ORA DI INIZIO DELL'ESECUZIONE CORRENTE DI FMIG...

state.fmig2_total_inodes = 14 <=== TOTALE FILE DA ARCHIVIARE IN NAMESPACE...


Infine, vari messaggi vengono registrati nei file di registro DDFS (/ddr/var/log/debug/ddfs.info) per indicare lo stato di avanzamento di FMIG. Anche in questo caso, l'output è molto simile per le funzionalità ER e LTR, quindi qui vengono mostrati solo quelli di un sistema abilitato per LTR:

08/01 15:26:00.945 (tid 0x7ff4c683e090): AVVISO: MSG-FMIG-00004: Spostamento dei dati avviato <=== FMIG STARTS
...
08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (seeding) iniziata <=== BULK SEEDING START (NON VIENE ESEGUITO SU LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: conclusa la fase 1 (seeding)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (scansione) avviata <=== INIZIA
 
LA FASE DI SCANSIONE08/01 15:26:22.162 (tid 0x4ca2150): Fmig: file candidato /data/col1/jftest/file2, file src snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== FILE CANDIDATO PRELEVATO DAL THREAD
DICOPIA 08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: file candidato /data/col1/jftest/file3, file src snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== IL FILE CANDIDATO INIZIA LA COPIA IL
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: file candidato /data/col1/jftest/file4, file src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== IL FILE CANDIDATO INIZIA LA COPIA IL
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: file candidato /data/col1/jftest/file5, file src snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== IL FILE CANDIDATO INIZIA LA COPIA
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (cloud): fase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, vbyte in corso 1936986672 <=== STATISTICHE SCARICATE PERIODICAMENTE
 
08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== IL FILE COPIATO COMPLETA LA VERIFICA
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== IL FILE COPIATO COMPLETA LA VERIFICA
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== IL FILE COPIATO COMPLETA LA VERIFICA
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== IL FILE COPIATO COMPLETA LA VERIFICA
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (nuvola): fase 2, phase_time 1265, total_time 1275, 14 total_inodes, 13 checked_inodes, 8 copied_files, 4 verified_files, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, vbyte in corso 536870911 <=== STATISTICHE
 
PIÙ PERIODICHE08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (scansione) terminata <=== COMPLETAMENTO DELLA FASE DI SCANSIONE (TUTTI I FILE CANDIDATI COPIATI)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 3 (verifica) avviata <=== VERIFICA AVVIO FASE
 
08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== FILE RIMANENTI VERIFICATI
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 4 (impacchettamento) terminata <=== FASE DI IMPACCHETTAMENTO (NON VIENE ESEGUITA SU LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 5 (installazione) avviata <=== FASE DI INSTALLAZIONE INIZIA IL
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 5 [installazione] terminata<=== FASE DI INSTALLAZIONE TERMINA IL
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): AVVISO: MSG-FMIG-00001: Spostamento dei dati completato (cloud) su cps cloud: 0:22:35 trascorse, 9 di file migrati, 11274289152 di byte totali migrati <=== FMIG COMPLETA 08
/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fase[1]: 10 secondi Fase[2]: 1291 secondi Fase[3]: 16 secondi Fase[4]: 0 secondi Fase[5]: 11 secondi <=== TEMPORIZZAZIONE DELLE FASI MOSTRATA

Si noti che:

• Le cifre che indicano la quantità di dati (fisici) post-compressione copiati nel tier di destinazione vengono aggiornate solo al termine della copia di un file. Di conseguenza, se viene eseguita la migrazione di un singolo file di grandi dimensioni, la post-compressione mostrerà 0 byte fino al completamento della copia (e della fase di scansione)
• Le cifre che indicano la quantità di dati (logici) di pre-compressione copiati nel tier di destinazione vengono aggiornate periodicamente e non solo al completamento della copia dei file
• La percentuale di completamento mostrata in fase di scansione non indica la % totale dei dati candidati copiati fino a quel momento. Al contrario, indica che la % di file totali nello spazio dei nomi DDFS è stata controllata finora dai thread di copia per determinare se sono candidati per la migrazione. Di conseguenza, quando FMIG è in fase di scansione, è comune vedere: