Data Domain: Cómo monitorear la transferencia de datos mediante un restaurador de Data Domain

Ciertos modelos de Data Domain Restorer (DDR) se pueden configurar con una funcionalidad conocida como retención extendida (ER) o retención a largo plazo (LTR). Esta funcionalidad permite agregar un segundo nivel de almacenamiento al sistema al que se pueden migrar los archivos que necesitan retención a largo plazo. El tipo de almacenamiento utilizado para este segundo nivel depende de la funcionalidad específica que se utiliza, es decir:

• Retención extendida: El segundo nivel de almacenamiento se conoce como nivel de archivo y está formado por gabinetes de discos conectados físicamente al DDR
• Retención a largo plazo: El segundo nivel de almacenamiento se conoce como el nivel de nube y se forma a partir del almacenamiento de objetos aprovisionado desde un proveedor de nube compatible (es decir, es externo al DDR)

Mecánica del movimiento de datos:

En ambos casos, para migrar físicamente un archivo desde el nivel activo al nivel de archivo/nube, se utiliza un proceso conocido como transferencia de datos (FMIG). Cuando se inicia, FMIG pasa por 5 fases de operación, como se describe a continuación:

Fase 1 - Siembra a granel:

• Esto se omite en todos los sistemas habilitados para LTR
• Esto se omite en los sistemas ER que ejecutan DDOS 5.5.1.x (y versiones posteriores)
• En los sistemas ER que ejecutan DDOS 5.5.0.x (y versiones anteriores), esto puede realizar una copia a nivel de bloque de los datos seleccionados desde el nivel activo al nivel de archivo. La mecánica de esta copia está fuera del alcance de este documento, por lo que no se analiza aquí.

Fase 2 - Escaneo:

• El sistema de archivos de Data Domain (DDFS) busca archivos en el nivel activo que sean candidatos para la migración al nivel de archivo/nube (archivos que no se han modificado en más tiempo que el umbral de antigüedad o política de transferencia de datos de MTrees primarios)
• Se inicia una serie de subprocesos de copia (el conteo específico depende del modelo o la configuración del sistema) y cada uno de los subprocesos lee un archivo candidato en el nivel activo y copia datos únicos en el nivel de nube/archivo (es decir, datos que aún no existen en el nivel de destino)
• Se inician varios subprocesos de verificación (nuevamente, el conteo de subprocesos específicos depende del modelo o la configuración del sistema) que, una vez que se completa la copia de un archivo candidato, leen la copia del archivo desde el nivel de destino para asegurarse de que sea válido o de que se pueda acceder a todos los datos
• Una vez que se ha copiado o verificado un archivo candidato, se agrega a una lista de archivos pendientes de "instalación" en el nivel de destino (una actualización de metadatos contra el archivo para indicar que ahora existe en el nivel de destino). Periódicamente, un subproceso de instalación se activa para "instalar" todos los archivos pendientes

Fase 3: Verificación:

• Durante esta fase, DDFS espera a que finalice la verificación de todos los archivos copiados en el nivel de destino

Fase 4 - Embalaje:

• Esto se omite en todos los sistemas habilitados para LTR
• En los sistemas ER, FMIG intenta eliminar los segmentos de datos duplicados que se copiaron en el nivel de archivo durante la fase de escaneo. Tenga en cuenta que se pueden copiar segmentos de datos duplicados para acelerar el proceso de copia; sin embargo, dado el diseño del nivel de archivo (tasa de compresión general máxima con rendimiento de lectura degradado), dichos datos duplicados deben eliminarse

Fase 5 - Instalación:

• Durante esta fase, DDFS espera a que se complete la instalación de todos los archivos copiados/verificados

Seguimiento del progreso de FMIG:

Principalmente, el shell de la línea de comandos (DDSH) de Data Domain se utiliza para monitorear el progreso de FMIG en los sistemas ER y LTR. Tenga en cuenta la siguiente información:

• En los sistemas ER deben utilizarse las órdenes «archive data-movement [status|watch]», mientras que en los sistemas LTR deben utilizarse las órdenes «data-movement [status|watch]», es decir:

• En los sistemas ER se informa del progreso de las 5 fases (es decir, la salida mostrará la "fase x de 5"), mientras que en los sistemas LTR, dado que las fases 1 y 4 siempre se omiten, solo se muestra el progreso de las fases 2/3/5 (es decir, la salida mostrará la "fase x de 3")
• El comando "status" muestra una instantánea única del progreso de FMIG:

• El comando "watch" muestra la salida gradual a medida que FMIG avanza a través de las fases:

También se utiliza un conjunto de claves de registro para rastrear el progreso de FMIG: estas se capturan en soportes automáticos generados por el sistema y también se pueden mostrar a través de DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

En ambos casos, las claves de registro que se muestran son muy similares y, como resultado, aquí solo se muestran las de un sistema habilitado para LTR:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== NÚMERO TOTAL DE ARCHIVOS EN EL ESPACIO DE NOMBRES DE DDFS COMPROBADOS PARA VER SI COINCIDEN CON LOS CRITERIOS PARA SER CANDIDATOS
state.fmig2_end_time = 1470059610 <=== HORA DE FINALIZACIÓN DE LA ÚLTIMA EJECUCIÓN DE FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== BYTES PRE-COMP (LÓGICOS) COPIADOS EN EL NIVEL DE DESTINO HASTA AHORA
state.fmig2_fcopy_post_lc_size = 10944662855 <=== BYTES POST-COMP (FÍSICOS) COPIADOS EN EL NIVEL DE DESTINO, POR LO TANTO, FAR
...
state.fmig2_files_copied = 8 <=== ARCHIVOS QUE SE COMPLETARON COPIA
state.fmig2_files_failed_in_copy = 0 <=== ARCHIVOS QUE NO SE PUDIERON COPIAR
state.fmig2_files_failed_in_install = 0 <=== ARCHIVOS QUE SE COPIARON/VERIFICARON PERO NO SE INSTALARON
state.fmig2_files_failed_in_verify = 0 <=== ARCHIVOS QUE SE COPIARON PERO NO SE PUDIERON VERIFICAR
state.fmig2_files_installed = 4 === ARCHIVOS< QUE SE COMPLETARON COPIAR/VERIFICAR/INSTALAR
state.fmig2_files_verified = 4 <=== ARCHIVOS QUE SE HAN COMPLETADO COPIAR/VERIFICAR
...
state.fmig2_is_running = 1 <=== FMIG ESTÁ EN EJECUCIÓN
state.fmig2_is_waiting = 0 <=== FMIG ESTÁ ESPERANDO (POR EJEMPLO, A QUE SE COMPLETE LA LIMPIEZA)
state.fmig2_progress_current_phase = 2 <=== FASE ACTUAL (EN ESTE CASO, COPIA/ESCANEO)
state.fmig2_progress_percent_complete = 92 <=== % DE FINALIZACIÓN DE LA FASE ACTUAL EN FUNCIÓN DE LOS ARCHIVOS VERIFICADOS FRENTE AL TOTAL DE ARCHIVOS EN EL ESPACIO DE NOMBRES
state.fmig2_progress_phase_time = 1245 <=== SEGUNDOS PASADOS EN LA FASE ACTUAL HASTA AHORA
state.fmig2_progress_total_time = 1255 <=== SEGUNDOS QUE FMIG HA ESTADO EJECUTANDO HASTA AHORA
state.fmig2_start_time = 1470061560 <=== HORA DE INICIO DE LA EJECUCIÓN ACTUAL DE FMIG
...
state.fmig2_total_inodes = 14 <=== TOTAL DE ARCHIVOS A COMPROBAR EN EL ESPACIO DE NOMBRES...


Por último, se registran varios mensajes en los archivos de registro de DDFS (/ddr/var/log/debug/ddfs.info) para indicar el progreso de FMIG. Una vez más, la salida es muy similar para la funcionalidad ER y LTR, por lo que aquí solo se muestran aquellos de un sistema habilitado para LTR:

08/01 15:26:00.945 (tid 0x7ff4c683e090): AVISO: MSG-FMIG-00004: Transferencia de datos iniciada <=== FMIG INICIA...

08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (siembra) iniciada< === COMIENZA LA SIEMBRA MASIVA (NO SE EJECUTA EN LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (siembra) finalizada
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: se inició la fase 2 (escaneo) === SE INICIA LA FASE DE ESCANEO<
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: archivo candidato /data/col1/jftest/file2, archivo src snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== ARCHIVO CANDIDATO RECOGIDO POR COPY THREAD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: archivo candidato /data/col1/jftest/file3, archivo src snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== EL ARCHIVO CANDIDATO COMIENZA A COPIAR
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: archivo candidato /data/col1/jftest/file4, archivo src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== EL ARCHIVO CANDIDATO COMIENZA A COPIAR
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: archivo candidato /data/col1/jftest/file5, archivo src snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== EL ARCHIVO CANDIDATO COMIENZA A COPIARSE
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (nube): fase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, vbytes en curso 1936986672< === ESTADÍSTICAS VOLCADAS PERIÓDICAMENTE
 
08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verificó file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== EL ARCHIVO COPIADO COMPLETA LA VERIFICACIÓN
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verificó file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== EL ARCHIVO COPIADO COMPLETA LA VERIFICACIÓN
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verificó file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== EL ARCHIVO COPIADO COMPLETA LA VERIFICACIÓN
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: archivo verificado fmig4, archivo src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== EL ARCHIVO COPIADO COMPLETA LA VERIFICACIÓN
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (nube): fase 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, vbytes en curso 536870911< === MÁS ESTADÍSTICAS PERIÓDICAS
 
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (escaneo) finalizada <=== SE COMPLETA LA FASE DE ESCANEO (SE COPIAN TODOS LOS ARCHIVOS CANDIDATOS)
08/01 15:47:41.858 (0x7ff4cbeabcf0 TID): INFO: Fmig: se inició la fase 3 (verificar) === SE INICIA LA FASE DE VERIFICACIÓN<
 
08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verificó file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== ARCHIVOS RESTANTES VERIFICADOS
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 4 (empaquetamiento) finalizada <=== FASE DE EMPAQUETADO (NO SE EJECUTA EN LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: se inició la fase 5 (instalación) === SE INICIA LA FASE DE INSTALACIÓN 08/01 15:48:08.890 (0x7ff4cbeabcf0 de TID):<
INFO: Fmig: la fase 5 [instalación] finalizó<=== LA FASE DE INSTALACIÓN TERMINA EL
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): AVISO: MSG-FMIG-00001: Transferencia de datos completada (nube) en cps de nube: 0:22:35 transcurrido, 9 de archivos migrados, 11274289152 del total de bytes migrados <=== FMIG COMPLETA 08
/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fase[1]: Fase de 10 segundos[2]: Fase de 1291 segundos[3]: Fase de 16 segundos[4]: Fase de 0 segundos[5]: 11 segundos === SE MUESTRAN LOS TIEMPOS DE< FASE

Tenga en cuenta que:

• Las figuras que indican la cantidad de datos posteriores a la compresión (físicos) copiados en el nivel de destino solo se actualizan cada vez que se termina de copiar un archivo. Como resultado, si se migrara un solo archivo grande, después de la compresión se mostrarán 0 bytes hasta que se complete la copia (y la fase de escaneo)
• Las figuras que indican la cantidad de datos (lógicos) previos a la compresión copiados en el nivel de destino se actualizan periódicamente y no solo cuando se completa la copia del archivo
• El porcentaje completo que se muestra en la fase de escaneo no indica el porcentaje total de datos de candidatos copiados hasta el momento. En su lugar, indica que los subprocesos de copia han comprobado hasta ahora el % del total de archivos en el espacio de nombres de DDFS para determinar si son candidatos para la migración. Como resultado, cuando FMIG se encuentra en la fase de escaneo, es común ver lo siguiente: