Data Domain: Como monitorar a movimentação de dados usando um Data Domain Restorer

Determinados modelos de DDR (Data Domain Restorer) podem ser configurados com funcionalidades conhecidas como Extended Retention (ER) ou Long Term Retention (LTR). Essa funcionalidade permite que um segundo nível de armazenamento seja adicionado ao sistema para o qual os arquivos que precisam de retenção em longo prazo podem ser migrados. O tipo de armazenamento usado para esse segundo nível depende da funcionalidade específica que está sendo usada, ou seja:

• Retenção estendida: O segundo nível de armazenamento é conhecido como nível de arquivamento e é formado por compartimentos de disco fisicamente conectados ao DDR
• Retenção em longo prazo: O segundo nível de armazenamento é conhecido como nível da nuvem e é formado pelo armazenamento em objeto provisionado de um provedor de serviços em nuvem compatível (ou seja, é externo ao DDR)

Mecânica da movimentação de dados:

Em ambos os casos, para migrar fisicamente o arquivo do nível ativo para o nível de arquivamento/nuvem, é usado um processo conhecido como movimentação de dados (FMIG). Quando iniciado, o FMIG passa por 5 fases de operação, conforme descrito abaixo:

Fase 1 - Propagação em massa:

• Isso é ignorado em todos os sistemas habilitados para LTR
• Isso é ignorado em sistemas ER que executam o DDOS 5.5.1.x (e posterior)
• Em sistemas ER que executam o DDOS 5.5.0.x (e anterior), isso pode executar uma cópia em nível de bloco dos dados selecionados do nível ativo para o nível de arquivamento. A mecânica desta cópia está além do escopo deste documento, portanto, não é discutida aqui.

Fase 2 - Digitalização:

• O Data Domain File System (DDFS) procura arquivos no nível ativo que sejam candidatos à migração para o nível de arquivamento/nuvem (arquivos que não foram modificados há mais de mtrees pai/política de movimentação de dados/limite de idade)
• Vários threads de cópia são iniciados (a contagem específica depende do modelo/configuração do sistema) com cada um dos threads lendo um arquivo candidato no nível ativo e copiando dados exclusivos para o nível de arquivamento/nuvem (ou seja, dados que ainda não existem no nível de destino)
• Vários threads de verificação são iniciados (novamente, a contagem específica de threads depende do modelo/configuração do sistema) que, depois que um arquivo candidato tiver concluído a cópia, leia novamente a cópia do arquivo do nível de destino para garantir que ela seja válida/que todos os dados estejam acessíveis
• Depois que um arquivo candidato for copiado/verificado, ele será adicionado a uma lista de arquivos com 'instalação' pendente no nível de destino (uma atualização de metadados em relação ao arquivo para indicar que ele agora existe no nível de destino). Periodicamente, um thread de instalação é ativado para 'instalar' todos os arquivos pendentes

Fase 3 - Verificação:

• Durante essa fase, o DDFS aguarda a verificação de todos os arquivos copiados no nível de destino para concluir

Fase 4 - Embalagem:

• Isso é ignorado em todos os sistemas habilitados para LTR
• Em sistemas ER, o FMIG tenta remover quaisquer segmentos duplicados de dados que foram copiados para o nível de arquivamento durante a fase de digitalização. Observe que segmentos duplicados de dados podem ser copiados para acelerar o processo de cópia. No entanto, devido ao design do nível de arquivamento (taxa de compactação geral máxima com desempenho de leitura degradado), esses dados duplicados precisam ser removidos

Fase 5 - Instalação:

• Durante essa fase, o DDFS aguarda a instalação de todos os arquivos copiados/verificados ser concluída

Acompanhamento dos progressos do FMIG:

Principalmente o shell de linha de comando do Data Domain (DDSH) é usado para monitorar o progresso do FMIG em sistemas ER e LTR. Observe que:

• Nos sistemas ER devem ser utilizados os comandos "archive data-movement [status|watch]", enquanto nos sistemas LTR devem ser utilizados os comandos "data-movement [status|watch]", ou seja:

• Nos sistemas ER, o progresso de todas as 5 fases é relatado (ou seja, a saída mostrará a "fase x de 5"), enquanto nos sistemas LTR, dado que as fases 1 e 4 são sempre ignoradas, o progresso apenas das fases 2/3/5 é mostrado (ou seja, a saída mostrará a "fase x de 3")
• O comando 'status' mostra um instantâneo único do progresso do FMIG:

• O comando "watch" mostra a saída contínua à medida que o FMIG progride pelas fases:

Um conjunto de chaves de registro também é usado para rastrear o progresso do FMIG - elas são capturadas em autosupports gerados pelo sistema e também podem ser exibidas via DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

Em ambos os casos, as chaves de registro exibidas são muito semelhantes e, como resultado, apenas aquelas de um sistema habilitado para LTR são mostradas aqui:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== NÚMERO TOTAL DE ARQUIVOS NO ESPAÇO DE NOME DO DDFS VERIFICADO PARA VER SE ELES CORRESPONDEM AOS CRITÉRIOS PARA SER CANDIDATO
state.fmig2_end_time = 1470059610 <=== HORA DE TÉRMINO DA ÚLTIMA EXECUÇÃO DO FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== BYTES PRÉ-COMP (LÓGICOS) COPIADOS PARA O NÍVEL DE DESTINO ATÉ AGORA
state.fmig2_fcopy_post_lc_size = 10944662855 <=== BYTES PÓS-COMP (FÍSICOS) COPIADOS PARA O NÍVEL DE DESTINO, PORTANTO
...
state.fmig2_files_copied = 8 <=== ARQUIVOS QUE COMPLETARAM A CÓPIA
state.fmig2_files_failed_in_copy = 0 <=== ARQUIVOS QUE FALHARAM AO COPIAR
state.fmig2_files_failed_in_install = 0 <=== ARQUIVOS QUE COPIARAM/VERIFICARAM, MAS FALHARAM AO INSTALAR
state.fmig2_files_failed_in_verify = 0 <=== ARQUIVOS QUE COPIARAM, MAS FALHARAM EM VERIFICAR
state.fmig2_files_installed = 4 <=== ARQUIVOS QUE CONCLUÍRAM A CÓPIA/VERIFICAÇÃO/INSTALAÇÃO
state.fmig2_files_verified = 4 <=== ARQUIVOS QUE CONCLUÍRAM A CÓPIA/VERIFICAÇÃO
...
state.fmig2_is_running = 1 <=== FMIG ESTÁ EM EXECUÇÃO
state.fmig2_is_waiting = 0 <=== FMIG ESTÁ AGUARDANDO (POR EXEMPLO, PARA QUE A LIMPEZA SEJA CONCLUÍDA)
state.fmig2_progress_current_phase = 2 <=== FASE ATUAL (NESTE CASO, CÓPIA/DIGITALIZAÇÃO)
state.fmig2_progress_percent_complete = 92 <=== % CONCLUSÃO DA FASE ATUAL COM BASE EM ARQUIVOS VERIFICADOS VS TOTAL DE ARQUIVOS NO ESPAÇO
DE NOME state.fmig2_progress_phase_time = 1245 <=== SEGUNDOS GASTOS NA FASE ATUAL ATÉ AGORA
state.fmig2_progress_total_time = 1255 <=== SEGUNDOS FMIG TEM SIDO EXECUTADO ATÉ AGORA
state.fmig2_start_time = 1470061560 <=== HORA DE INÍCIO DA EXECUÇÃO ATUAL DO FMIG
...
state.fmig2_total_inodes = 14 <=== TOTAL DE ARQUIVOS PARA CHECK-IN NO NAMESPACE...


Por fim, várias mensagens são registradas nos arquivos de log do DDFS (/ddr/var/log/debug/ddfs.info) para indicar o andamento do FMIG. Novamente, a saída é muito semelhante para as funcionalidades de ER e LTR, de modo que apenas aqueles de um sistema habilitado para LTR são mostrados aqui:

08/01 15:26:00.945 (tid 0x7ff4c683e090): NOTICE: MENSAGEM-FMIG-00004: Início do movimento <de dados === FMIG STARTS
...
08/01 15:26:00.977 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (semeadura) iniciada <=== INÍCIO DA PROPAGAÇÃO EM MASSA (NÃO FUNCIONA NO LTR)
08/01 15:26:10.978 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 1 (semeadura) encerrada
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (digitalização) iniciada <=== A FASE DE DIGITALIZAÇÃO É INICIADA
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: arquivo candidato /data/col1/jftest/file2, arquivo src snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== ARQUIVO CANDIDATO COLETADO POR THREAD
DE CÓPIA08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: arquivo candidato /data/col1/jftest/file3, arquivo src snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== O ARQUIVO CANDIDATO INICIA A CÓPIA
08/01 15:26:22.273 (TID 0x7ff7d252a9e0): Fmig: arquivo candidato /data/col1/jftest/file4, arquivo src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== O ARQUIVO CANDIDATO INICIA A CÓPIA
08/01 15:26:22.274 (TID 0x7ff7d090a630): Fmig: arquivo candidato /data/col1/jftest/file5, snap_fh de arquivo src 10:0:15:0:e7b64416:57989b6e:0 <=== O ARQUIVO CANDIDATO INICIA A CÓPIA
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (nuvem): fase 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, vbytes em andamento 1936986672< === ESTATÍSTICAS DESPEJADAS PERIODICAMENTE
 
08/01 15:45:59.040 (0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== ARQUIVO COPIADO CONCLUI VERIFICAÇÃO
08/01 15:45:59.140 (TID 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== ARQUIVO COPIADO CONCLUI VERIFICAÇÃO
08/01 15:45:59.225 (TID 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== ARQUIVO COPIADO CONCLUI VERIFICAÇÃO
08/01 15:45:59.228 (TID 0x7ff4e591bcd0): Fmig: fmig verificado file4, arquivo src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== O ARQUIVO COPIADO CONCLUI A VERIFICAÇÃO
 
08/01 15:47:15.113 (TID 0x7ff45ad95d30): Fmig: fmig_dump_stats (nuvem): fase 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, vbytes em andamento 536870911 <=== MAIS ESTATÍSTICAS PERIÓDICAS
 
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 2 (digitalização) terminou <=== FASE DE DIGITALIZAÇÃO CONCLUÍDA (TODOS OS ARQUIVOS CANDIDATOS COPIADOS)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: início da fase 3 (verificar) ===< INÍCIO DA FASE
 
DE VERIFICAÇÃO08/01 15:47:57.855 (TID 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== RESTANTES ARQUIVOS VERIFICADOS
08/01 15:47:57.875 (TID 0x7ff4cbeabcf0): INFO: Fmig: fase 4 (embalagem) encerrada <=== FASE DE EMPACOTAMENTO (NÃO RODA EM LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: início da fase 5 (instalação)=== A FASE DE INSTALAÇÃO COMEÇA 08/01 15:48:08.890 (TID 0x7ff4cbeabcf0):<
INFO: Fmig: a fase 5 [instalação] terminou<=== A FASE DE INSTALAÇÃO TERMINA
 
08/01 15:48:35.337 (TID 0x7ff4cbeabcf0): NOTICE: MENSAGEM-FMIG-00001: Movimentação de dados concluída (nuvem) em cps na nuvem: 0:22:35 decorridos, 9 de arquivos migrados 11274289152 do total de bytes migrados <=== FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Fase[1]: Fase de 10 segundos[2]: Fase de 1291 segundos[3]: Fase de 16 segundos[4]: Fase de 0 segundos[5]: 11 seg <=== TEMPOS DE FASE MOSTRADOS

Observe que:

• As figuras que indicam a quantidade de dados pós-compactação (físicos) copiados para o nível de destino só são atualizadas sempre que um arquivo termina de copiar. Como resultado, se um único arquivo grande estiver sendo migrado, a compactação mostrará 0 bytes até que a cópia (e a fase de digitalização) seja concluída
• As figuras que indicam a quantidade de dados pré-compactação (lógicos) copiados para o nível de destino são atualizadas periodicamente e não apenas após a conclusão da cópia do arquivo
• A % concluída mostrada na fase de digitalização não indica a porcentagem total de dados candidatos copiados até o momento. Em vez disso, indica que a porcentagem do total de arquivos no espaço de nome do DDFS foi verificada até agora por threads de cópia para determinar se eles são candidatos à migração. Como resultado, quando o FMIG está na fase de digitalização, é comum ver: