Avamar: Erro médio de NDMP devido ao bloqueio de portas do firewall entre o acelerador e o VNX

Sintomas de falha de backup NDMP

Os seguintes sintomas são observados quando um backup NDMP do Avamar identifica um erro médio:

• O trabalho de backup é abortado com uma mensagem de "Erro médio".
• A operação de gravação falha no volume de arquivamento.
• O fluxo de dados do NDMP é interrompido e relatado NDMP_DATA_HALT_INTERNAL_ERROR .
• O Data Mover indica "Dados interrompidos" e aguarda a conclusão do thread de transferência.
• Transferência de dados para avtar é interrompido sem sucesso.
• A coluna avtar Saídas do processo com o código 163 (cancelado externamente).
• O backup do volume de destino relata erros e é marcado como abortado.
• O resumo final mostra um código de saída diferente de zero (como 157).

Excertos de registro de exemplo que ilustram esses sintomas:

2016-08-02 11:34:51 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] NDMP: SnapSure file system creation succeeds
2016-08-02 11:43:54 avndmp Error <0000>: [snapup-/root_vdm_1/Corp] NDMP: Medium error
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] NDMP: Write failed on archive volume 1
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] NDMP: server_archive: emctar vol 1, 110 files, 0 bytes read, 1179648 bytes written
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] NDMP Data Halted, reason : NDMP_DATA_HALT_INTERNAL_ERROR
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Data mover reports Data Halted.  Waiting for transfer thread to finish feeding stream to avtar...
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] Data halted unsuccessfully, stopping data transfer to avtar.
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Cancelling avtar
2016-08-02 11:43:58 avndmp Info <6688>: [ctl_spawn] Process 23228 (/usr/local/avamar/bin/avtar) finished (code 163: externally cancelled)
2016-08-02 11:43:58 avndmp Warning <6690>: [ctl_spawn] CTL workorder "MOD-1470162815289#1" non-zero exit status 'code 163: externally cancelled'
2016-08-02 11:43:59 avndmp Info <0000>: [ndmp2avtar-/root_vdm_1/Corp/] NDMP stream bytes read = 2779, bytes written = 2779
2016-08-02 11:44:10 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Waiting for data transfer thread to exit
2016-08-02 11:44:10 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Waiting for volume /root_vdm_1/Corp snapshot to be removed.  Will stop waiting after 300 seconds.
2016-08-02 11:44:15 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Snapshot for volume /root_vdm_1/Corp was removed after 5 seconds.
2016-08-02 11:44:15 avndmp Error <0000>: [snapup-/root_vdm_1/Corp] Backup for target /root_vdm_1/Corp had errors.
2016-08-02 11:44:15 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Backup of '/root_vdm_1/Corp' aborted. Error in NDMP session.
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_assist] Thread exited with errors: /root_vdm_1/Corp
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_assist] Active threads:
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_ctl_sup] Threads successfully completed 0, canceled/aborted 0, failed 1
2016-08-02 11:44:15 avndmp Info <7271>: [avndmp_ctl_sup] Final summary generated subwork 1, cancelled/aborted 0, snapview 0, exitcode 157

Bloqueio de comunicação de rede entre o Avamar NDMP Accelerator e o VNX

O backup NDMP falha porque o firewall restringe o tráfego entre o nó acelerador NDMP do Avamar e o sistema de armazenamento VNX. Somente a porta TCP 10000 foi aberta, enquanto o NDMP Accelerator requer um intervalo de portas adicionais para transferência de dados. Essa restrição faz com que a sessão do NDMP identifique um "erro médio" e uma condição interna de interrupção de dados.

Evidência dos logs do sistema

2016-08-02 14:12:31: 13156679683: network error (../NdmpdMover.cxx: 1226)
2016-08-02 14:12:31: 13156679680: Session 033 (thread nasw00) NdmpdSession::ndmpdApiWrite fails in local or remote wirte msg, moverAddressType=1, mp=0x01005ed840
2016-08-02 14:12:31: 13156679680: Thread bkup058 Medium error

• A entrada de registro mostra um erro de rede originado de NdmpdMover.cxx , indicando uma falha no Data Mover NDMP.
• O subseqüente "NdmpdApiWrite fails" confirma que a sessão do NDMP não pôde gravar dados no endpoint remoto.
• O "Medium error" final se alinha à anulação de backup NDMP relatada nos logs do Avamar.

Detalhes da causa raiz

• Regras de firewall insuficientes: Apenas a porta 10000 era permitida, enquanto o NDMP Accelerator requer um intervalo contíguo de portas (normalmente 10000-10099) para fluxos de dados.
• As portas de dados bloqueadas impedem que o movimentador do NDMP estabeleça uma conexão confiável, gerando erros internos de NDMP, como NDMP_DATA_HALT_INTERNAL_ERROR.
• A falta das portas necessárias aciona o processo NDMP do Avamar para cancelar o backup, resultando no código de saída 163 ("cancelado externamente"). 

Abra as portas de firewall necessárias para o Avamar NDMP Accelerator

Procedimento passo a passo

• Identifique o endereço IP do nó acelerador NDMP do Avamar e do sistema de armazenamento VNX.
• Faça log-in no firewall que controla o tráfego entre esses dois dispositivos.
• Confirme se a porta TCP 10000 já é permitida. Caso contrário, crie uma regra para permitir o tráfego de entrada e saída nessa porta.
• Abra um intervalo contíguo de pelo menos 100 portas para tráfego de dados NDMP (por exemplo, 10000‑10100). Aplique a regra em ambas as direções entre o nó acelerador NDMP do Avamar e o sistema VNX.
• Salve e aplique a configuração do firewall.

Validar a configuração da porta no sistema VNX

Exiba as configurações atuais da porta NDMP:

server_param server_2 -f NDMP -l

Se o resultado não mostrar o intervalo recém-adicionado, adicione-o com o seguinte comando (substitua e pelo intervalo escolhido):

Adicionar intervalo de portas 

Adicione um novo intervalo de portas NDMP:

server_param server_2 -f NDMP -l "-"

Execute um backup de teste.

Inicie um backup NDMP para um volume de teste:

avtar -c -s  -d

Depois que o backup for concluído, analise os logs NDMP do Avamar em busca de quaisquer mensagens de erro.

Analise os logs do NDMP

Visualize as entradas recentes do registro do NDMP:

grep -i "NDMP" /var/log/avndmp.log | tail -20

O log deve mostrar mensagens de conclusão bem-sucedidas sem entradas de "Erro médio" ou "Dados interrompidos".