NetWorker: A recuperação falha com o erro "NDMP Service Error: Não é possível identificar o formato"

Os sintomas estão relacionados a duas questões principais:

1. O administrador de backup não está prestando muita atenção aos erros de E/S de cabeçalho NMDP recorrentes de modo consistente. Essa advertência do NetWorker contém um erro do VNX e deve ser tratada com seriedade
2. Os dois produtos (NetWorker e VNX) consideram o cabeçalho NMDP corrompido como um erro trivial. No caso especial de reinicialização do backup, a corrupção atinge um ponto que não pode ser resolvido automaticamente ao tentar ler os dados

Os arquivos necessários para recuperação abrangem vários backups (completo + diferencial + incremental) e abrangem vários volumes.

A recuperação de saveset do NDMP e a recuperação de arquivo por arquivo (navegável) falham com erros

intimamente relacionados Log de falha de recuperação navegável:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

A falha de recuperação do saveset ocorre somente com o backup completo, outros backups de nível podem ser recuperados usando a recuperação de saveset.

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

O sintoma mais importante é que o scanner não consegue percorrer os volumes de backup necessários. Ele para prematuramente antes de ler qualquer dado!

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

O uso do arquivo de indicador de depuração do NW: /nsr/debu/ndmp_auto_pos não ajudou com o saveset de backup completo ou recuperação navegável.

Formato de volume NDMP malformado causado pela corrupção do cabeçalho do NDMP, gerando números de arquivo errôneos às vezes (como reinicialização de backup automatizada):  

A inspeção dos registros do NW mostra que todo backup está associado a um erro de E/S ao gravar o cabeçalho do NDMP. Esse é um problema consistente que ocorre em todos os backups. Isso é um indicador para uma corrupção consistente.

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

A inspeção dos registros NAS mostra que o tamanho do buffer dos dispositivos NDMP está definido como um valor menor que o tamanho do bloco de dispositivos configurado no NW. A configuração padrão do NetWorker define o tamanho do block de dispositivos para dispositivos LTO-5 como 256 K, mas o tamanho do buffer do dispositivo NDMP (NDMP.bufsz) é 128 K. Essa parte está relacionada apenas ao cabeçalho NDMP, pois o tamanho do bloco de dados é configurado no NAS pelos parâmetros de configuração de PAX (padrão 60k).

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

O registro do VNX mostra uma mensagem relacionada no momento do backup:

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

Isso não é considerado um problema de backup porque o fluxo de dados não foi iniciado, mas causa corrupção do cabeçalho NMDP (consulte: NDMP: 3: Sessão 384 (thread ndmp384) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072)Definir NDMP.bufsz >= 262144 e reinicializar), o que resolve esse problema definindo o tamanho do buffer de dispositivos NDMP para 256k. No entanto, essa correção não resolve o problema dos backups que já foram gravados.

A corrupção do cabeçalho do NMDP acima pode existir sem causar o problema de recuperação, mas em casos de reinicialização de backup, o número do arquivo registrado está incorreto no banco de dados de mídia do NW. Isso anula o posicionamento automático da fita e, portanto, o NAS responde que os dados existentes naquela posição não podem ser reconhecidos como fluxo de dados NDMP válido (erro de serviço NDMP: Não é possível identificar o formato)

Portanto, há dois tipos de corrupção:

1. Erros de E/S de cabeçalho do NDMP causados pela configuração inconsistente de tamanho de bloco entre o NetWorker e o VNX, esse tipo de corrupção é ignorado pelo recurso de posicionamento automático e pode existir por anos sem que ninguém perceba. Desde que os números de arquivo corretos estejam registrados em cada saveset.
2. Quando um backup é reiniciado, vários cabeçalhos e rodapés NDMP são gravados sequencialmente, e o servidor NW perderá o número de arquivo correto onde o próximo backup é iniciado, o que anula o posicionamento automático do uso da depuração de posicionamento automático desabilitada do NDMP (/nsr/debug/ndmp_auto_pos) é inútil nesse caso porque a interface de gerenciamento de fita (MTIO) interromperá a leitura quando encontrar uma marca de arquivo dupla (causada por C1, a corrupção do cabeçalho do NDMP)