NetWorker: Gendannelse mislykkes med "NDMP-servicefejl: Kan ikke identificere format"

Symptomerne er relateret til to hovedproblemer:

1. Backupadministratoren er ikke særlig opmærksom på konsekvent tilbagevendende NMDP-header-I/O-fejl, denne NetWorker-advarsel indeholder en VNX-fejl og bør behandles alvorligt
2. De to produkter (NetWorker og VNX) betragter NMDP-headerbeskadigelsen som en triviel fejl. Det specielle tilfælde af sikkerhedskopiering genstarter, korruptionen når et punkt, der ikke automatisk kan løses, når du prøver at læse dataene

De nødvendige filer til gendannelse spænder over flere sikkerhedskopier (fuld + differential + trinvis) og spænder over flere diskenheder.

NDMP saveset-gendannelse og fil for fil (browsable)-gendannelse mislykkes med nært relaterede fejl

Logfil for genoprettelsesfejl, der kan gennemses:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

Saveset-gendannelsesfejlen sker kun med Fuld sikkerhedskopiering. Andre sikkerhedskopieringer kan gendannes ved hjælp af saveset-gendannelse.

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

Det vigtigste symptom er, at scanneren ikke er i stand til at gennemgå de nødvendige backupvolumener, den stopper for tidligt, før du læser data!

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

Brugen af NW-flagflagfilen: /nsr/debu/ndmp_auto_pos hjalp ikke med Full backup saveset eller browsable recovery.

Misdannet NDMP-diskenhedsformat forårsaget af NDMP-headerkorruption, der genererer fejlagtige Filnumre nogle gange (som automatisk genstart af sikkerhedskopier):  

Inspektionen af NW-logfiler viser, at hver sikkerhedskopi er kombineret med en I/O-fejl, når NDMP-headeren skrives. Dette er et konsekvent problem, der opstår med hver sikkerhedskopi, dette er et fingerpeg om en konsekvent korruption.

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

Inspektionen af NAS-logfilerne viser, at bufferstørrelsen på NDMP-enheder er indstillet til en værdi, der er mindre end enhedsblokstørrelsen konfigureret i NW. Standard NetWorker-konfigurationen indstiller enhedsblokstørrelsen for LTO-5-enheder til 256 K, men NDMP-enhedens bufferstørrelse (NDMP.bufsz) er 128 K. Denne del er kun relateret til NDMP-headeren, da datablokstørrelsen konfigureres på NAS'en af PAX-konfigurationsparametrene (standard 60k).

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

VNX-loggen viser en relateret meddelelse under sikkerhedskopieringen:

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

Dette betragtes ikke som et sikkerhedskopieringsproblem, fordi datastrømmen ikke er startet, men det forårsager beskadigelse af NMDP-headeren (se: NDMP: 3: Session 384 (tråd ndmp384) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072)Set NDMP.bufsz >= 262144 og genstart), hvilket løser dette problem ved at indstille NDMP-enhedernes bufferstørrelse til 256k. Denne rettelse løser dog ikke problemet med de sikkerhedskopier, der allerede er skrevet.

Ovenstående NMDP-headerkorruption kan eksistere uden at forårsage gendannelsesproblemet, men i tilfælde af en genstart af backup er det registrerede filnummer forkert i NW-mediedatabasen. Hvilket annullerer båndets automatiske positionering, og dermed svarer NAS'en, at de eksisterende data på den position ikke kan genkendes som gyldig NDMP-datastrøm (NDMP-servicefejl: Kan ikke identificere format)

Så her er der to typer korruption:

1. NDMP-header IO-fejl forårsaget af den inkonsekvente blokstørrelsesindstilling mellem NetWorker og VNX, denne type korruption omgås af funktionen Automatisk positionering, og den kan eksistere i årevis, uden at nogen bemærker det. Så længe de rigtige filnumre registreres med hvert savesets.
2. Når en sikkerhedskopi genstartes, skrives flere NDMP-sidehoveder og -sidefødder sekventielt, og NW-serveren vil ikke nå det rigtige filnummer, hvor den næste sikkerhedskopiering starter, hvilket annullerer automatisk positionering af brugen af NDMP-deaktiveret fejlfinding af automatisk positionering (/nsr/debug/ndmp_auto_pos) er ubrugelig i dette tilfælde, fordi MTIO (Tape Management Interface) holder op med at læse, når den støder på et dobbelt filmærke (forårsaget af C1, NDMP-headerkorruptionen)