NetWorker: Gjenopprettingen mislykkes med "NDMP Service Error: Kan ikke identifisere format"

Symptomene er relatert til to hovedproblemer:

1. Backup administrator betaler ikke god oppmerksomhet til konsekvent gjentakende NMDP header I / O feil, dette NetWorker advarsel bærer en VNX feil og bør behandles alvorlig
2. De to produktene (NetWorker og VNX) anser NMDP-hodefeil som en triviell feil. Det spesielle tilfellet med sikkerhetskopiering starter på nytt korrupsjonen når et punkt som ikke kan løses automatisk når du prøver å lese dataene

De nødvendige filene for gjenoppretting strekker seg over flere sikkerhetskopier (full + differensial + trinnvis) og spenner over flere volumer.

NDMP saveset-gjenoppretting og gjenoppretting av fil etter fil (bla gjennom) mislykkes med nært beslektede feil

Logg over gjenopprettingsfeil ved søk:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

Saveset-gjenopprettingsfeilen skjer bare med full sikkerhetskopi, andre sikkerhetskopier kan gjenopprettes ved hjelp av saveset-gjenoppretting.

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

Det viktigste symptomet er at skanneren ikke er i stand til å gå gjennom de nødvendige sikkerhetskopivolumene, den stopper for tidlig før du leser noen data!

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

Bruken av NW-feilsøkingsflaggfilen: /nsr/debu/ndmp_auto_pos hjalp ikke med Full backup saveset eller browsable recovery.

Misformet NDMP-volumformat forårsaket av NDMP-hodekorrupsjon som genererer feil Filnumre noen ganger (som automatisert omstart av sikkerhetskopier):  

Inspeksjonen av NW-logger viser at hver sikkerhetskopi er kombinert med en I / O-feil når du skriver NDMP-hodet. Dette er et konsekvent problem som oppstår med hver sikkerhetskopi, dette er en peker til en konsekvent korrupsjon.

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

Inspeksjonen av NAS-loggene viser at bufferstørrelsen for NDMP-enheter er satt til en verdi som er mindre enn enhetsblokkstørrelsen som er konfigurert i NW. Standard NetWorker-konfigurasjon angir enhetsblokkstørrelsen for LTO-5-enheter til 256 K, men NDMP-enhetens bufferstørrelse (NDMP.bufsz) er 128 K. Denne delen er bare relatert til NDMP-overskriften, da datablokkstørrelsen er konfigurert på NAS av PAX-konfigurasjonsparametrene (standard 60k).

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

VNX-loggen viser en relatert melding ved sikkerhetskopiering:

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

Dette regnes ikke som et sikkerhetskopieringsproblem fordi datastrømmen ikke har startet, men det fører til skade i NMDP-hodet (se: NDMP: 3: Session 384 (tråd ndmp384) TAPE_WRITE, size (262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 og starte på nytt), som løser dette problemet ved å sette NDMP-enhetene bufferstørrelse til 256k. Denne korreksjonen løser imidlertid ikke problemet med sikkerhetskopiene som allerede er skrevet.

Ovennevnte NMDP-hodekorrupsjon kan eksistere uten å forårsake gjenopprettingsproblemet, men i tilfeller av en omstart av sikkerhetskopien er filnummeret som er registrert, feil i NW-mediedatabasen. Som annullerer automatisk posisjonering av båndet, og dermed svarer NAS at eksisterende data på den posisjonen ikke kan gjenkjennes som gyldig NDMP-datastrøm (NDMP Service Error: Kan ikke identifisere format)

Så her er det to typer korrupsjon:

1. NDMP header IO-feil forårsaket av innstillingen for inkonsekvent blokkstørrelse mellom NetWorker og VNX, denne typen korrupsjon omgås av funksjonen for automatisk posisjonering, og den kan eksistere i årevis uten at noen legger merke til det. Så lenge de riktige filnumrene er registrert med hvert lagringssett.
2. Når en sikkerhetskopiering startes på nytt, skrives flere NDMP-topptekster og bunntekster sekvensielt, og NW-serveren vil savne riktig filnummer der neste sikkerhetskopiering starter, noe som ugyldiggjør automatisk posisjonering av bruken av NDMP deaktivert automatisk posisjoneringsfeilsøking (/nsr/debug/ndmp_auto_pos) er ubrukelig i dette tilfellet fordi Tape Management Interface (MTIO) vil slutte å lese når den støter på en dobbel fil merke (forårsaket av C1 NDMP header korrupsjon)