NetWorker: Obnovení selže a zobrazí se chyba "NDMP Service Error: Nelze identifikovat formát"

Příznaky souvisejí se dvěma hlavními problémy:

1. Správce zálohování nevěnuje dostatečnou pozornost konzistentně se opakujícím chybám I/O v hlavičce NMDP. Toto varování NetWorker s sebou nese chybu VNX a je třeba s ním zacházet vážně
2. Tyto dva produkty (NetWorker a VNX) považují poškození hlavičky NMDP za triviální chybu. Ve zvláštním případě se zálohování restartuje a poškození dosáhne bodu, který nelze automaticky vyřešit při pokusu o načtení dat

Požadované soubory pro obnovení zahrnují více záloh (úplné + rozdílové + přírůstkové) a více svazků.

Obnovení sady uložení NDMP a obnovení po souboru (lze procházet) selžou s úzce souvisejícími chybami

Protokol selhání procházení obnovení:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

K selhání obnovení sady uložení dochází pouze při použití úplné zálohy. Zálohy jiné úrovně lze obnovit pomocí obnovení sady uložení.

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

Nejdůležitějším příznakem je, že skener není schopen projít požadovanými záložními svazky, zastaví se předčasně před načtením jakýchkoli dat!

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

Použití souboru příznaku ladění NW: /nsr/debu/ndmp_auto_pos nepomohlo s úplnou zálohou saveset nebo procházelným obnovením.

Vadný formát svazku NDMP způsobený poškozením záhlaví NDMP, které někdy generuje chybná čísla souborů (například automatické restartování zálohování):  

Kontrola protokolů NW ukazuje, že při zápisu hlavičky NDMP je každá záloha spojena s chybou I/O. Jedná se o konzistentní problém, ke kterému dochází u každé zálohy, jedná se o ukazatel na konzistentní poškození.

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

Kontrola protokolů NAS ukazuje, že velikost vyrovnávací paměti zařízení NDMP je nastavena na hodnotu, která je menší než velikost bloku zařízení nakonfigurovaná v NW. Výchozí konfigurace NetWorker nastaví velikost bloku zařízení pro zařízení LTO-5 na 256 kB, ale velikost vyrovnávací paměti zařízení NDMP (NDMP.bufsz) je 128 kB. Tato část se týká pouze hlavičky NDMP, protože velikost datového bloku je na NAS konfigurována konfiguračními parametry PAX (výchozí 60k).

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

V protokolu VNX se v době zálohování zobrazí související zpráva:

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

To není považováno za problém se zálohováním, protože datový tok nebyl spuštěn, ale způsobuje poškození hlavičky NMDP (viz: NDMP: 3: Session 384 (thread ndmp384) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072)Set NDMP.bufsz >= 262144 and reboot), která tento problém řeší nastavením velikosti vyrovnávací paměti zařízení NDMP na 256k. Tato oprava však nevyřeší problém záloh, které již byly zapsány.

Výše uvedené poškození záhlaví NMDP může existovat, aniž by způsobilo problém s obnovením, ale v případě restartování zálohy je číslo souboru zaregistrované v databázi médií NW nesprávné. Tím se zruší automatické umístění pásky, a proto NAS reaguje, že stávající data v této pozici nelze rozpoznat jako platný datový tok NDMP (chyba služby NDMP: Nelze identifikovat formát)

Zde tedy existují dva typy poškození:

1. Chyby IO hlavičky NDMP způsobené nekonzistentním nastavením velikosti bloku mezi NetWorker a VNX. Tento typ poškození lze obejít pomocí funkce automatického umístění a může existovat roky, aniž by si toho někdo všiml. Pokud jsou u každé sady uložena správná čísla souborů.
2. Při restartování zálohy se postupně zapíše několik hlaviček a zápatí NDMP a NW server zmešká správné číslo souboru, kde začíná další zálohování, což ruší automatické polohování použití zakázaného ladění automatického určování polohy NDMP (/nsr/debug/ndmp_auto_pos) je v tomto případě k ničemu, protože rozhraní pro správu pásky (MTIO) přestane číst, jakmile narazí na dvojitou značku souboru (způsobenou poškozením hlavičky NDMP C1)