NetWorker: Palautus epäonnistuu ja näyttöön tulee ilmoitus NDMP Service Error: Muotoa ei tunnisteta"

Oireet liittyvät kahteen pääasiaan:

1. Varmuuskopioinnin järjestelmänvalvoja ei kiinnitä erityistä huomiota jatkuvasti toistuviin NMDP-otsikon I/O-virheisiin. Tämä NetWorker-varoitus sisältää VNX-virheen, ja siihen on suhtauduttava vakavasti
2. Nämä kaksi tuotetta (NetWorker ja VNX) pitävät NMDP-otsikon vioittumista triviaalina virheenä. Varmuuskopioinnin erityistapaus käynnistyy uudelleen, vioittuminen saavuttaa pisteen, jota ei voida automaattisesti ratkaista, kun tietoja yritetään lukea

Palautukseen tarvittavat tiedostot kattavat useita varmuuskopioita (täysi + differentiaali + lisäävä) ja kattavat useita taltioita.

NDMP:n saveset-palautus ja tiedostokohtainen (selattavissa) palautus epäonnistuvat ja liittyvät läheisesti toisiinsa liittyviin virheisiin

Selattavissa oleva palautuksen virheloki:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

Saveset-palautusvirhe ilmenee vain täyden varmuuskopioinnin kanssa. Muiden tasojen varmuuskopiot voidaan palauttaa saveset-palautuksella.

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

Tärkein oire on, että skanneri ei pysty käymään läpi vaadittuja varmuuskopioita, se pysähtyy ennenaikaisesti ennen tietojen lukemista!

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

NW-virheenkorjauslipputiedoston käyttäminen: /nsr/debu/ndmp_auto_pos ei auttanut Full backup saveset- tai selattavassa palautuksessa.

Väärin muotoiltu NDMP-levyn muoto, joka johtuu NDMP-otsikon vioittumisesta, joka aiheuttaa joskus virheellisiä tiedostonumeroita (kuten automaattinen varmuuskopioinnin uudelleenkäynnistys):  

NW-lokien tarkastus osoittaa, että jokaiseen varmuuskopioon liittyy I/O-virhe NDMP-otsikkoa kirjoitettaessa. Tämä on jatkuva ongelma, joka ilmenee jokaisen varmuuskopion yhteydessä, tämä on osoitus jatkuvasta vioittumisesta.

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

NAS-lokien tarkastelu osoittaa, että NDMP-laitteiden puskurikoko on pienempi kuin NW:ssä määritetty laitelohkokoko. NetWorker-oletuskokoonpano määrittää LTO-5-laitteiden laitelohkokooksi 256 K, mutta NDMP-laitepuskurin koko (NDMP.bufsz) on 128 K. Tämä osa liittyy vain NDMP-otsikkoon, koska tietolohkon koko määritetään NAS:ssa PAX-määritysparametreilla (oletus 60k).

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

VNX-lokissa näkyy varmuuskopiointihetkellä asiaan liittyvä ilmoitus:

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

Tätä ei pidetä varmuuskopiointiongelmana, koska tietovirta ei ole käynnistynyt, mutta se aiheuttaa NMDP-otsikon vioittumisen (katso: NDMP: 3: Istunto 384 (säie ndmp384) TAPE_WRITE, size(262144) ndmpMaxBufSize (131072) > Set NDMP.bufsz >= 262144 ja käynnistä uudelleen), joka ratkaisee tämän ongelman asettamalla NDMP-laitteiden puskurin kooksi 256k. Tämä korjaus ei kuitenkaan ratkaise jo kirjoitettujen varmuuskopioiden ongelmaa.

Edellä mainittu NMDP-otsikon vioittuminen voi ilmetä aiheuttamatta palautusongelmaa, mutta varmuuskopioinnin uudelleenkäynnistyksen yhteydessä NW-mediatietokannassa rekisteröity tiedostonumero on väärä. Tämä mitätöi nauhan automaattisen asemoinnin ja siten NAS vastaa, että kyseisessä paikassa olevia tietoja ei voida tunnistaa kelvolliseksi NDMP-tietovirraksi (NDMP-palveluvirhe: Muotoa ei voi tunnistaa)

Joten tässä on kahdenlaista korruptiota:

1. NDMP-otsikon IO-virheet, jotka johtuvat NetWorkerin ja VNX:n epäyhtenäisestä lohkokokoasetuksesta, tämäntyyppinen vioittuminen ohitetaan automaattisella paikannustoiminnolla, ja se voi olla olemassa vuosia kenenkään huomaamatta. Kunhan jokaiselle tallennusjoukolle rekisteröidään oikeat tiedostonumerot.
2. Kun varmuuskopiointi käynnistetään uudelleen, useita NDMP-otsikoita ja -alatunnisteita kirjoitetaan peräkkäin, ja NW-palvelimelta puuttuu oikea tiedostonumero, josta seuraava varmuuskopiointi alkaa, mikä mitätöi automaattisen paikannuksen käytöstä poistamisen NDMP:n automaattisen paikannuksen virheenkorjauksen käytön (/nsr/debug/ndmp_auto_pos) on hyödytön tässä tapauksessa, koska nauhanhallintaliittymä (MTIO) lopettaa lukemisen, kun se havaitsee kaksinkertaisen tiedostomerkin (NDMP-otsikon C1 vioittumisen vuoksi)