NetWorker: Відновлення не вдається через "NDMP Service Error: Не можу визначити формат»

Симптоми пов'язані з двома основними проблемами:

1. Адміністратор резервного копіювання не приділяє належної уваги постійним помилкам вводу/виводу заголовків NMDP, це попередження NetWorker містить помилку VNX і має ставитися до нього серйозно
2. Обидва продукти (NetWorker і VNX) вважають пошкодження заголовка NMDP незначною помилкою. Особливий випадок, коли резервне копіювання перезапускається, пошкодження досягає точки, яку неможливо автоматично виправити при спробі прочитати дані

Потрібні файли для відновлення охоплюють кілька резервних копій (повний + диференціальний + інкрементальний) і охоплюють кілька томів.

Відновлення NDMP saveset та File by File (browsable) не справляються з пов'язаними помилками Журнал

невдач відновлення Browsable:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

Помилка відновлення збереження відбувається лише з повною резервною копією, інші рівні резервних копій можна відновити за допомогою saveset recovery.

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

Найважливішим симптомом є те, що сканер не може переглянути необхідні резервні томи, він зупиняється передчасно, не прочитавши будь-які дані!

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

Використання файлу налагодження NW: /nsr/debu/ndmp_auto_pos не допомогло з повним резервним збереженням чи відновленням для перегляду.

Неправильний формат томів NDMP, спричинений пошкодженням заголовків NDMP, що іноді породжує помилкові номери файлів (наприклад, автоматичне перезавантаження резервного копію):  

Огляд журналів NW показує, що кожна резервна копія супроводжується помилкою введення/виведення при записі заголовка NDMP. Це постійна проблема, яка виникає при кожній резервній копії, це вказівка на послідовне пошкодження.

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

Огляд журналів NAS показує, що розмір буфера пристроїв NDMP встановлений на значення, яке менше за розмір блоку пристрою, налаштований у NW. Стандартна конфігурація NetWorker встановлює розмір блоку пристрою для пристроїв LTO-5 на 256 K, але розмір буфера пристрою NDMP (NDMP.bufsz) становить 128 K. Ця частина пов'язана лише з заголовком NDMP, оскільки розмір блоку даних налаштовується на NAS параметрами конфігурації PAX (за замовчуванням 60k).

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

Журнал VNX показує пов'язане повідомлення під час резервного копіювання:

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

Це не вважається проблемою резервного копіювання, оскільки потік даних не запущений, але це призводить до пошкодження заголовка NMDP (див. також: NDMP: 3: Сесія 384 (поток ndmp384) TAPE_WRITE, розмір(262144) > ndmpMaxBufSize (131072)Встановити NDMP.bufsz >= 262144 і перезавантажити), яка вирішує цю проблему, встановлюючи розмір буфера пристроїв NDMP на 256k. Однак це виправлення не вирішує проблему вже написаних резервних копій.

Вищезазначене пошкодження заголовка NMDP може існувати без проблеми з відновленням, але у випадках перезавантаження резервного копіювання зареєстрований номер файлу помилковий у базі даних NW медіа. Це анулює автоматичне позиціонування стрічки, і тому NAS відповідає, що існуючі дані на цій позиції не можуть бути визнані дійсними потоком даних NDMP (помилка сервісу NDMP: Не може визначити формат)

Отже, тут існує два типи корупції:

1. Помилки виводу заголовка NDMP, спричинені непослідовним розміром блоку між NetWorker і VNX, цей тип пошкодження обходить функцією Автопозиціонування, і він може існувати роками, щоб ніхто не помітив. Головне, щоб номери файлів були зареєстровані у кожному сейсеті.
2. Коли резервне копіювання перезапускається, кілька NDMP-заголовків і фундаментів записуються послідовно, і NW-сервер пропускає правильний номер файлу, де починається наступна резервна копія, що скасовує автоматичне позиціонування використання вимкненого NDMP автоматичного налагодження (/nsr/debug/ndmp_auto_pos) у цьому випадку марний, оскільки інтерфейс керування стрічкою (MTIO) припиняє читання, коли зустрічає подвійний файл (спричинений пошкодженням заголовка NDMP у C1)