NetWorker：リカバリーが失敗し、「NDMP Service Error: 形式を識別できません」

この現象は、次の 2 つの主な問題に関連しています。

1. バックアップ管理者は、一貫して繰り返されるNMDPヘッダーI/Oエラーに十分な注意を払っていません。このNetWorker警告はVNXエラーを含んでおり、真剣に受け止める必要があります
2. 2つの製品(NetWorkerとVNX)は、NMDPヘッダーの破損を些細なエラーと見なします。バックアップの再起動という特殊なケースでは、データを読み取ろうとしても自動的に解決できないポイントに達すると破損が発生します

リカバリーに必要なファイルは、複数のバックアップ(フル+差分+増分)と複数のボリュームにまたがっています

NDMPセーブセット リカバリーおよびファイル バイ ファイル(ブラウズ可能)リカバリーが、密接に関連するエラーで失敗します

ブラウズ可能リカバリー失敗ログ:

42744:nsrndmp_recover: Tape server paused: reached the end of file
42897:nsrndmp_recover: Opened the tape device : c208t0l0
42870:nsrndmp_recover: Continuing recover from the next volume
42619:nsrndmp_recover: NDMP Service Error: Cannot identify format.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
42617:nsrndmp_recover: NDMP Service Log: server_archive: emctar vol 1, 0 files, 61440 bytes read, 0 bytes written
42738:nsrndmp_recover: Data server halted: Error during the restore.
42856:nsrndmp_recover: NDMP data server has an internal error.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
16279:winworkr: NDMP retrieval: child failed with status of 1
42897:nsrndmp_recover: Opened the tape device : c208t0l5
Mover listen address is NULL(NDMP_ADDR_LOCAL)

セーブセット リカバリーの失敗はフル バックアップでのみ発生します。他のレベルのバックアップは、セーブセット リカバリーを使用してリカバリーできます。

root@NW-server# nsrndmp_recover -s NW-server -c NAS-host -S 1011119015 -v off -m "NAS-host::/root_vdm_1/users/recover_emc" "/root_vdm_1/users/VDI_Users/v009/project/Plan04.2012"
42879:nsrndmp_recover: Peforming recover with no file mark dependency..
05/31/16 17:25:50.504040 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
42787:nsrndmp_recover: Performing recover from NDMP type of device
05/31/16 17:26:01.269862 NDMP Service Debug: The process id for NDMP service is 0xc4bd90b0
May 31 17:26:02 NW-server root: [ID 702911 local0.alert] NetWorker media: (waiting) waiting for LTO Ultrium-5 tape VN0116L5 on NAS-host
95555:nsrmmd: ndmp tape mtio failed, I/O error
42850:nsrndmp_recover: Failed to load volume 1111782299 fnum 3 <<<<<< cannot load File Number 3
42855:nsrndmp_recover: Failed to load the tape.
42871:nsrndmp_recover: Error during File NDMP Extraction.
42840:nsrndmp_recover: NDMP recover failed.
42880:nsrndmp_recover: Error during NDMP recover
root@NW-server #

最も重要な症状は、スキャナーが必要なバックアップ ボリュームを通過できず、データを読み取る前に途中で停止することです。

root@NW-server # scanner -vvv -p "rd=NAS-host:c208t0l5 (NDMP)"
8909:scanner: using 'rd=NAS-host:c208t0l5 (NDMP)' as the device name
05/31/16 17:29:08.919423 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8968:scanner: Reading the label...
8969:scanner: Reading the label done
8936:scanner: scanning LTO Ultrium-5 tape VN0116L5 on rd=NAS-host:c208t0l5 (NDMP)
96367:scanner: volume id 1111782299 record size 262144 bytes
created 5/24/16 21:00:35 expires 5/24/18 21:00:35
8973:scanner: setting position from fn 0, rn 0 to fn 2, rn 0
05/31/16 17:29:09.073276 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
05/31/16 17:29:09.201476 NDMP Service Debug: The process id for NDMP service is 0xda018d60
9040:scanner: Opened c208t0l5 for read
8761:scanner: done with LTO Ultrium-5 tape VN0116L5 <<<<<<<< No Errors , no mention of any file after File number 2 !!

NWデバッグ フラグ ファイルの使用方法は次のとおりです。 /nsr/debu/ndmp_auto_pos フル バックアップ セーブセットまたはブラウズ可能なリカバリーに役立ちませんでした。

NDMPヘッダーの破損が原因で不正な形式のNDMPボリューム形式が発生すると、誤ったファイル番号が生成されることがあります(自動バックアップの再開など)。  

NWログを調べると、NDMPヘッダーの書き込み時に、すべてのバックアップがI/Oエラーと結びついていることがわかります。これは、すべてのバックアップで発生する一貫した問題であり、一貫した破損を示すものです。

70896 05/01/16 12:18:05 0 0 2 1 23177 0 NW-server nsrd NSR info NAS-host:/root_vdm_1/userdata saving to pool 'NDMPPool' (VN0050L5)
42597 05/01/16 12:18:05 2 0 0 1 23990 0 NW-server nsrmmd NSR warning ndmp header: I/O error   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
71193 05/01/16 12:18:05 0 0 0 1 23177 0 NW-server nsrd NSR info NDMP Save Notice: NAS-host:/root_vdm_1/users NDMP save running on 'NW-server'

NASログを調べると、NDMPデバイスのバッファー サイズが、NWで構成されているデバイス ブロック長よりも小さい値に設定されていることが示されています。デフォルトのNetWorker構成では、LTO-5デバイスのデバイス ブロック長は256 Kに設定されますが、NDMPデバイス バッファー サイズ(NDMP.bufsz)は128 Kです。データ ブロック長はPAX構成パラメーター(デフォルトは60k)によってNAS上で設定されるため、この部分はNDMPヘッダーにのみ関連します。

2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:37: NDMP: 3: Thread ndmp533 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:49: NDMP: 3: Thread ndmp535 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 DartTapeInterface: tape read error: tape read block size (262144 bytes) > 131072 bytes (NDMP.bufsz (128 KB) x 1024)
2016-05-25 17:30:50: NDMP: 3: Thread ndmp536 set parameter NDMP.bufsz (in KB) to 256 or larger to resolve this error

VNXログには、バックアップ時に次の関連メッセージが表示されます。

1466097048: NDMP: 3: Session 236 (thread ndmp236) TAPE_WRITE, size(262144) > ndmpMaxBufSize (131072) Set NDMP.bufsz >= 262144 and reboot

データ ストリームが開始されていないため、これはバックアップの問題とは見なされませんが、NMDPヘッダーの破損の原因となります(参照: NDMP: 3：Session 384 (スレッド ndmp384) TAPE_WRITE、size(262144) > ndmpMaxBufSize (131072)Set NDMP.bufsz >= 262144 and reboot) は、NDMP デバイスのバッファサイズを 256k に設定することでこの問題を解決します。ただし、この修正では、すでに書き込まれたバックアップの問題は解決されません。

上記のNMDPヘッダーの破損は、リカバリの問題を引き起こさずに存在する可能性がありますが、バックアップの再開の場合、NWメディアデータベースに登録されているファイル番号が間違っています。これにより、テープの自動配置が無効になり、NASは、その位置にある既存のデータを有効なNDMPデータ ストリームとして認識できないと応答します(NDMPサービス エラー: 形式を識別できません)

ここでは、次の2種類の破損があります。

1. NDMPヘッダーIOエラーは、NetWorkerとVNX間の一貫性のないブロック長設定が原因で発生します。このタイプの破損は、自動配置機能によって回避され、誰も気付かないうちに何年も存在する可能性があります。各セーブセットに正しいファイル番号が登録されている限り。
2. バックアップが再開されると、複数のNDMPヘッダーとフッターがシーケンシャルに書き込まれ、NWサーバーは次のバックアップを開始する正しいファイル番号を見逃します。これにより、NDMPが無効になっている自動ポジショニング デバッグ(/nsr/debug/ndmp_auto_posこの場合、MTIO(テープ管理インターフェイス)は、二重ファイル マーク(C1 NDMPヘッダーの破損が原因)が発生すると読み取りを停止するため、役に立ちません。