Avamar：アクセラレーターとVNX間のポートをファイアウォールがブロックしていることによるNDMPメディア エラー

NDMPバックアップ失敗の症状

Avamar NDMPバックアップでメディア エラーが発生すると、次の現象が発生します。

• バックアップ ジョブが「メディア エラー」メッセージで中止されます。
• アーカイブ ボリュームでの書き込み処理が失敗します。
• NDMPデータ ストリームが停止し、レポートが生成される NDMP_DATA_HALT_INTERNAL_ERROR の詳細を確認してください。
• Data Moverは「Data Halted」を示し、転送スレッドが終了するまで待機します。
• データ転送先 avtar が失敗します。
• 「 avtar プロセスはコード163(外部キャンセル)で終了します。
• ターゲット ボリュームのバックアップでエラーが報告され、中止のマークが付けられます。
• 最終的な概要には、0 以外の終了コード (157 など) が表示されます。

これらの症状を示すログの抜粋例:

2016-08-02 11:34:51 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] NDMP: SnapSure file system creation succeeds
2016-08-02 11:43:54 avndmp Error <0000>: [snapup-/root_vdm_1/Corp] NDMP: Medium error
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] NDMP: Write failed on archive volume 1
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] NDMP: server_archive: emctar vol 1, 110 files, 0 bytes read, 1179648 bytes written
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] NDMP Data Halted, reason : NDMP_DATA_HALT_INTERNAL_ERROR
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Data mover reports Data Halted.  Waiting for transfer thread to finish feeding stream to avtar...
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] Data halted unsuccessfully, stopping data transfer to avtar.
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Cancelling avtar
2016-08-02 11:43:58 avndmp Info <6688>: [ctl_spawn] Process 23228 (/usr/local/avamar/bin/avtar) finished (code 163: externally cancelled)
2016-08-02 11:43:58 avndmp Warning <6690>: [ctl_spawn] CTL workorder "MOD-1470162815289#1" non-zero exit status 'code 163: externally cancelled'
2016-08-02 11:43:59 avndmp Info <0000>: [ndmp2avtar-/root_vdm_1/Corp/] NDMP stream bytes read = 2779, bytes written = 2779
2016-08-02 11:44:10 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Waiting for data transfer thread to exit
2016-08-02 11:44:10 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Waiting for volume /root_vdm_1/Corp snapshot to be removed.  Will stop waiting after 300 seconds.
2016-08-02 11:44:15 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Snapshot for volume /root_vdm_1/Corp was removed after 5 seconds.
2016-08-02 11:44:15 avndmp Error <0000>: [snapup-/root_vdm_1/Corp] Backup for target /root_vdm_1/Corp had errors.
2016-08-02 11:44:15 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Backup of '/root_vdm_1/Corp' aborted. Error in NDMP session.
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_assist] Thread exited with errors: /root_vdm_1/Corp
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_assist] Active threads:
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_ctl_sup] Threads successfully completed 0, canceled/aborted 0, failed 1
2016-08-02 11:44:15 avndmp Info <7271>: [avndmp_ctl_sup] Final summary generated subwork 1, cancelled/aborted 0, snapview 0, exitcode 157

Avamar NDMPアクセラレーターとVNX間のネットワーク通信の遮断

ファイアウォールがAvamar NDMPアクセラレーター ノードとVNXストレージ システム間のトラフィックを制限しているため、NDMPバックアップが失敗します。TCPポート10000のみが開かれましたが、NDMPアクセラレーターはデータ転送用にさまざまな追加ポートを必要とします。この制限により、NDMPセッションで「メディア エラー」が発生し、内部データ停止状態が発生します。

システム ログからの証拠

2016-08-02 14:12:31: 13156679683: network error (../NdmpdMover.cxx: 1226)
2016-08-02 14:12:31: 13156679680: Session 033 (thread nasw00) NdmpdSession::ndmpdApiWrite fails in local or remote wirte msg, moverAddressType=1, mp=0x01005ed840
2016-08-02 14:12:31: 13156679680: Thread bkup058 Medium error

• ログ エントリーにネットワーク エラーが表示される NdmpdMover.cxx は、NDMP Data Moverの障害を示します。
• その後の "NdmpdApiWrite fails" メッセージは、NDMPセッションがリモート エンドポイントにデータを書き込めなかったことを確認します。
• 最後の「メディア エラー」は、Avamarログに報告されたNDMPバックアップの中止と一致します。

根本原因の詳細

• ファイアウォール ルールが不十分: ポート10000のみが許可されましたが、NDMPアクセラレーターはデータ ストリーム用に連続したポート範囲(通常は10000〜10099)を必要とします。
• データ用ポートがブロックされると、NDMPムーバーは信頼性の高い接続を確立できず、次のような内部NDMPエラーが発生します。 NDMP_DATA_HALT_INTERNAL_ERROR.
• 必要なポートがないと、Avamar NDMPプロセスがバックアップをキャンセルするためにトリガーされ、終了コード163(「外部キャンセル」)になります。 

Avamar NDMPアクセラレーターに必要なファイアウォール ポートを開く

手順

• Avamar NDMPアクセラレーター ノードとVNXストレージ システムのIPアドレスを特定します。
• これら2つのデバイス間のトラフィックを制御するファイアウォールにログインします。
• TCPポート10000がすでに許可されていることを確認します。そうでない場合は、このポートでインバウンド トラフィックとアウトバウンド トラフィックを許可するルールを作成します。
• NDMPデータ トラフィック用に少なくとも100ポートの連続した範囲を開きます(たとえば、 10000‑10100)の詳細を確認してください。Avamar NDMPアクセラレーター ノードとVNXシステム間の双方向にルールを適用します。
• ファイアウォール構成を保存して適用します。

VNXシステムでのポート構成の検証

現在のNDMPポート設定を表示します。

server_param server_2 -f NDMP -l

出力結果に新しく追加した範囲が表示されない場合は、次のコマンドを使用して追加します(andを選択した範囲に置き換えます)。

ポート範囲の追加 

新しいNDMPポート範囲を追加します。

server_param server_2 -f NDMP -l "-"

テスト バックアップを実行します。

テスト ボリュームのNDMPバックアップを開始します。

avtar -c -s  -d

バックアップが完了したら、Avamar NDMPログでエラー メッセージを確認します。

NDMPログの確認

最近のNDMPログ エントリーを表示します。

grep -i "NDMP" /var/log/avndmp.log | tail -20

ログには、「Medium error」または「Data halted」のエントリーのない正常完了メッセージが表示されます。