NVP-vProxy:リソースが見つからないコード-404「Aging out inactive session」でバックアップが失敗する
Summary: NVP(NetWorker VMware保護)vProxyアプライアンスを使用して実行された仮想マシン(VM)バックアップが断続的に失敗し、「リソースが見つかりません」エラー(コード-404)が表示されます。これは、NetWorkerサーバーが最終ステータスを取得する前にvProxyが完了したバックアップ セッションが期限切れになるためです。NetWorkerストレージ ノードとData Domain間のネットワーク レイテンシが高くなると、NetWorkerサーバがステータス ポーリング リクエストを遅延させ、vProxyセッションが期限切れになります。ストレージ ノードからData Domainまでのレイテンシーを50ミリ秒未満に短縮すると、この問題は解決します。 ...
Symptoms
NetWorker VMware Protection (NVP)統合では、vProxyアプライアンスを使用してVMバックアップを実行します。VMバックアップが断続的に失敗し、NetWorker管理コンソール(NMC)に「リソースが見つかりません」というメッセージが表示されます。同じVMの後続の再試行バックアップは成功する可能性がありますが、失敗は同じバックアップ ウィンドウ内の他のVMに影響を与える可能性があります。NMCに次のエラーが表示されます(セッションIDは発生ごとに異なります)。
{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}
バックアップ アクション ログには、NetWorkerサーバーによるvProxyからのバックアップ ステータスの取得の失敗と、その後のバックアップの失敗が表示されます。
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ". MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log". MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed. MM/DD/YY HH:MM:SS The size of proxied data written has not been set. MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.
vProxy vbackupd-engine.log 完全なセッション ライフサイクルを表示します。バックアップはvProxy側で正常に完了しますが、その後、NetWorkerサーバーがステータスを取得する前に、セッションが期限切れになり、削除されます。
YYYY/MM/DD HH:MM:SS TRACE: Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE: Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE: Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE: Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO: File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO: Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE: Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO: Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO: Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Reply sent successfully for "GetLog".
Cause
NetWorkerサーバは、バックアップ セッションのステータスについてvProxyを継続的にポーリングし、バックアップが完了するとセッション ログを要求します。NetWorkerサーバーが数分間更新を要求しなかったため、vProxyはバックアップを完了し、セッションをエージングします。セッションが古くなると、vProxyはNetWorkerサーバーにステータスの更新またはログを提供できなくなり、セッションは失敗します。 resource not found エラー。NetWorkerサーバーのステータス リクエストの遅延は、通常、NetWorkerストレージ ノードとData Domain通信の間の高レイテンシーが原因で発生します。
Resolution
- ストレージ ノードからData Domainまでのレイテンシーを測定します。
- NetWorkerストレージ ノードからData Domainに対して、タイムスタンプ付きの連続pingを実行し、結果をファイルに出力します。両方のシステムのタイム ゾーンが一致していることを確認します。
- Windows:
ping -t [DATA_DOMAIN_IP] > ping_output.txt - Linux:
ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt
- Windows:
- バックアップ ウィンドウ中に、pingをバックグラウンドで実行したままにします。
- バックアップの失敗が繰り返し発生する場合は、ping_output.txtファイルを確認し、障害に対応する時間範囲でレイテンシーのスパイクを確認します。
- NetWorkerストレージ ノードからData Domainに対して、タイムスタンプ付きの連続pingを実行し、結果をファイルに出力します。両方のシステムのタイム ゾーンが一致していることを確認します。
- レイテンシーを50ミリ秒未満に短縮:
- NetWorkerストレージ ノードとData Domain間の高レイテンシーの原因を特定して解決します。一般的な原因には、ネットワークの輻輳、WAN リンク、ルーティングの非効率性、ネットワーク機器の過負荷などがあります。
- バックアップの実行中、NetWorkerストレージ ノードとData Domain間のラウンドトリップ レイテンシーが50ミリ秒未満であることを確認します。このしきい値については、『 Dell NetWorkerパフォーマンス最適化計画ガイド』の「TCPウィンドウ サイズとネットワーク レイテンシに関する考慮事項」セクションに記載されています。
- リモート ストレージ ノードを導入します(レイテンシーを削減できない場合):
- ストレージ ノードからData Domainまでのレイテンシーを50ミリ秒未満に短縮できない場合(たとえば、地理的な分離など)、Data Domainが存在するリモート サイトでNetWorkerストレージ ノードを構成します。このストレージ ノードはData Domainデバイスをローカルで管理し、高レイテンシー パスを排除します。
- 解決策の確認:
- レイテンシーを短縮するか、リモート ストレージ ノードを導入した後で、以前に影響を受けたVMのバックアップ ジョブをトリガーします。
- バックアップが正常に完了し、NMC、バックアップ アクション ログ、vProxy vbackupd-engine.logにResource not found(コード-404)エラーが表示されていないことを確認します。
- 3つの連続したバックアップ ウィンドウにわたってバックアップ ジョブを監視して、断続的な障害が発生しなくなったことを確認します。
- レイテンシーを50ミリ秒未満に短縮した後もセッション エージング エラーが解決しない場合は、 Dellサポート に連絡して詳細な調査を依頼し、このKB記事を参照してください。
Additional Information
次の記事では、ネットワークのトラブルシューティングを実行する方法について詳しく説明します:NetWorker:ネットワーク関連の問題をトラブルシューティングする方法。