NVP vProxy：VMware Viewが更新されず、すべてのVMバックアップが失敗する

• VMware vCenterは、NetWorker VMware Protection vProxyバックアップを実行するためにNetWorkerサーバーに追加されます。
• NetWorker Management Console>の[保護>]の[VMware View]タブが更新に失敗します。   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• 自動化された nsrvim vCenterインベントリーのクエリーに使用されるプロセスが失敗しています。NetWorkerサーバー上のdaemon.logは、次のことをレポートします。

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• vCenterからの仮想マシン(VM)のバックアップが失敗し、バックアップ セッション ログに次のようなエラー メッセージが報告されます。

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorkerサーバーは、vCenter Serverのポート443に到達できます。

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• 記載されているエラーと症状に一貫性がある場合もあれば、断続的に発生する場合もあります。

返されるエラーは、操作が中断されたかタイムアウトしたということです。ただし、タイムアウトは3600秒(1時間)で、1時間の閾値を超える前にエラーが表示されます。処理が中断されています。

• ネットワーク ルーティングまたはファイアウォールの問題。
• vCenter Serverが、 nsrvim インベントリー プロセスが完了します。

ケース1のシナリオ: ファイアウォールは適応ルールを使用して構成されており、NetWorkerサーバーは443を介してvCenterに接続できますが、NetWorkerの nsrvim プロセスはvCenterのインベントリです。

ケース2のシナリオ:vCenter Serverが nsrvim アプリケーション PDU。

NetWorkerサーバーの nsrvim このプロセスは、vCenter ServerにVMwareリソースをクエリーするために使用されます。このプロセスは、NMCのVMware Viewで「更新」が行われるたびに、またはVM保護ジョブが開始されるたびに、NetWorkerサーバー上でデフォルトで15分ごとに実行されます。

ネットワーク管理者またはファイアウォール管理者は、ポート443を介したNetWorkerサーバーとvCenter Server間の接続をブロックまたは停止しているファイアウォール ルールがあるかどうかを確認する必要があります。ルールが設定されている場合は、ルールを一時的に無効にして、NetWorkerで問題が解決されるかどうかを確認します。ルールを無効にすることでVMware Viewが更新され、VMwareバックアップを完了できる場合は、NetWorkerサーバーとvCenter間の接続が切断されないように、ファイアウォールまたはルーティング ルールを変更する必要があります。

必要なポートとネットワーク トポロジー図の詳細については、DellサポートのNetWorkerサポート情報にあるNetWorker VMware統合ガイドを参照してください。

ネットワーク管理者は、パケットキャプチャツール(tcpdump、Wireshark)をNetWorkerサーバーおよびvCenterから取得します。問題が再現された場合は、パケット キャプチャを確認して、vCenter Serverがインベントリー セッションを終了しているかどうかを確認します。

Windows: https://www.wireshark.org/
Linux NetWorkerサーバーおよびvCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump コマンド例:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup オプションは、PID が kill コマンドを使用できます。
• -i インターフェイスを指定する場合は、 anyをクリックするか、eth0 などのシステム・ネットワーク・インターフェース名を指定します。
• -s 0 を指定すると、スナップ長は 65535 になります (フレーム全体がキャプチャされます)。
• -C 500 オプションは、ファイル サイズが 500,000,000 バイトであることを示します。
• -w オプションは、出力ファイルの場所を示します。表示される出力ファイルは、システムのホスト名と実行されたYYYY-MM-DDを使用して自動的に生成されます。.pcap ファイルは Wireshark で分析できます。

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3.このエラーは、NetWorkerサーバーのdaemon.rawで報告されます。

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4.無効にする nsrdispd デバッグして停止します tcpdumpです。

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10以降では、バックアップ管理者が nsrvim 間。デフォルトの間隔は 15 分です。ただし、これは最大60分まで任意の間隔に拡張できます。この機能の詳細については、「NVP vProxy: NetWorker nsrvimプロセスは15分ごとに実行されるため、vCenter Serverで高いワークロードが発生し、VPXDが使用できなくなる可能性があります。