NVP vProxy：VMware View 無法重新整理，且所有 VM 備份都失敗

• VMware vCenter 會新增至 NetWorker 伺服器，以執行 NetWorker VMware Protection vProxy 備份。
• NetWorker Management Console>Protection>VMware View 標籤無法重新整理：   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• 自動化的 nsrvim 用於查詢 vCenter 清查的程序失敗。NetWorker 伺服器上的daemon.log報告：

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• vCenter 的虛擬機器 （VM） 備份失敗，並會在備份工作階段記錄中報告類似的錯誤訊息：

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorker 伺服器可以到達 vCenter Server 上的連接埠 443：

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• 所描述的錯誤和癥狀可能一致或間歇性出現。

返回的錯誤是操作中斷或超時。但是，超時為 3600 秒（1 小時），並且在通過 1 小時閾值之前出現錯誤。程序遭到中斷。

• 網路路由或防火牆問題。
• vCenter Server 在 nsrvim 清查程序完成。

案例 1 場景：防火牆設定有適應性規則，可讓 NetWorker 伺服器透過 443 連線至 vCenter，但在 NetWorker 的 nsrvim 程序正在清查 vCenter。

案例 2：vCenter 伺服器在 nsrvim 應用程式 PDU。

NetWorker 伺服器的 nsrvim 程序可用於查詢 vCenter Server 以取得 VMware 資源。此程序預設在 NetWorker 伺服器上每 15 分鐘執行一次，每當 NMC 的 VMware View 中完成「重新整理」，或是每當 VM 保護工作開始時執行。

網路或防火牆管理員必須確認是否有任何防火牆規則封鎖或停止 NetWorker 伺服器和 vCenter Server 之間透過連接埠 443 的連線。如果有任何規則，請暫時停用，以查看問題是否已在 NetWorker 中解決。如果停用規則可讓 VMware View 重新整理和 VMware 備份完成，則必須對防火牆或路由規則進行變更，以避免中斷 NetWorker 伺服器與 vCenter 之間的連線。

NetWorker VMware 整合指南中詳述所需的連接埠和網路拓撲圖，可於 Dell 支援網站的 NetWorker 支援資訊取得。

網路管理員還可以使用數據包捕獲工具 （tcpdump、Wireshark）。重現問題時，請檢閱封包擷取，以查看 vCenter 伺服器是否正在關閉清查工作階段。

Windows： https://www.wireshark.org/
Linux NetWorker Server 和 vCenter Server： https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump 命令範例：

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup 選項表示命令會在背景執行，直到 PID 終止於 kill 命令。
• -i 指定介面，您可以使用 any，或指定系統網路介面名稱，例如 eth0。
• -s 0 指定捕捉長度 65535（捕獲整個幀）。
• -C 500 選項指示檔大小為 500,000,000 位元組。
• -w 選項指示輸出檔位置。顯示的輸出檔案會使用執行的系統主機名稱和 YYYY-MM-DD 自動產生。可以在Wireshark中分析.pcap檔。

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3.此錯誤會報告於 NetWorker 伺服器的daemon.raw中。

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4.停用 nsrdispd 除錯並停止 tcpdump：

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 及更新版本可讓備份管理員變更 nsrvim 間。默認間隔為 15 分鐘;但是，這可以延長為最多 60 分鐘的任何間隔。NVP vProxy 中有詳述此功能：NetWorker nsrvim 程序每 15 分鐘執行一次，導致 vCenter Server 工作負載高，並可能造成 VPXD 無法使用。