NVP vProxy: VMware View가 새로 고쳐지지 않고 모든 VM 백업이 실패함

• VMware vCenter는 NetWorker VMware Protection vProxy 백업을 수행하기 위해 NetWorker Server에 추가됩니다.
• NetWorker Management Console>의Protection>VMware View 탭이 새로 고침되지 않습니다.   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• 자동화된 nsrvim vCenter 인벤토리를 쿼리하는 데 사용되는 프로세스가 실패합니다. NetWorker Server의 daemon.log는 다음을 보고합니다.

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• vCenter의 VM(Virtual Machine) 백업이 실패하고 백업 세션 로그에 다음과 유사한 오류 메시지가 보고됩니다.

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorker Server가 vCenter Server의 포트 443에 연결할 수 있습니다.

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• 설명된 오류 및 증상이 일관되거나 간헐적으로 나타날 수 있습니다.

반환되는 오류는 작업이 중단되거나 시간 초과되었다는 것입니다. 그러나 시간 초과는 3600초(1시간)이며 1시간 임계값을 통과하기 전에 오류가 나타납니다. 프로세스가 중단되고 있습니다.

• 네트워크 라우팅 또는 방화벽 문제입니다.
• vCenter Server가 연결 종료 전 nsrvim 인벤토리 프로세스가 완료됩니다.

사례 1 시나리오: 방화벽은 NetWorker Server가 443을 통해 vCenter에 연결할 수 있도록 허용하지만 NetWorker의 nsrvim 프로세스가 vCenter의 인벤토리를 작성하고 있습니다.

사례 2 시나리오: vCenter Server가 nsrvim 애플리케이션 PDU. 

NetWorker Server의 nsrvim vCenter Server에서 VMware 리소스를 쿼리하는 데 사용되는 프로세스입니다. 이 프로세스는 기본적으로 NetWorker Server에서 15분마다, NMC의 VMware View에서 "새로 고침"이 수행될 때 또는 VM 보호 작업이 시작될 때마다 실행됩니다.

네트워크 또는 방화벽 관리자는 포트 443을 통한 NetWorker Server와 vCenter Server 간의 연결을 차단하거나 중지하는 방화벽 규칙이 있는지 확인해야 합니다. 적용된 규칙이 있는 경우 해당 규칙을 일시적으로 비활성화하여 NetWorker에서 문제가 해결되었는지 확인합니다. 규칙을 비활성화하여 VMware View를 새로 고치고 VMware 백업을 완료할 수 있는 경우 NetWorker Server와 vCenter 간의 연결이 끊어지지 않도록 방화벽 또는 라우팅 규칙을 변경해야 합니다.

필요한 포트 및 네트워크 토폴로지 다이어그램은 Dell 지원의 NetWorker 지원 정보에서 확인할 수 있는 NetWorker VMware 통합 가이드에 자세히 설명되어 있습니다.

네트워크 관리자는 패킷 캡처 툴(tcpdump, Wireshark)를 실행하여 업데이트를 다운로드합니다. 문제가 재현되면 패킷 캡처를 검토하여 vCenter Server가 인벤토리 세션을 닫고 있는지 확인합니다.

Windows: https://www.wireshark.org/
Linux NetWorker Server 및 vCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump 명령 예:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup option은 PID가 다음으로 종료될 때까지 명령이 백그라운드에서 실행됨을 나타냅니다. kill 사용해야 합니다.
• -i 인터페이스를 지정합니다. any를 클릭하거나 eth0과 같은 시스템 네트워크 인터페이스 이름을 지정합니다.
• -s 0은 스냅 길이를 65535로 지정합니다(전체 프레임이 캡처됨).
• -C 500 옵션은 500,000,000바이트의 파일 크기를 나타냅니다.
• -w 옵션은 출력 파일 위치를 나타냅니다. 표시된 출력 파일은 실행된 시스템 호스트 이름 및 YYYY-MM-DD와 함께 자동으로 생성됩니다. .pcap 파일은 Wireshark에서 분석할 수 있습니다.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. NetWorker Server의 daemon.raw에 오류가 보고됩니다.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. 비활성화 nsrdispd 디버그 및 중지 tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 이상에서는 백업 관리자가 nsrvim 간. 기본 간격은 15분입니다. 그러나 최대 60분까지 원하는 간격으로 연장할 수 있습니다. 이 기능은 NVP vProxy에 자세히 설명되어 있습니다. NetWorker nsrvim 프로세스가 15분마다 실행되어 vCenter Server의 워크로드가 높아지고 VPXD를 사용할 수 없게 될 수 있습니다.