NVP vProxy: VMware-vyn uppdateras inte och alla VM-säkerhetskopieringar misslyckas

• VMware vCenter läggs till i NetWorker-servern för att utföra NetWorker VMware Protection vProxy-säkerhetskopieringar.
• Det går inte att uppdatera fliken NetWorker Management Console > Protection >VMware View :

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Den automatiserade nsrvim Processen som används för att fråga vCenter-lagret misslyckas. Den daemon.log på NetWorker-servern rapporterar:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Säkerhetskopieringar av virtuella maskiner (VM) från vCenter misslyckas med ett liknande felmeddelande som rapporteras i loggen för säkerhetskopieringssessionen:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorker-servern kan nå port 443 på vCenter-servern:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Fel och symtom som beskrivs kan vara konsekventa eller uppträda intermittent.

Felet som returneras är att åtgärden har avbrutits eller överskridit tidsgränsen. Tidsgränsen är dock 3600 s (1 timme) och felet visas innan tröskelvärdet på 1 timme har passerats. Processen avbryts.

• Problem med nätverksroutning eller brandvägg.
• vCenter-servern stänger anslutningen innan nsrvim Inventeringsprocessen slutförs.

Scenario 1: Brandväggen är konfigurerad med Adaptive Rule som tillåter NetWorker-servern att ansluta till vCenter över 443, men stänger anslutningen medan NetWorkers nsrvim Processen inventerar vCenter.

Scenario 2: vCenter-servern skickar ett FIN-segment under nsrvim program PDU. 

NetWorker-serverns nsrvim Processen används för att fråga vCenter-servrar efter VMware-resurser. Den här processen körs som standard var 15:e minut på NetWorker-servern, när en "uppdatering" görs i NMC:s VMware View eller när ett VM-skyddsjobb startar.

Nätverks- eller brandväggsadministratören måste bekräfta om det finns några brandväggsregler som blockerar eller stoppar anslutningar mellan NetWorker-servern och vCenter-servern via port 443. Om det finns några regler på plats, inaktivera dem tillfälligt för att se om problemet är löst i NetWorker. Om inaktivering av reglerna tillåter att VMware View uppdateras och VMware-säkerhetskopieringen slutförs, måste ändringar göras i brandväggen eller routningsreglerna för att inte släppa anslutningar mellan NetWorker-servern och vCenter.

Portar och diagram för nätverkstopologi som krävs beskrivs i NetWorker VMware Integration Guide, som finns på Dell Support på NetWorker Support Information.

Nätverksadministratören kan också använda paketinsamlingsverktyg (tcpdump, Wireshark) från NetWorker-servern och vCenter. När problemet återskapas granskar du paketinsamlingarna för att se om vCenter-servern stänger inventeringssessionen.

Windows: https://www.wireshark.org/
Linux NetWorker-server och vCenter-server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Exempel på kommandon:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup anger att kommandot körs i bakgrunden tills PID avslutas med kill befallning.
• -i specificerar gränssnitt, kan du använda anyeller ange ett namn på systemets nätverksgränssnitt, till exempel eth0.
• -s 0 anger en fästlängd på 65535 (hela bildrutan fångas).
• -C 500 anger en filstorlek på 500 000 000 byte.
• -w anger platsen för utdatafilen. Utdatafilen som visas genereras automatiskt med systemets värdnamn och ÅÅÅÅ-MM-DD som den kördes i. En .pcap-fil kan analyseras i Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Felet rapporteras i NetWorker-serverns daemon.raw.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Inaktivera nsrdispd Felsök och stoppa tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 och senare tillåter säkerhetskopieringsadministratören att ändra nsrvim intervall. Standardintervallet är 15 minuter. Detta kan dock utökas till valfritt intervall upp till 60 minuter. Den här funktionen beskrivs i NVP vProxy: NetWorker nsrvim-processen körs var 15:e minut, vilket orsakar en hög arbetsbelastning på vCenter Server och potentiell otillgänglighet för VPXD.