NVP vProxy: VMware View oppdateres ikke, og alle VM-sikkerhetskopier mislykkes

• VMware vCenters legges til NetWorker-serveren for å utføre NetWorker VMware Protection vProxy-sikkerhetskopier.
• Fanen NetWorker Management Console > Protection >VMware View oppdateres ikke:

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Den automatiserte nsrvim Prosessen som brukes til å spørre vCenter-beholdningen, mislykkes. Det daemon.log på NetWorker-serveren rapporterer:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Sikkerhetskopiering av virtuell maskin (VM) fra vCenter mislykkes med en lignende feilmelding rapportert i loggen for sikkerhetskopieringsøkten:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorker-serveren kan nå port 443 på vCenter-serveren:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Feil og symptomer som beskrives, kan være konsistente eller vises periodisk.

Feilen som returneres, er at operasjonen blir avbrutt eller tidsavbrutt. Tidsavbruddet er imidlertid 3600 s (1 time), og feilen vises før terskelen på 1 time passeres. Prosessen blir avbrutt.

• Nettverksruting eller brannmurproblem.
• vCenter-serveren lukker tilkoblingen før nsrvim Lagerprosessen fullføres.

Scenario for tilfelle 1: Brannmuren er konfigurert med Adaptive Rule som tillater NetWorker-serveren å koble til vCenter over 443, men lukker tilkoblingen mens NetWorkers nsrvim prosessen er inventorying vCenter.

Scenario 2: vCenter-serveren sender et FIN-segment i løpet av nsrvim søknad PDU. 

NetWorker-serverens nsrvim Prosessen brukes til å spørre vCenter-servere etter VMware-ressurser. Denne prosessen kjører som standard hvert 15. minutt på NetWorker-serveren, når som helst en "oppdatering" utføres i NMCs VMware View, eller når en VM-beskyttelsesjobb starter.

Nettverks- eller brannmuradministratoren må bekrefte om det finnes brannmurregler som blokkerer eller stopper tilkoblinger mellom NetWorker-serveren og vCenter-serveren via port 443. Hvis det finnes regler, deaktiverer du dem midlertidig for å se om problemet er løst i NetWorker. Hvis deaktivering av reglene gjør at VMware View kan oppdateres og VMware-sikkerhetskopier fullføres, må det gjøres endringer i brannmuren eller rutingsreglene for ikke å slippe tilkoblinger mellom NetWorker-serveren og vCenter.

Nødvendige porter og diagrammer for nettverkstopologi er beskrevet i integreringsveiledningen for NetWorker VMware, som er tilgjengelig på Dells kundestøtte på NetWorker Supportinformasjon.

Nettverksadministratoren kan også bruke pakkefangstverktøy (tcpdump, Wireshark) fra NetWorker-serveren og vCenter. Når problemet gjenskapes, ser du gjennom pakkeopptakene for å se om vCenter-serveren lukker beholdningsøkten.

Windows: https://www.wireshark.org/
Linux NetWorker-server og vCenter-server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Eksempel på kommando:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup -alternativet angir at kommandoen kjøres i bakgrunnen til PID avsluttes med kill kommando.
• -i Angir grensesnitt du kan bruke any, eller angi et navn på et systemnettverksgrensesnitt, for eksempel eth0.
• -s 0 angir en forankringslengde på 65535 (hele rammen er tatt).
• -C 500 -alternativet angir en filstørrelse på 500 000 000 byte.
• -w Alternativet angir plasseringen av utdatafilen. Utdatafilen som vises, genereres automatisk med systemets vertsnavn og ÅÅÅÅ-MM-DD som den ble kjørt. En .pcap-fil kan analyseres i Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Feilen rapporteres i NetWorker-serverens daemon.raw.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Deaktiver nsrdispd Feilsøk og stopp tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 og nyere gjør at sikkerhetskopiadministratoren kan endre nsrvim mellomrom. Standardintervallet er 15 minutter; Dette kan imidlertid utvides til et hvilket som helst intervall på opptil 60 minutter. Denne funksjonen er detaljert i NVP vProxy: NetWorker nsrvim-prosessen kjører hvert 15. minutt, noe som forårsaker stor workload på vCenter Server og potensiell VPXD-utilgjengelighet.