NVP vProxy: VMware View wordt niet vernieuwd en alle VM-back-ups mislukken

• VMware vCenters worden toegevoegd aan de NetWorker-server voor het uitvoeren van NetWorker VMware Protection vProxy-back-ups.
• Het tabbladBescherming vanNetWorker Management Console>VMware> View kan niet worden vernieuwd:   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• De geautomatiseerde nsrvim Het proces dat wordt gebruikt voor het opvragen van vCenter-inventaris mislukt. De daemon.log op de NetWorker-server meldt:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Back-ups van virtuele machines (VM's) vanuit vCenter mislukken met een vergelijkbare foutmelding in het back-upsessielogboek:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• De NetWorker-server kan poort 443 op de vCenter-server bereiken:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• De beschreven fouten en symptomen kunnen consistent zijn of met tussenpozen optreden.

De fout die wordt geretourneerd, is dat de bewerking is onderbroken of een time-out heeft opgetreden. De time-out is echter 3600 s (1 uur) en de fout verschijnt voordat de drempel van 1 uur wordt overschreden. Het proces wordt onderbroken.

• Probleem met netwerkroutering of firewall.
• vCenter server sluit de verbinding voordat het nsrvim Het inventarisatieproces is voltooid.

Geval 1 scenario: De firewall is geconfigureerd met adaptieve regel waarmee de NetWorker-server verbinding kan maken met vCenter via 443, maar de verbinding sluit terwijl NetWorker's nsrvim proces is het inventariseren van vCenter.

Geval 2: vCenter server verzendt een FIN-segment tijdens de nsrvim toepassing PDU. 

De prestaties van de NetWorker-server nsrvim proces wordt gebruikt om vCenter-servers uit te voeren op VMware-resources. Dit proces wordt standaard elke 15 minuten uitgevoerd op de NetWorker-server, wanneer een "refresh" wordt uitgevoerd in de VMware-weergave van de NMC of wanneer een VM-beschermingstaak wordt gestart.

De netwerk- of firewallbeheerder moet bevestigen of er firewallregels zijn die verbindingen tussen de NetWorker-server en de vCenter-server via poort 443 blokkeren of stoppen. Als er regels van kracht zijn, schakelt u deze tijdelijk uit om te zien of het probleem is opgelost in NetWorker. Als het uitschakelen van de regels ervoor zorgt dat VMware View wordt vernieuwd en VMware-back-ups kunnen worden voltooid, moeten er wijzigingen worden aangebracht in de firewall of routeringsregels om verbindingen tussen de NetWorker-server en vCenter niet te verbreken.

Vereiste poorten en netwerktopologiediagrammen worden beschreven in de NetWorker VMware Integration Guide, beschikbaar op Dell Support via NetWorker Support Information.

De netwerkbeheerder kan ook gebruikmaken van hulpprogramma's voor het vastleggen van pakketten (tcpdump, Wireshark) van de NetWorker-server en vCenter. Wanneer het probleem zich voordoet, controleert u de pakketvastleggingen om te zien of de vCenter server de inventarissessie sluit.

Windows: https://www.wireshark.org/
Linux NetWorker-server en vCenter-server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Opdrachtvoorbeeld:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup geeft aan dat de opdracht op de achtergrond wordt uitgevoerd totdat PID wordt beëindigd met kill bevelen.
• -i specificeert de interface, kunt u gebruik maken van anyof geef een interfacenaam van het systeemnetwerk op, zoals eth0.
• -s 0 geeft een snaplengte van 65535 aan (het hele frame wordt vastgelegd).
• -C 500 De optie geeft een bestandsgrootte van 500.000.000 bytes aan.
• -w Optie geeft de locatie van het uitvoerbestand aan. Het weergegeven uitvoerbestand wordt automatisch gegenereerd met de hostnaam van het systeem en YYYY-MM-DD waarin het werd uitgevoerd. Een .pcap-bestand kan worden geanalyseerd in Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. De fout wordt gemeld in de daemon.raw van de NetWorker-server.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Schakel de nsrdispd Debug en stop de tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

Met NetWorker 19.10 en hoger kan de back-upbeheerder de nsrvim interval. Het standaardinterval is 15 minuten; Dit kan echter worden verlengd tot elk interval tot 60 minuten. Deze functie wordt beschreven in NVP vProxy: Het NetWorker nsrvim-proces wordt elke 15 minuten uitgevoerd, wat leidt tot een hoge workload op vCenter Server en mogelijk onbeschikbaarheid van VPXD.