NVP-vProxy: VMware View wird nicht aktualisiert und alle VM-Backups schlagen fehl

• VMware vCenter werden dem NetWorker-Server für die Durchführung von NetWorker VMware Protection vProxy-Backups hinzugefügt.
• Die Registerkarte NetWorker Management Console > Protection >VMware View kann nicht aktualisiert werden:

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Die automatisierte nsrvim Prozess zum Abfragen des vCenter-Bestands schlägt fehl. Die daemon.log auf dem NetWorker-Server meldet:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Backups von virtuellen Maschinen (VMs) aus vCenter schlagen mit einer ähnlichen Fehlermeldung im Backupsitzungsprotokoll fehl:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• Der NetWorker-Server kann Port 443 auf dem vCenter Server erreichen:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Die beschriebenen Fehler und Symptome können konsistent sein oder zeitweise auftreten.

Der zurückgegebene Fehler ist, dass der Vorgang unterbrochen wurde oder eine Zeitüberschreitung aufgetreten ist. Das Timeout beträgt jedoch 3600 Sekunden (1 Stunde) und der Fehler wird angezeigt, bevor der Schwellenwert von 1 Stunde überschritten wird. Der Prozess wird unterbrochen.

• Problem mit Netzwerkrouting oder Firewall.
• vCenter Server schließt die Verbindung vor dem nsrvim Der Bestandsprozess wird abgeschlossen.

Fall 1-Szenario: Die Firewall ist mit einer adaptiven Regel konfiguriert, die es dem NetWorker-Server ermöglicht, eine Verbindung mit vCenter über 443 herzustellen, die Verbindung jedoch schließt, während NetWorker nsrvim Prozess ist die Bestandsaufnahme von vCenter.

Fall 2-Szenario: vCenter Server sendet ein FIN-Segment während nsrvim Anwendungs-PDU. 

Die Daten des NetWorker-Servers nsrvim wird verwendet, um vCenter Server nach VMware-Ressourcen abzufragen. Dieser Prozess wird standardmäßig alle 15 Minuten auf dem NetWorker-Server ausgeführt, wenn eine "Aktualisierung" in VMware View der NMC durchgeführt wird oder wenn ein VM-Schutzjob gestartet wird.

Der Netzwerk- oder Firewalladministrator muss bestätigen, ob Firewallregeln vorhanden sind, die Verbindungen zwischen dem NetWorker-Server und vCenter Server über Port 443 blockieren oder stoppen. Wenn Regeln vorhanden sind, deaktivieren Sie sie vorübergehend, um festzustellen, ob das Problem in NetWorker behoben wurde. Wenn die Deaktivierung der Regeln es ermöglicht, dass VMware View aktualisiert und VMware-Backups abgeschlossen werden können, müssen Änderungen an den Firewall- oder Routingregeln vorgenommen werden, um Verbindungen zwischen dem NetWorker-Server und vCenter nicht zu trennen.

Detaillierte Informationen zu den erforderlichen Ports und Netzwerktopologiediagrammen finden Sie im Integrationshandbuch für NetWorker VMware, das auf der Dell Support-Website unter NetWorker-Supportinformationen verfügbar ist.

Der Netzwerkadministrator kann auch Paketerfassungstools (tcpdump, Wireshark) vom NetWorker-Server und vCenter. Wenn das Problem reproduziert wird, überprüfen Sie die Paketerfassungen, um festzustellen, ob der vCenter Server die Bestandsaufnahmesitzung schließt.

Windows: https://www.wireshark.org/
Linux NetWorker-Server und vCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Befehlsbeispiel:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup gibt an, dass der Befehl im Hintergrund ausgeführt wird, bis PID mit kill verwenden.
• -i Gibt die Schnittstelle an, die Sie verwenden können any, oder geben Sie einen Systemnetzwerkschnittstellennamen an, z. B. eth0.
• -s 0 gibt eine Fanglänge von 65535 an (der gesamte Frame wird erfasst).
• -C 500 Gibt eine Dateigröße von 500.000.000 Byte an.
• -w Gibt den Speicherort der Ausgabedatei an. Die angezeigte Ausgabedatei wird automatisch mit dem Systemhostnamen und JJJJ-MM-TT erzeugt, mit dem sie ausgeführt wurde. Eine .pcap-Datei kann in Wireshark analysiert werden.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Der Fehler wird im daemon.raw des NetWorker-Servers gemeldet.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Deaktivieren Sie die Option nsrdispd debuggen und beenden Sie die tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 und höher ermöglicht es dem Backupadministrator, die nsrvim Intervall. Das Standardintervall beträgt 15 Minuten. Dies kann jedoch auf ein beliebiges Intervall von bis zu 60 Minuten ausgedehnt werden. Diese Funktion wird in NVP vProxy ausführlich beschrieben: Der NetWorker-nsrvim-Prozess wird alle 15 Minuten ausgeführt, was zu einer hohen Arbeitslast auf vCenter Server und potenzieller Nichtverfügbarkeit von VPXD führt.