NVP vProxy: Widok VMware nie jest odświeżany, a wszystkie kopie zapasowe maszyny wirtualnej kończą się niepowodzeniem

• Do serwera NetWorker dodano VMware vCenter w celu wykonywania kopii zapasowych NetWorker VMware Protection vProxy.
• Nie można odświeżyć karty Ochrona konsoli zarządzania NetWorker na> karcieWidok>VMware:   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Zautomatyzowany nsrvim Proces używany do odpytywania inwentarza vCenter kończy się niepowodzeniem. daemon.log na serwerze NetWorker zgłasza:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Tworzenie kopii zapasowych maszyny wirtualnej (VM) z vCenter kończy się niepowodzeniem z podobnym komunikatem o błędzie zgłoszonym w dzienniku sesji tworzenia kopii zapasowej:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• Serwer NetWorker może osiągnąć port 443 na vCenter Server:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Opisane błędy i objawy mogą być spójne lub pojawiać się sporadycznie.

Zwracany błąd polega na tym, że operacja została przerwana lub upłynął limit czasu. Jednak limit czasu wynosi 3600 s (1 godzina), a błąd pojawia się przed przekroczeniem progu 1 godziny. Proces został przerwany.

• Problem z routingiem sieciowym lub zaporą sieciową.
• Serwer vCenter zamyka połączenie przed nsrvim Proces inwentaryzacji został zakończony.

Scenariusz przypadku 1: Zapora jest skonfigurowana z regułą adaptacyjną, która umożliwia serwerowi NetWorker łączenie się z vCenter przez 443, ale zamyka połączenie, podczas gdy NetWorker nsrvim Proces inwentaryzuje vCenter.

Scenariusz przypadku 2: serwer vCenter wysyła segment FIN w trakcie nsrvim PDU aplikacji. 

Serwer NetWorker nsrvim służy do wykonywania zapytań dotyczących serwerów vCenter dla zasobów VMware. Proces ten jest uruchamiany domyślnie co 15 minut na serwerze NetWorker, za każdym razem, gdy wykonywane jest "odświeżenie" w widoku VMware NMC lub za każdym razem, gdy rozpoczyna się zadanie ochrony maszyny wirtualnej.

Administrator sieci lub zapory musi potwierdzić, czy istnieją reguły zapory, które blokują lub zatrzymują połączenia między serwerem NetWorker a serwerem vCenter Server przez port 443. Jeśli istnieją jakiekolwiek reguły, wyłącz je tymczasowo, aby sprawdzić, czy problem został rozwiązany w programie NetWorker. Jeśli wyłączenie reguł umożliwia odświeżenie widoku VMware i ukończenie tworzenia kopii zapasowych VMware, należy wprowadzić zmiany w regułach zapory lub routingu, aby nie przerywać połączeń między serwerem NetWorker i vCenter.

Wymagane porty i diagramy topologii sieci są szczegółowo opisane w Podręczniku integracji NetWorker VMware, dostępnym na stronie pomocy technicznej firmy Dell pod adresem Informacje o pomocy technicznej NetWorker.

Administrator sieci może również korzystać z narzędzi do przechwytywania pakietów (tcpdump, Wireshark) z serwera NetWorker i vCenter. Po odtworzeniu problemu przejrzyj przechwytywanie pakietów, aby sprawdzić, czy serwer vCenter zamyka sesję inwentaryzacji.

Windows: serwer https://www.wireshark.org/
Linux NetWorker i vCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Przykład polecenia:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup wskazuje, że polecenie jest uruchamiane w tle, dopóki PID nie zostanie zakończony za pomocą kill .
• -i określa interfejs, możesz użyć anylub określ nazwę systemowego interfejsu sieciowego, na przykład eth0.
• -s 0 określa długość przyciągania 65535 (przechwytywana jest cała klatka).
• -C 500 wskazuje rozmiar pliku 500 000 000 bajtów.
• -w wskazuje lokalizację pliku wyjściowego. Wyświetlany plik wyjściowy jest generowany automatycznie z nazwą hosta systemowego i RRRR-MM-DD, że został uruchomiony. Plik .pcap można analizować w programie Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Błąd jest zgłaszany w daemon.raw serwera NetWorker.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Wyłącz funkcję nsrdispd debuguj i zatrzymaj tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker w wersji 19.10 i nowszych umożliwia administratorowi kopii zapasowych zmianę nsrvim interwał. Domyślny interwał to 15 minut; Można go jednak wydłużyć do dowolnego interwału do 60 minut. Ta funkcja jest szczegółowo opisana w NVP vProxy: Proces nsrvim NetWorker jest uruchamiany co 15 minut, powodując duże obciążenie serwera vCenter Server i potencjalną niedostępność VPXD.