NVP vProxy: VMware View non si aggiorna e tutti i backup delle VM hanno esito negativo

• I VMware vCenter vengono aggiunti al server NetWorker per eseguire i backup di NetWorker VMware Protection vProxy.
• La scheda NetWorker Management Console Protection>>VMware View non riesce ad aggiornare:   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• L'automazione nsrvim Il processo utilizzato per eseguire query sull'inventario vCenter ha esito negativo. Il daemon.log sul server NetWorker riporta:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• I backup delle macchine virtuali (VM) da vCenter hanno esito negativo con un messaggio di errore simile segnalato nel registro della sessione di backup:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• Il server NetWorker può raggiungere la porta 443 sul vCenter Server:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Gli errori e i sintomi descritti possono essere coerenti o comparire in modo intermittente.

L'errore restituito indica che l'operazione è stata interrotta o scaduta. Tuttavia, il timeout è 3.600 secondi (1 ora) e l'errore viene visualizzato prima del superamento della soglia di 1 ora. Il processo viene interrotto.

• Problema di routing di rete o firewall.
• vCenter Server chiude la connessione prima di nsrvim Il processo di inventario viene completato.

Scenario del caso 1: Il firewall è configurato con regola adattiva che consente al server NetWorker di connettersi a vCenter su 443, ma chiude la connessione mentre il server NetWorker nsrvim Il processo sta inventariando vCenter.

Scenario del caso 2: vCenter Server invia un segmento FIN durante nsrvim PDU dell'applicazione. 

Il server NetWorker nsrvim viene utilizzato per eseguire query sui vCenter Server per le risorse VMware. Questo processo viene eseguito per impostazione predefinita ogni 15 minuti sul server NetWorker, ogni volta che viene eseguito un "aggiornamento" in VMware View di NMC o ogni volta che viene avviato un job di protezione della VM.

L'amministratore della rete o del firewall deve verificare se sono presenti regole del firewall che bloccano o arrestano le connessioni tra il server NetWorker e vCenter Server sulla porta 443. Se sono presenti regole, disabilitarle temporaneamente per verificare se il problema è stato risolto in NetWorker. Se la disabilitazione delle regole consente l'aggiornamento di VMware View e il completamento dei backup VMware, è necessario apportare modifiche al firewall o alle regole di routing per non interrompere le connessioni tra il server NetWorker e vCenter.

Le porte richieste e i diagrammi della topologia di rete sono descritti in dettaglio nella NetWorker VMware Integration Guide, disponibile sul sito del Supporto Dell alla pagina Informazioni del supporto NetWorker.

L'amministratore di rete può anche utilizzare gli strumenti di acquisizione dei pacchetti (tcpdump, Wireshark) dal server NetWorker e da vCenter. Quando il problema viene riprodotto, esaminare le acquisizioni dei pacchetti per verificare se il vCenter Server sta chiudendo la sessione di inventario.

Windows: https://www.wireshark.org/
Linux NetWorker Server e vCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Esempio di comando:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup indica che il comando viene eseguito in background fino a quando il PID non viene terminato con kill .
• -i specifica l'interfaccia, è possibile utilizzare anyo specificare un nome per l'interfaccia di rete del sistema, ad esempio eth0.
• -s 0 specifica una lunghezza di snap di 65535 (viene acquisito l'intero fotogramma).
• -C 500 indica una dimensione file di 500.000.000 byte.
• -w indica la posizione del file di output. Il file di output visualizzato viene generato automaticamente con il nome host del sistema e AAAA-MM-GG in cui è stato eseguito. Un file .pcap può essere analizzato in Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. L'errore viene segnalato nella daemon.raw del server NetWorker.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Disabilitare l'opzione nsrdispd eseguire il debug e arrestare il tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 e versioni successive consentono al Backup Administrator di modificare la nsrvim intervallo. L'intervallo predefinito è 15 minuti; Tuttavia, questo può essere esteso a qualsiasi intervallo fino a 60 minuti. Questa funzione è descritta in dettaglio in NVP vProxy: Il processo nsrvim di NetWorker viene eseguito ogni 15 minuti, causando un carico di lavoro elevato su vCenter Server e una potenziale non disponibilità di VPXD.