NVP vProxy: VMware View no se actualiza y todos los respaldos de VM fallan

• VMware vCenters se agregan a NetWorker Server para realizar respaldos de vProxy de NetWorker VMware Protection.
• La pestaña NetWorker Management Console > Protection >VMware View no se actualiza:

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• El sistema automatizado nsrvim El proceso utilizado para consultar el inventario de vCenter está fallando. El daemon.log en el servidor NetWorker Server informa lo siguiente:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Los respaldos de máquinas virtuales (VM) de vCenter fallan y muestran un mensaje de error similar informado en el registro de la sesión de respaldo:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• NetWorker Server puede comunicarse con el puerto 443 en vCenter Server:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Los errores y los síntomas descritos pueden ser coherentes o aparecer de forma intermitente.

El error que se devuelve es que la operación se interrumpe o se agota el tiempo de espera. Sin embargo, el tiempo de espera es de 3600 s (1 hora) y el error aparece antes de que se supere el umbral de 1 hora. El proceso se está interrumpiendo.

• Problema de firewall o enrutamiento de red.
• vCenter Server está cerrando la conexión antes de que nsrvim Se completa el proceso de inventario.

Caso 1 escenario: El firewall está configurado con una regla adaptable que permite que NetWorker Server se conecte a vCenter sobre 443, pero cierra la conexión mientras NetWorker nsrvim El proceso está realizando un inventario de vCenter.

Caso 2 escenario: vCenter Server envía un segmento FIN durante la nsrvim PDU de la aplicación. 

El archivo nsrvim El proceso se utiliza para consultar los recursos de VMware en vCenter Server. Este proceso se ejecuta de manera predeterminada cada 15 minutos en NetWorker Server, cada vez que se realiza una "actualización" en VMware View de NMC o cada vez que se inicia un trabajo de protección de VM.

El administrador de la red o del firewall debe confirmar si hay reglas de firewall que bloqueen o detengan las conexiones entre NetWorker Server y vCenter Server a través del puerto 443. Si existen reglas establecidas, deshabilítelas temporalmente para ver si el problema se resuelve en NetWorker. Si la deshabilitación de las reglas permite que VMware View se actualice y que se completen los respaldos de VMware, se deben realizar cambios en el firewall o las reglas de enrutamiento para no perder las conexiones entre NetWorker Server y vCenter.

Los puertos necesarios y los diagramas de topología de red se detallan en la Guía de integración de VMware de NetWorker, disponible en el servicio de soporte de Dell en Información de soporte de NetWorker.

El administrador de red también puede utilizar herramientas de captura de paquetes (tcpdump, Wireshark) desde NetWorker Server y vCenter. Cuando se reproduzca el problema, revise las capturas de paquetes para ver si vCenter está cerrando la sesión de inventario.

Windows: https://www.wireshark.org/
NetWorker Server de Linux y vCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Ejemplo de comando:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup indica que el comando se ejecuta en segundo plano hasta que PID finaliza con kill comando.
• -i Especifica la interfaz, puede usar anyo especifique un nombre de interfaz de red del sistema, como eth0.
• -s 0 especifica una longitud de instantánea de 65535 (se captura todo el fotograma).
• -C 500 indica un tamaño de archivo de 500 000 000 bytes.
• -w indica la ubicación del archivo de salida. El archivo de salida que se muestra se genera automáticamente con el nombre de host del sistema y AAAA-MM-DD que se ejecutó. Un archivo .pcap se puede analizar en Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. El error se informa en el daemon.raw de NetWorker Server.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Deshabilite la opción nsrdispd depurar y detener el archivo tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 y versiones posteriores permiten que el administrador de respaldo cambie la nsrvim intervalo. El intervalo predeterminado es de 15 minutos; Sin embargo, esto se puede extender a cualquier intervalo de hasta 60 minutos. Esta función se detalla en NVP vProxy: El proceso nsrvim de NetWorker se ejecuta cada 15 minutos, lo que provoca una carga de trabajo alta en vCenter Server y una posible falta de disponibilidad de VPXD.