NVP vProxy : VMware View ne s’actualise pas et toutes les sauvegardes de machines virtuelles échouent

• Les VMware vCenters sont ajoutés au NetWorker Server pour effectuer des sauvegardes NetWorker VMware Protection vProxy.
• L’onglet Protection VMware View deNetWorker>Management Console> ne parvient pas à s’actualiser :   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• L’automatisation nsrvim Le processus utilisé pour interroger l’inventaire vCenter échoue. La daemon.log sur le serveur NetWorker signale :

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Les sauvegardes de machine virtuelle (VM) à partir de vCenter échouent avec un message d’erreur similaire signalé dans le log de la session de sauvegarde :

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• Le NetWorker Server peut atteindre le port 443 sur le vCenter Server :

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Les erreurs et symptômes décrits peuvent être constants ou apparaître par intermittence.

L’erreur renvoyée est que l’opération est interrompue ou a expiré. Toutefois, le délai d’expiration est de 3 600 s (1 heure) et l’erreur s’affiche avant que le seuil d’une heure ne soit dépassé. Le processus est en cours d’interruption.

• Problème de routage réseau ou de pare-feu.
• vCenter Server ferme la connexion avant le nsrvim Le processus d’inventaire est terminé.

Scénario 1 : Le pare-feu est configuré avec une règle adaptative qui permet au serveur NetWorker de se connecter à vCenter sur 443, mais ferme la connexion pendant que NetWorker nsrvim Le processus est l’inventaire de vCenter.

Scénario 2 : vCenter Server envoie un segment FIN au cours de nsrvim PDU de l’application. 

L’option de NetWorker Server nsrvim est utilisé pour interroger les serveurs vCenter pour obtenir des ressources VMware. Ce processus s’exécute par défaut toutes les 15 minutes sur le NetWorker Server, chaque fois qu’une « actualisation » est effectuée dans VMware View de NMC ou chaque fois qu’une tâche de protection de machine virtuelle démarre.

L’administrateur du réseau ou du pare-feu doit vérifier s’il existe des règles de pare-feu qui bloquent ou arrêtent les connexions entre NetWorker Server et vCenter Server sur le port 443. Si des règles sont en place, désactivez-les temporairement pour voir si le problème est résolu dans NetWorker. Si la désactivation des règles permet à VMware View de s’actualiser et d’effectuer les sauvegardes VMware, des modifications doivent être apportées au pare-feu ou aux règles de routage pour ne pas interrompre les connexions entre NetWorker Server et vCenter.

Les schémas de ports requis et de topologie réseau sont détaillés dans le Guide d’intégration de NetWorker VMware, disponible sur le Support Dell à l’adresse Informations de support NetWorker.

L’administrateur réseau peut également utiliser des outils de capture de paquets (tcpdump, Wireshark) à partir de NetWorker Server et de vCenter. Lorsque le problème se reproduit, examinez les paquets capturés pour voir si le serveur vCenter ferme la session d’inventaire.

Windows : https://www.wireshark.org/
Linux NetWorker Server et vCenter Server : https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Exemple de commande :

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup indique que la commande est exécutée en arrière-plan jusqu’à ce que PID soit terminé avec kill .
• -i Spécifie l’interface, vous pouvez utiliser anyou spécifiez un nom d’interface réseau système, tel que eth0.
• -s 0 spécifie une longueur d’accrochage de 65 535 (la totalité de l’image est capturée).
• -C 500 indique une taille de fichier de 500 000 000 octets.
• -w indique l’emplacement du fichier de sortie. Le fichier de sortie affiché est généré automatiquement avec le nom d’hôte du système et le YYYY-MM-DD lors de son exécution. Un fichier .pcap peut être analysé dans Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. L’erreur est signalée dans le daemon.raw du serveur NetWorker.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Désactivez l’option nsrdispd déboguer et arrêter le tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 et les versions ultérieures permettent à l’administrateur de sauvegarde de modifier nsrvim intervalle. L’intervalle par défaut est de 15 minutes ; Cependant, cela peut être prolongé à n’importe quel intervalle jusqu’à 60 minutes. Cette fonctionnalité est décrite dans NVP vProxy : Le processus NetWorker nsrvim s’exécute toutes les 15 minutes, ce qui entraîne une charge applicative élevée sur vCenter Server et une indisponibilité potentielle de VPXD.