NVP-vProxy : les sauvegardes échouent avec le code resource not found -404 « Aging out inactive session »

L’intégration de NetWorker VMware Protection (NVP) utilise une appliance vProxy pour effectuer les sauvegardes de machines virtuelles. Les sauvegardes de machines virtuelles échouent par intermittence avec le message Ressource introuvable dans NetWorker Management Console (NMC). Une nouvelle tentative de sauvegarde ultérieure pour la même machine virtuelle peut réussir, mais l’échec peut affecter d’autres machines virtuelles dans la même fenêtre de sauvegarde. NMC affiche l’erreur suivante (l’ID de session varie en fonction de l’occurrence) :

{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}

Le journal des actions de sauvegarde affiche les tentatives infructueuses de NetWorker Server pour récupérer l’état de sauvegarde à partir du vProxy, suivies de l’échec de la sauvegarde :

MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ".
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log".
MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed.
MM/DD/YY HH:MM:SS The size of proxied data written has not been set.
MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.

Le vProxy vbackupd-engine.log montre le cycle de vie complet de la session : la sauvegarde se termine avec succès du côté vProxy, mais la session est ensuite obsolète et supprimée avant que le serveur NetWorker récupère l’état :

YYYY/MM/DD HH:MM:SS TRACE:  Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE:  Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE:  Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE:  Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO:   File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO:   Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE:  Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO:   Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO:   Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Reply sent successfully for "GetLog".

Le serveur NetWorker interroge continuellement le vProxy pour connaître l’état de la session de sauvegarde et demande les logs de session une fois la sauvegarde terminée. Le vProxy termine la sauvegarde et vieillit la session une fois que le NetWorker Server n’a pas demandé de mise à jour pendant quelques minutes. Au fur et à mesure que la session vieillit, le vProxy n’est plus en mesure de fournir au NetWorker Server une mise à jour d’état ou des logs et il échoue avec la commande resource not found Erreur. Les retards de demande d’état du serveur NetWorker sont généralement dus à une latence élevée entre le nœud de stockage NetWorker et la communication Data Domain.

1. Mesurez la latence entre le nœud de stockage et Data Domain :
   • Exécutez un ping continu horodaté à partir du nœud de stockage NetWorker vers le système Data Domain et enregistrez les résultats dans un fichier. Assurez-vous que les fuseaux horaires correspondent sur les deux systèmes.
     • Windows : 

       ping -t [DATA_DOMAIN_IP] > ping_output.txt

     • Linux :

       ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt

   • Laissez le ping s’exécuter en arrière-plan pendant une fenêtre de sauvegarde.
   • Lorsque l’échec de sauvegarde se reproduit, passez en revue le fichier ping_output.txt et vérifiez l’intervalle de temps correspondant à l’échec pour détecter les pics de latence.
2. Réduisez la latence à moins de 50 ms :
   • Identifiez et résolvez la source de forte latence entre le nœud de stockage NetWorker et le système Data Domain. Les causes courantes incluent la congestion du réseau, les liaisons WAN, les inefficacités de routage ou la surcharge de l’équipement réseau.
   • Assurez-vous que la latence aller-retour entre le nœud de stockage NetWorker et le système Data Domain reste inférieure à 50 ms lors de l’exécution de la sauvegarde. Ce seuil est documenté dans la section « Considérations relatives à la latence du réseau et à la taille de la fenêtre TCP » du Guide de planification de l’optimisation des performances de Dell NetWorker.
3. Déployez un nœud de stockage distant (si la latence ne peut pas être réduite) :
   • Si la latence entre le nœud de stockage et Data Domain ne peut pas être réduite en dessous de 50 ms (par exemple, en raison d’une séparation géographique), configurez un nœud de stockage NetWorker sur le site distant où réside le Data Domain. Ce nœud de stockage gère les périphériques Data Domain localement, ce qui élimine le chemin à forte latence.
4. Vérifiez la résolution :
   • Après avoir réduit la latence ou déployé un nœud de stockage distant, déclenchez des procédures de sauvegarde pour les machines virtuelles précédemment affectées.
   • Assurez-vous que les sauvegardes se terminent correctement sans erreur Resource not found (code -404) dans NMC, le journal des actions de sauvegarde ou le vbackupd-engine.log vProxy.
   • Surveillez les procédures de sauvegarde sur 3 fenêtres de sauvegarde consécutives pour confirmer que les pannes intermittentes ne se produisent plus.
   • Si les défaillances liées au vieillissement de la session persistent après la réduction de la latence en dessous de 50 ms, contactez le support Dell pour une procédure d’enquête plus approfondie et consultez cet article de la base de connaissances.

L’article suivant explique comment effectuer un dépannage réseau : NetWorker : Comment résoudre les problèmes liés au réseau.