NVP-vProxy: i backup hanno esito negativo con codice risorsa non trovata -404 "Aging out inactive session"

L'integrazione NetWorker VMware Protection (NVP) utilizza un appliance vProxy per eseguire i backup delle VM. I backup delle VM hanno esito negativo in modo intermittente con un messaggio Resource not found in NetWorker Management Console (NMC). Un successivo tentativo di backup per la stessa macchina virtuale potrebbe avere esito positivo, ma l'errore può influire su altre macchine virtuali nella stessa finestra di backup. NMC visualizza il seguente errore (l'ID sessione varia a seconda dell'occorrenza):

{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}

Il log delle azioni di backup mostra i tentativi non riusciti del server NetWorker di recuperare lo stato di backup dal vProxy, seguiti dall'errore di backup:

MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ".
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log".
MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed.
MM/DD/YY HH:MM:SS The size of proxied data written has not been set.
MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.

Il vProxy vbackupd-engine.log Mostra il ciclo di vita completo della sessione: il backup viene completato correttamente sul lato vProxy, ma la sessione viene successivamente resa obsoleta ed eliminata prima che il server NetWorker recuperi lo stato:

YYYY/MM/DD HH:MM:SS TRACE:  Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE:  Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE:  Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE:  Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO:   File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO:   Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE:  Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO:   Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO:   Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Reply sent successfully for "GetLog".

Il server NetWorker esegue continuamente il polling del vProxy per verificare lo stato della sessione di backup e richiede i log della sessione al termine del backup. Il vProxy completa il backup e invecchia la sessione dopo che il server NetWorker non richiede un aggiornamento per un paio di minuti. Con l'invecchiamento della sessione, vProxy non è più in grado di fornire al server NetWorker un aggiornamento dello stato o dei log e l'operazione ha esito negativo con il comando resource not found Errore. I ritardi nelle richieste di stato del server NetWorker sono in genere dovuti all'elevata latenza tra lo storage node NetWorker e la comunicazione di Data Domain.

1. Misurare la latenza da storage node a Data Domain:
   • Eseguire un ping continuo con timestamp dallo storage node NetWorker a Data Domain e generare i risultati in un file. Verificare che i fusi orari su entrambi i sistemi corrispondano.
     • Windows: 

       ping -t [DATA_DOMAIN_IP] > ping_output.txt

     • Linux:

       ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt

   • Lasciare il ping in esecuzione in background durante una finestra di backup.
   • Quando l'errore di backup ricorre, esaminare il file ping_output.txt e controllare l'intervallo di tempo corrispondente all'errore per i picchi di latenza.
2. Ridurre la latenza al di sotto di 50 ms:
   • Identificare e risolvere l'origine della latenza elevata tra lo storage node NetWorker e Data Domain. Le cause più comuni includono la congestione della rete, i collegamenti WAN, le inefficienze di routing o il sovraccarico delle apparecchiature di rete.
   • Assicurarsi che la latenza round-trip tra lo storage node NetWorker e Data Domain rimanga inferiore a 50 ms durante l'esecuzione del backup. Questa soglia è documentata nella sezione "Considerazioni sulla latenza di rete e sulle dimensioni della finestra TCP" del manuale Dell NetWorker Performance Optimization Planning Guide.
3. Implementare uno storage node remoto (se non è possibile ridurre la latenza):
   • Se la latenza dallo storage node al Data Domain non può essere ridotta al di sotto di 50 ms (ad esempio, a causa della separazione geografica), configurare uno storage node NetWorker nel sito remoto in cui risiede Data Domain. Questo storage node gestisce i dispositivi Data Domain in locale, eliminando il percorso ad alta latenza.
4. Verificare la risoluzione:
   • Dopo aver ridotto la latenza o implementato uno storage node remoto, attivare i processi di backup per le VM interessate in precedenza.
   • Verificare che i backup siano stati completati correttamente senza errori Resource not found (codice -404) in NMC, nel log delle azioni di backup o nel vbackupd-engine.log vProxy.
   • Monitorare i processi di backup in 3 finestre di backup consecutive per verificare che gli errori intermittenti non si verifichino più.
   • Se gli errori di durata della sessione persistono dopo aver ridotto la latenza al di sotto di 50 ms, contattare il Supporto Dell per ulteriori indagini e fare riferimento a questo articolo della Knowledge Base.

Il seguente articolo descrive in dettaglio come eseguire alcune procedure di risoluzione dei problemi di rete: NetWorker: Come risolvere i problemi relativi alla rete.