NVP-vProxy: Back-ups mislukken met code niet gevonden bron -404 "Aging out inactive session"

De integratie met NetWorker VMware Protection (NVP) maakt gebruik van een vProxy-apparaat om VM-back-ups uit te voeren. VM-back-ups mislukken af en toe met het bericht dat een bron niet gevonden wordt weergegeven in de NetWorker Management Console (NMC). Een volgende back-uppoging voor dezelfde VM kan slagen, maar de fout kan gevolgen hebben voor andere VM's in hetzelfde back-upvenster. De NMC geeft de volgende fout weer (sessie-ID verschilt per gebeurtenis):

{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}

In het back-upactielogboek worden de mislukte pogingen van de NetWorker-server weergegeven om de back-upstatus van de vProxy op te halen, gevolgd door de back-upfout:

MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ".
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log".
MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed.
MM/DD/YY HH:MM:SS The size of proxied data written has not been set.
MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.

De vProxy vbackupd-engine.log toont de volledige levenscyclus van de sessie: de back-up is voltooid aan de vProxy-kant, maar de sessie wordt vervolgens verouderd en verwijderd voordat de NetWorker-server de status ophaalt:

YYYY/MM/DD HH:MM:SS TRACE:  Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE:  Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE:  Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE:  Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO:   File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO:   Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE:  Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO:   Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO:   Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Reply sent successfully for "GetLog".

De NetWorker-server peilt voortdurend de vProxy naar de status van de back-upsessie en vraagt de sessielogboeken op zodra de back-up is voltooid. De vProxy voltooit de back-up en veroudert de sessie nadat de NetWorker-server een paar minuten lang geen update heeft aangevraagd. Naarmate de sessie ouder wordt, kan de vProxy de NetWorker-server geen statusupdate of logboeken meer geven en mislukt het met de resource not found Fout. De vertragingen bij het aanvragen van de status van de NetWorker Server zijn meestal te wijten aan een hoge latentie tussen het NetWorker Storage-knooppunt en de Data Domain-communicatie.

1. Meet de latentie van storage-knooppunt-naar-datadomein:
   • Voer een continue ping met tijdstempel uit van het NetWorker-storageknooppunt naar het Data Domain en voer de resultaten uit naar een bestand. Zorg ervoor dat de tijdzones op beide systemen overeenkomen.
     • Windows: 

       ping -t [DATA_DOMAIN_IP] > ping_output.txt

     • Linux:

       ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt

   • Laat de ping op de achtergrond actief tijdens een back-upvenster.
   • Wanneer de back-upfout zich opnieuw voordoet, bekijkt u het bestand ping_output.txt en controleert u het tijdsbereik dat overeenkomt met de fout op latentiepieken.
2. Verlaag de latentie tot minder dan 50 ms:
   • Identificeer en los de bron van de hoge latentie tussen het NetWorker-storageknooppunt en het Data Domain op. Veelvoorkomende oorzaken zijn netwerkcongestie, WAN-koppelingen, routeringsinefficiëntie of overbelaste netwerkapparatuur.
   • Zorg ervoor dat de retourlatentie tussen het NetWorker-storageknooppunt en het Data Domain tijdens het uitvoeren van de back-up onder de 50 ms blijft. Deze drempelwaarde wordt beschreven in het gedeelte "TCP-venstergrootte en overwegingen bij netwerklatentie" van de Dell NetWorker Performance Optimization Planning Guide.
3. Implementeer een knooppunt voor externe opslag (als de latentie niet kan worden verminderd):
   • Als de latentie van het storageknooppunt naar datadomein niet kan worden verlaagd tot minder dan 50 ms (bijvoorbeeld vanwege geografische scheiding), configureert u een NetWorker-storageknooppunt op de externe locatie waar het Data Domain zich bevindt. Dit storageknooppunt beheert de Data Domain-apparaten lokaal, waardoor het pad met hoge latentie wordt geëlimineerd.
4. Controleer de oplossing:
   • Nadat u de latentie hebt verminderd of een extern storageknooppunt hebt geïmplementeerd, activeert u back-uptaken voor de eerder getroffen VM's.
   • Controleer of de back-ups zijn voltooid zonder fouten met betrekking tot het niet vinden van bronnen (code -404) in NMC, het back-upactielogboek of de vProxy-vbackupd-engine.log.
   • Bewaak back-uptaken gedurende 3 opeenvolgende back-upvensters om te controleren of de onregelmatige fouten niet meer optreden.
   • Als de verouderingsfouten van de sessie zich blijven voordoen nadat de latentie is verminderd tot minder dan 50 ms, neemt u contact op met Dell Support voor verder onderzoek en raadpleegt u dit KB-artikel.

In het volgende artikel wordt beschreven hoe u enkele netwerkproblemen kunt oplossen: NetWorker: Netwerkgerelateerde problemen oplossen.