NVP-vProxy: Sikkerhedskopieringer mislykkes med ressourcen blev ikke fundet kode -404 "Forældet inaktiv session"
Summary: Sikkerhedskopieringer af virtuelle maskiner (VM), der udføres med NetWorker VMware Protection (NVP) vProxy-enheden, mislykkes med mellemrum med fejlen "Ressource ikke fundet" (kode -404), fordi vProxy får forældet en fuldført sikkerhedskopieringssession, før NetWorker-serveren henter den endelige status. Høj netværksventetid mellem NetWorker-lagernoden og Data Domain får NetWorker-serveren til at forsinke sine anmodninger om statusforespørgsler, hvilket gør det muligt for vProxy-sessionen at udløbe. Reduktion af ventetiden for storage-node-til-data-domæne til under 50 ms løser problemet. ...
Symptoms
NetWorker VMware Protection (NVP)-integrationen bruger en vProxy-enhed til at udføre VM-sikkerhedskopieringer. VM-sikkerhedskopieringer mislykkes periodisk med meddelelsen Ressourcen blev ikke fundet i NetWorker Management Console (NMC). En efterfølgende sikkerhedskopiering for den samme VM kan lykkes, men fejlen kan påvirke andre VM er i det samme sikkerhedskopieringsvindue. NMC viser følgende fejl (sessions-id varierer efter forekomst):
{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}
Sikkerhedskopieringshandlingsloggen viser NetWorker-serverens mislykkede forsøg på at hente sikkerhedskopieringsstatussen fra vProxy efterfulgt af sikkerhedskopieringsfejlen:
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ". MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log". MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed. MM/DD/YY HH:MM:SS The size of proxied data written has not been set. MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.
vProxy vbackupd-engine.log viser hele sessionens livscyklus – sikkerhedskopieringen fuldføres på vProxy-siden, men sessionen ældes og slettes, før NetWorker-serveren henter statussen:
YYYY/MM/DD HH:MM:SS TRACE: Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE: Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE: Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE: Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO: File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO: Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE: Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO: Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO: Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Reply sent successfully for "GetLog".
Cause
NetWorker-serveren undersøger kontinuerligt vProxy for backupsessionsstatus og anmoder om sessionslogfilerne, når sikkerhedskopieringen er fuldført. vProxyen fuldfører sikkerhedskopieringen og ældes sessionen, efter at NetWorker-serveren ikke anmoder om en opdatering i et par minutter. Efterhånden som sessionen ældes, kan vProxy ikke længere give NetWorker-serveren en statusopdatering eller logfiler, og den mislykkes med resource not found Fejl. Forsinkelserne i anmodningen om NetWorker-serverstatus skyldes typisk høj ventetid mellem NetWorker Storage-noden og Data Domain-kommunikationen.
Resolution
- Mål ventetiden for storage-node-til-data-domæne:
- Kør en tidsstemplet kontinuerlig ping fra NetWorker-storagenoden til Data Domain, og send resultaterne til en fil. Sørg for, at tidszonerne på begge systemer stemmer overens.
- Windows:
ping -t [DATA_DOMAIN_IP] > ping_output.txt - Linux:
ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt
- Windows:
- Lad pinget køre i baggrunden under et sikkerhedskopieringsvindue.
- Når sikkerhedskopieringsfejlen opstår igen, skal du gennemgå ping_output.txt-filen og kontrollere det tidsinterval, der svarer til fejlen, for ventetidsspidser.
- Kør en tidsstemplet kontinuerlig ping fra NetWorker-storagenoden til Data Domain, og send resultaterne til en fil. Sørg for, at tidszonerne på begge systemer stemmer overens.
- Reducer ventetiden til under 50 ms:
- Identificer og løs kilden til høj ventetid mellem NetWorker-storagenoden og Data Domain. Almindelige årsager omfatter overbelastning af netværket, WAN-links, ineffektivitet i routing eller overbelastet netværksudstyr.
- Sørg for, at ventetiden tur-retur mellem NetWorker-storagenoden og Data Domain forbliver under udførelse af sikkerhedskopiering. Denne grænse er dokumenteret i afsnittet "Overvejelser om TCP-vinduets størrelse og netværksventetid" i planlægningsguiden til Dell NetWorker-optimering af ydeevne.
- Implementere en fjernstoragenode (hvis ventetiden ikke kan reduceres):
- Hvis ventetiden for storage-node-til-Data-Domain ikke kan reduceres til under 50 ms (f.eks. på grund af geografisk adskillelse), skal du konfigurere en NetWorker-lagernode på det fjernsted, hvor Data Domain er placeret. Denne lagernode administrerer Data Domain-enhederne lokalt og eliminerer stien med høj ventetid.
- Bekræft opløsning:
- Når du har reduceret ventetiden eller udrullet en fjernlagernode, skal du udløse sikkerhedskopieringsjob for de tidligere berørte VM er.
- Bekræft, at sikkerhedskopieringen er fuldført, uden at ressourcen ikke blev fundet (kode -404) i NMC, sikkerhedskopieringshandlingsloggen eller vProxy-vbackupd-engine.log.
- Overvåg sikkerhedskopieringsjob over 3 på hinanden følgende sikkerhedskopieringsvinduer for at bekræfte, at de periodiske fejl ikke længere forekommer.
- Hvis fejlene i sessionens ældes tilstand fortsætter efter reduktion af ventetiden til under 50 ms, skal du kontakte Dell Support for yderligere undersøgelse og se denne KB-artikel.
Additional Information
I følgende artikel beskrives, hvordan du udfører fejlfinding på netværket: NetWorker: Sådan foretages fejlfinding af netværksrelaterede problemer.