NVP-vProxy: Säkerhetskopieringar misslyckas med att resursen inte hittades kod -404 "Åldrande inaktiv session"
Summary: Säkerhetskopieringar av virtuella datorer (VM) som utförs med NetWorker VMware Protection (NVP) vProxy-enheten misslyckas ibland med felet "Resursen hittades inte" (kod -404) eftersom vProxy åldrar ut en slutförd säkerhetskopieringssession innan NetWorker-servern hämtar den slutliga statusen. Hög nätverksfördröjning mellan NetWorker-lagringsnoden och Data Domain gör att NetWorker-servern fördröjer sina statusavsökningsbegäranden, vilket gör att vProxy-sessionen kan upphöra att gälla. Att minska latensen för lagringsnod till datadomän till under 50 ms löser problemet. ...
Symptoms
NetWorker VMware Protection-integreringen (NVP) använder en vProxy-enhet för att utföra säkerhetskopieringar av virtuella datorer. Säkerhetskopieringar av virtuella datorer misslyckas ibland med ett meddelande om att resursen inte hittades i NetWorker Management Console (NMC). Ett efterföljande nytt försök att säkerhetskopiera för samma virtuella dator kan lyckas, men felet kan påverka andra virtuella datorer i samma säkerhetskopieringsfönster. NMC visar följande fel (sessions-ID varierar beroende på förekomst):
{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}
Åtgärdsloggen för säkerhetskopiering visar NetWorker-serverns misslyckade försök att hämta säkerhetskopieringsstatus från vProxy, följt av säkerhetskopieringsfelet:
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ". MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log". MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed. MM/DD/YY HH:MM:SS The size of proxied data written has not been set. MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.
Du har nu möjlighet vProxy vbackupd-engine.log visar hela sessionens livscykel – säkerhetskopieringen slutförs på vProxy-sidan, men sessionen åldras och tas bort innan NetWorker-servern hämtar statusen:
YYYY/MM/DD HH:MM:SS TRACE: Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE: Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE: Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE: Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO: File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO: Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE: Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO: Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO: Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Reply sent successfully for "GetLog".
Cause
NetWorker-servern avsöker kontinuerligt vProxy efter status för säkerhetskopieringssessionen och begär sessionsloggarna när säkerhetskopieringen är klar. vProxy slutför säkerhetskopieringen och åldrar sessionen efter att NetWorker-servern inte begär en uppdatering på ett par minuter. Eftersom sessionen är föråldrad kan vProxy inte längre ge NetWorker-servern en statusuppdatering eller loggar och den misslyckas med resource not found Fel. Fördröjningarna i begäran om statusförfrågan för NetWorker-servern beror vanligtvis på hög latens mellan NetWorker-lagringsnoden och Data Domain-kommunikationen.
Resolution
- Mät svarstiden för lagringsnod till datadomän:
- Kör en tidsstämplad kontinuerlig ping från NetWorker-lagringsnoden till Data Domain och mata ut resultatet till en fil. Kontrollera att tidszonerna i båda systemen matchar.
- Windows:
ping -t [DATA_DOMAIN_IP] > ping_output.txt - Linux:
ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt
- Windows:
- Lämna pingen igång i bakgrunden under en säkerhetskopiering.
- När säkerhetskopieringsfelet upprepas granskar du ping_output.txt-filen och kontrollerar tidsintervallet som motsvarar felet för svarstidstoppar.
- Kör en tidsstämplad kontinuerlig ping från NetWorker-lagringsnoden till Data Domain och mata ut resultatet till en fil. Kontrollera att tidszonerna i båda systemen matchar.
- Minska latensen till under 50 ms:
- Identifiera och lös källan till hög latens mellan NetWorker-lagringsnoden och Data Domain. Vanliga orsaker är överbelastning i nätverket, WAN-länkar, ineffektivitet i routning eller överbelastad nätverksutrustning.
- Se till att svarstiden mellan NetWorker-lagringsnoden och Data Domain förblir under 50 ms under körningen av säkerhetskopieringen. Det här tröskelvärdet dokumenteras i avsnittet om att tänka på TCP-fönsterstorlek och nätverksfördröjning i Dell NetWorker Performance Optimization Planning Guide.
- Distribuera en fjärrlagringsnod (om svarstiden inte kan minskas):
- Om latensen för lagringsnod-till-datadomän inte kan minskas under 50 ms (t.ex. på grund av geografisk separation) konfigurerar du en NetWorker-lagringsnod på den fjärrplats där Data Domain finns. Den här lagringsnoden hanterar Data Domain-enheterna lokalt, vilket eliminerar sökvägen med hög latens.
- Kontrollera upplösning:
- När du har minskat svarstiden eller distribuerat en fjärrlagringsnod utlöser du säkerhetskopieringsjobb för de tidigare berörda virtuella datorerna.
- Bekräfta att säkerhetskopieringarna har slutförts utan fel om att resursen inte hittades (kod -404) i NMC, åtgärdsloggen för säkerhetskopiering eller vProxy-vbackupd-engine.log.
- Övervaka säkerhetskopieringsjobb över 3 på varandra följande säkerhetskopieringsfönster för att bekräfta att de tillfälliga felen inte längre inträffar.
- Om åldrande av sessionsfel kvarstår efter att latensen har minskats till under 50 ms kontaktar du Dells support för ytterligare undersökning och läser den här KB-artikeln.
Additional Information
Följande artikel beskriver hur du utför viss felsökning av nätverk: NetWorker: Så här felsöker du nätverksrelaterade problem.