NVP-vProxy: Zálohování selže s nenalezeným prostředkem a kódem -404 "Aging out inactive session"
Summary: Zálohování virtuálního počítače (VM) prováděné pomocí zařízení NetWorker VMware Protection (NVP) vProxy občas selhává s chybou "Resource not found" (kód -404), protože systém vProxy dokončí relaci zálohování dříve, než server NetWorker načte konečný stav. Vysoká latence sítě mezi uzlem úložiště NetWorker a systémem Data Domain způsobí, že server NetWorker zpozdí požadavky na dotazování na stav, což umožňuje vypršení platnosti relace vProxy. Problém vyřeší snížení latence mezi uzly úložiště a Data-Domain pod 50 ms. ...
Symptoms
Integrace NetWorker VMware Protection (NVP) využívá k zálohování virtuálních počítačů zařízení vProxy. Zálohování virtuálních počítačů občas selže se zprávou Resource not found v konzoli NetWorker Management Console (NMC). Následné opakované zálohování pro stejný virtuální počítač může být úspěšné, ale chyba může mít vliv na jiné virtuální počítače ve stejném okně zálohování. V konzoli NMC se zobrazí následující chyba (ID relace se liší podle výskytu):
{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}
V protokolu akcí zálohování se zobrazí neúspěšné pokusy serveru NetWorker o načtení stavu zálohy z vProxy a následně selhání zálohování:
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ". MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log". MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed. MM/DD/YY HH:MM:SS The size of proxied data written has not been set. MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.
Systém vProxy vbackupd-engine.log zobrazuje celý životní cyklus relace – zálohování na straně vProxy proběhne úspěšně, ale relace je následně ukončena a odstraněna dříve, než server NetWorker načte stav:
YYYY/MM/DD HH:MM:SS TRACE: Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE: Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE: Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE: Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO: File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO: Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE: Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO: Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO: Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Reply sent successfully for "GetLog".
Cause
Server NetWorker se neustále dotazuje serveru vProxy na stav relace zálohování a po dokončení zálohování si vyžádá protokoly relace. Poté, co server NetWorker několik minut nepožádá o aktualizaci, systém vProxy dokončí zálohování a relaci zestárne. Jelikož relace zastarala, server vProxy již není schopen poskytovat serveru NetWorker aktualizaci stavu nebo protokoly a selže s chybou resource not found Chyba. Zpoždění požadavků na stav serveru NetWorker jsou obvykle způsobena vysokou latencí mezi uzlem úložiště NetWorker a komunikací Data Domain.
Resolution
- Měření latence mezi uzlem úložiště a Data-Domain:
- Spusťte nepřetržitý příkaz ping s časovým razítkem z uzlu úložiště NetWorker do systému Data Domain a výstup výsledků do souboru. Ověřte, že se časová pásma v obou systémech shodují.
- Windows:
ping -t [DATA_DOMAIN_IP] > ping_output.txt - Linux:
ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt
- Windows:
- Nechte příkaz ping spuštěný na pozadí během zálohovacího okna.
- Když dojde k chybě zálohování, zkontrolujte soubor ping_output.txt a zkontrolujte časový rozsah odpovídající selhání, zda nedochází ke špičkám latence.
- Spusťte nepřetržitý příkaz ping s časovým razítkem z uzlu úložiště NetWorker do systému Data Domain a výstup výsledků do souboru. Ověřte, že se časová pásma v obou systémech shodují.
- Snížení latence pod 50 ms:
- Identifikujte a vyřešte zdroj vysoké latence mezi uzlem úložiště NetWorker a systémem Data Domain. Mezi běžné příčiny patří zahlcení sítě, připojení WAN, neefektivita směrování nebo přetížené síťové vybavení.
- Ujistěte se, že latence odezvy mezi uzlem úložiště NetWorker a systémem Data Domain zůstane během provádění zálohy nižší než 50 ms. Tato prahová hodnota je popsána v části "Aspekty velikosti okna TCP a latence sítě" v příručce Dell NetWorker Performance Optimization Planning Guide.
- Nasazení uzlu vzdáleného úložiště (pokud nelze snížit latenci):
- Pokud nelze latenci mezi uzlem úložiště a doménou Data Domain snížit pod 50 ms (například z důvodu geografického oddělení), nakonfigurujte uzel úložiště NetWorker ve vzdáleném umístění, kde se nachází systém Data Domain. Tento uzel úložiště spravuje zařízení Data Domain lokálně, čímž eliminuje cestu s vysokou latencí.
- Ověřte řešení:
- Po snížení latence nebo nasazení uzlu vzdáleného úložiště aktivujte úlohy zálohování pro dříve ovlivněné virtuální počítače.
- Ověřte, že se zálohy úspěšně dokončily bez chyby Resource not found (kód -404) v konzoli NMC, protokolu akcí zálohování nebo vbackupd-engine.log vProxy.
- Sledujte úlohy zálohování během 3 po sobě jdoucích oken zálohování a ujistěte se, že k občasným selháním již nedochází.
- Pokud chyby stárnutí relace přetrvávají i po snížení latence pod 50 ms, obraťte se na podporu společnosti Dell s žádostí o další šetření a odkažte se na tento článek znalostní databáze.
Additional Information
Následující článek obsahuje postup odstraňování problémů se sítí: NetWorker: Jak odstraňovat problémy související se sítí.