NVP-vProxy: Sikkerhetskopiering mislykkes med kode for ressursen finner ikke -404 "Aldring av inaktiv økt"
Summary: Sikkerhetskopieringer av virtuell maskin (VM) utført med NetWorker VMware Protection (NVP) vProxy-verktøyet mislykkes periodevis med feilmeldingen «Finner ikke ressursen» (kode -404) fordi vProxy aldrer en fullført sikkerhetskopieringsøkt før NetWorker-serveren henter den endelige statusen. Lang nettverksventetid mellom NetWorker-lagringsnoden og datadomenet fører til at NetWorker-serveren forsinker statusavspørringsforespørslene, slik at vProxy-økten utløper. Problemet løses ved å redusere ventetiden for lagringsnode-til-datadomene til under 50 ms. ...
Symptoms
NetWorker VMware Protection (NVP)-integreringen bruker et vProxy-verktøy til å utføre VM-sikkerhetskopieringer. VM-sikkerhetskopieringer mislykkes periodevis med meldingen Finner ikke ressurs i NetWorker Management Console (NMC). En påfølgende sikkerhetskopiering på nytt for samme VM kan lykkes, men feilen kan påvirke andre VM-er i samme sikkerhetskopieringsvindu. NMC viser følgende feil (økt-ID-en varierer per forekomst):
{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}
Handlingsloggen for sikkerhetskopiering viser NetWorker-serverens mislykkede forsøk på å hente sikkerhetskopistatus fra vProxy, etterfulgt av sikkerhetskopieringsfeilen:
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ". MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log". MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed. MM/DD/YY HH:MM:SS The size of proxied data written has not been set. MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.
Den vProxy vbackupd-engine.log viser hele øktens livssyklus – sikkerhetskopieringen fullføres på vProxy-siden, men økten blir deretter alderen ut og slettet før NetWorker-serveren henter statusen:
YYYY/MM/DD HH:MM:SS TRACE: Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE: Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE: Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE: Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO: File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO: Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE: Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO: Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO: Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Reply sent successfully for "GetLog".
Cause
NetWorker-serveren spør kontinuerlig vProxy om status for sikkerhetskopieringsøkten og ber om øktloggene når sikkerhetskopieringen er fullført. vProxy fullfører sikkerhetskopieringen og aldrer økten etter at NetWorker-serveren ikke ber om en oppdatering på et par minutter. Etter hvert som økten er eldre, kan ikke vProxy lenger gi NetWorker-serveren en statusoppdatering eller logger, og den mislykkes med resource not found Feil. Forsinkelser i NetWorker-serverstatusforespørselen skyldes vanligvis høy ventetid mellom NetWorker Storage-noden og Data Domain-kommunikasjonen.
Resolution
- Mål ventetiden for lagringsnode-til-datadomene:
- Kjør kontinuerlig ping med tidsangivelse fra NetWorker-lagringsnoden til Data Domain, og send resultatene til en fil. Kontroller at tidssonene på begge systemene samsvarer.
- Windows:
ping -t [DATA_DOMAIN_IP] > ping_output.txt - Linux:
ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt
- Windows:
- La pingen kjøre i bakgrunnen under et sikkerhetskopieringsvindu.
- Når sikkerhetskopieringsfeilen oppstår igjen, går du gjennom ping_output.txt filen og kontrollerer tidsperioden som tilsvarer feilen for latenstidstopper.
- Kjør kontinuerlig ping med tidsangivelse fra NetWorker-lagringsnoden til Data Domain, og send resultatene til en fil. Kontroller at tidssonene på begge systemene samsvarer.
- Reduser ventetiden til under 50 ms:
- Identifiser og løs kilden til høy ventetid mellom NetWorker-lagringsnoden og datadomenet. Årsakene til dette er overbelastning av nettverket, WAN-koblinger, ineffektivitet i ruting eller overbelastet nettverksutstyr.
- Sørg for at rundtursventetiden mellom NetWorker-lagringsnoden og Data Domain holder seg under 50 ms under sikkerhetskopiering. Denne terskelen er dokumentert i delen "TCP-vindusstørrelse og hensyn til nettverksventetid" i veiledningen for planlegging av prestasjonsoptimalisering for Dell NetWorker.
- Implementer en ekstern lagringsnode (hvis ventetiden ikke kan reduseres):
- Hvis ventetiden for lagring-node-til-datadomene ikke kan reduseres til under 50 ms (for eksempel på grunn av geografisk atskillelse), konfigurerer du en NetWorker-lagringsnode på det eksterne stedet der datadomenet holder til. Denne lagringsnoden administrerer Data Domain-enhetene lokalt, noe som eliminerer banen med lang ventetid.
- Bekreft løsning:
- Når ventetiden er redusert eller implementert en ekstern lagringsnode, utløser du sikkerhetskopieringsjobber for de tidligere berørte virtuelle maskinene.
- Bekreft at sikkerhetskopieringene er fullført uten feil i ressursen som ikke ble funnet (kode -404) i NMC, sikkerhetskopihandlingsloggen eller vProxy-vbackupd-engine.log.
- Overvåk sikkerhetskopieringsjobber over tre påfølgende sikkerhetskopieringsvinduer for å bekrefte at de periodiske feilene ikke lenger oppstår.
- Hvis de eldre øktene vedvarer etter redusert ventetid under 50 ms, kan du kontakte Dell Support for ytterligere undersøkelser og se denne KB-artikkelen.
Additional Information
Følgende artikkel beskriver hvordan du utfører noen nettverksfeilsøking: NetWorker: Slik feilsøker du nettverksrelaterte problemer.