NVP-vProxy: 리소스를 찾을 수 없음 코드 -404 "비활성 세션 에이징 중"으로 백업 실패
Summary: NetWorker Server가 최종 상태를 검색하기 전에 vProxy가 완료된 백업 세션을 에이징하기 때문에 NVP(NetWorker VMware Protection) vProxy 어플라이언스로 수행된 VM(Virtual Machine) 백업이 간헐적으로 실패하고 "리소스를 찾을 수 없음" 오류(코드 -404)가 발생합니다. NetWorker Storage Node와 Data Domain 사이의 네트워크 지연 시간이 높으면 NetWorker Server가 상태 폴링 요청을 지연시켜 vProxy 세션이 만료될 수 있습니다. storage-node-to-data-domain 지연 시간을 50ms 미만으로 줄이면 문제가 해결됩니다. ...
Symptoms
NVP(NetWorker VMware Protection) 통합에서는 vProxy 어플라이언스를 사용하여 VM 백업을 수행합니다. NMC(NetWorker Management Console)에 리소스를 찾을 수 없음 메시지와 함께 VM 백업이 간헐적으로 실패합니다. 동일한 VM에 대한 후속 재시도 백업은 성공할 수 있지만 이 실패는 동일한 백업 기간의 다른 VM에 영향을 줄 수 있습니다. NMC에 다음 오류가 표시됩니다(세션 ID는 발생 횟수에 따라 다름).
{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}
백업 작업 로그에는 vProxy에서 백업 상태를 검색하려는 NetWorker Server의 실패한 시도와 백업 실패가 표시됩니다.
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ". MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log". MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed. MM/DD/YY HH:MM:SS The size of proxied data written has not been set. MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.
vProxy vbackupd-engine.log 에는 전체 세션 수명주기가 표시됩니다. vProxy 측에서는 백업이 성공적으로 완료되지만 NetWorker Server가 상태를 검색하기 전에 세션이 오래되어 삭제됩니다.
YYYY/MM/DD HH:MM:SS TRACE: Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE: Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE: Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE: Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO: File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO: Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE: Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO: Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO: Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO: Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE: Reply sent successfully for "GetLog".
Cause
NetWorker Server는 vProxy에서 백업 세션 상태를 지속적으로 폴링하고 백업이 완료되면 세션 로그를 요청합니다. NetWorker Server가 몇 분 동안 업데이트를 요청하지 않으면 vProxy가 백업을 완료하고 세션을 에이징합니다. 세션이 오래되면 vProxy가 더 이상 NetWorker Server에 상태 업데이트 또는 로그를 제공할 수 없으며 resource not found 오류. NetWorker Server 상태 요청이 지연되는 것은 일반적으로 NetWorker Storage Node와 Data Domain 통신 간의 지연 시간이 길기 때문입니다.
Resolution
- storage-node-to-data-Domain 레이턴시 측정:
- NetWorker Storage Node에서 Data Domain으로 타임스탬프 처리된 연속 ping을 실행하고 결과를 파일로 출력합니다. 두 시스템의 시간대가 일치하는지 확인합니다.
- Windows:
ping -t [DATA_DOMAIN_IP] > ping_output.txt - Linux:
ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt
- Windows:
- 백업 윈도우 중에는 ping을 백그라운드에서 실행 상태로 둡니다.
- 백업 실패가 다시 발생하면 ping_output.txt 파일을 검토하고 장애에 해당하는 시간 범위에서 레이턴시 급증을 확인합니다.
- NetWorker Storage Node에서 Data Domain으로 타임스탬프 처리된 연속 ping을 실행하고 결과를 파일로 출력합니다. 두 시스템의 시간대가 일치하는지 확인합니다.
- 레이턴시를 50ms 미만으로 줄입니다.
- NetWorker Storage Node와 Data Domain 사이의 지연 시간이 긴 원인을 식별하고 해결합니다. 일반적인 원인으로는 네트워크 정체, WAN 링크, 라우팅 비효율성 또는 네트워크 장비 과부하가 있습니다.
- 백업 실행 중에 NetWorker Storage Node와 Data Domain 간의 왕복 지연 시간이 50ms 미만으로 유지되도록 합니다. 이 임계값은 Dell NetWorker 성능 최적화 계획 가이드의 "TCP 창 크기 및 네트워크 레이턴시 고려 사항" 섹션에 설명되어 있습니다.
- 원격 스토리지 노드를 배포합니다(레이턴시를 줄일 수 없는 경우).
- 지리적 분리로 인해 storage-node-to-Data-Domain 지연 시간을 50ms 미만으로 줄일 수 없는 경우 Data Domain이 상주하는 원격 사이트에 NetWorker Storage Node를 구성합니다. 이 스토리지 노드는 Data Domain 디바이스를 로컬에서 관리하여 지연 시간이 높은 경로를 제거합니다.
- 해결 방법 확인:
- 레이턴시를 줄이거나 원격 스토리지 노드를 배포한 후 이전에 영향을 받은 VM에 대한 백업 작업을 트리거합니다.
- NMC, 백업 작업 로그 또는 vProxy vbackupd-engine.log에서 리소스를 찾을 수 없음(코드 -404) 오류 없이 백업이 성공적으로 완료되었는지 확인합니다.
- 3회 연속 백업 기간 동안 백업 작업을 모니터링하여 간헐적인 오류가 더 이상 발생하지 않는지 확인합니다.
- 레이턴시를 50ms 미만으로 줄인 후에도 세션 에이징 오류가 지속되면 Dell 지원 부서에 문의하여 추가 조사를 요청하고 이 KB 문서를 참조하십시오.
Additional Information
다음 문서에서는 일부 네트워크 문제 해결을 수행하는 방법에 대해 자세히 설명합니다. NetWorker: 네트워크 관련 문제를 해결하는 방법