NVP-vProxy: сбой резервного копирования с кодом «ресурс не найден» -404 «Устаревающая неактивная сессия»

Интеграция NetWorker VMware Protection (NVP) использует устройство vProxy для резервного копирования виртуальных машин. Резервное копирование виртуальных машин периодически завершается сбоем с сообщением «Ресурс не найден» в консоли управления NetWorker Management Console (NMC). Последующая попытка резервного копирования для этой же виртуальной машины может быть успешной, но сбой может повлиять на другие виртуальные машины в том же окне резервного копирования. NMC отображает следующую ошибку (идентификатор сессии зависит от экземпляра):

{"Text":"Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9","Code":-404}

В журнале действий резервного копирования отображаются неудачные попытки сервера NetWorker получить состояние резервного копирования от vProxy, за которыми следует сбой резервного копирования:

MM/DD/YY HH:MM:SS [VM_NAME]: Unable to obtain backup status from vProxy after 5 attempts, failing the backup: Received an HTTP code: 404, libCURL message: "", vProxy message: "Error received from vProxy ="-404: Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9". ", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9", body: " ".
MM/DD/YY HH:MM:SS [VM_NAME]: Unable to download vProxy Session log into file '/nsr/logs/policy/VMWare Protection/[WORKFLOW]/461300-[VM_NAME]-YYYY-MM-DD-HH-MM-SS.log': Possible wrong vProxy hostname or port, resource path not found. Received an HTTP code: 404, libCURL message: "", url: "https://[VPROXY_NAME]:9090/api/v1/BackupVmSessions/44ab916f-7519-40f9-9d2e-e90394782ed9/log".
MM/DD/YY HH:MM:SS [VM_NAME]: Backup failed.
MM/DD/YY HH:MM:SS The size of proxied data written has not been set.
MM/DD/YY HH:MM:SS Save-set ID '849786629' (client '[VCENTER_NAME]': save-set 'vm:50308677-bf8b-c786-0140-6a9c4409b90f:[VCENTER_NAME]') is aborted.

Функция vProxy vbackupd-engine.log показывает полный жизненный цикл сессии — резервное копирование успешно завершается на стороне vProxy, но впоследствии сессия устаревает и удаляется до того, как сервер NetWorker извлекает состояние:

YYYY/MM/DD HH:MM:SS TRACE:  Ending go routine of main session loop for *resources.BackupVmSessions (vm-29424) [VM_NAME].
YYYY/MM/DD HH:MM:SS NOTICE: 44ab916f-7519-40f9-9d2e-e90394782ed9:vm-29424:[VM_NAME]: Backup session is exiting
YYYY/MM/DD HH:MM:SS TRACE:  Resource Update 44ab916f-7519-40f9-9d2e-e90394782ed9:externalId=[VCENTER_NAME]:vm-29424:state=Success:deletable=true.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS NOTICE: Aging out inactive session BackupVmSessions - 44ab916f-7519-40f9-9d2e-e90394782ed9 ([VCENTER_NAME]:vm-29424) last accessed YYYY-MM-DD HH:MM:SS -0500 CDT.
YYYY/MM/DD HH:MM:SS TRACE:  Deleting logfiles of session '44ab916f-7519-40f9-9d2e-e90394782ed9'...
YYYY/MM/DD HH:MM:SS TRACE:  Deleting log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9"...
YYYY/MM/DD HH:MM:SS INFO:   File '/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log' is moved to '/opt/emc/vproxy/runtime/logs/recycle/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log'.
YYYY/MM/DD HH:MM:SS INFO:   Deleted log file "/opt/emc/vproxy/runtime/logs/vbackupd/44ab916f-7519-40f9-9d2e-e90394782ed9.log" while deleting session "44ab916f-7519-40f9-9d2e-e90394782ed9".
YYYY/MM/DD HH:MM:SS TRACE:  Deleting resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS INFO:   Deleted resource: [VCENTER_NAME]:vm-29424 - 44ab916f-7519-40f9-9d2e-e90394782ed9.
YYYY/MM/DD HH:MM:SS INFO:   Saved resource map to "/opt/emc/vproxy/runtime/state/vbackupd/BackupVmSessions.gob".
YYYY/MM/DD HH:MM:SS INFO:   Aged out 1 'BackupVmSessions' sessions, 0 remaining
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Handling Action GetLog for 44ab916f-7519-40f9-9d2e-e90394782ed9 ...
YYYY/MM/DD HH:MM:SS ERROR:  Resource not found: 44ab916f-7519-40f9-9d2e-e90394782ed9
YYYY/MM/DD HH:MM:SS TRACE:  Reply sent successfully for "GetLog".

Сервер NetWorker постоянно опрашивает vProxy на предмет состояния сессии резервного копирования и запрашивает журналы сеансов после завершения резервного копирования. Виртуальный прокси завершает резервное копирование и стареет сеанс после того, как сервер NetWorker не запрашивает обновление в течение нескольких минут. По мере устаревания сеанса vProxy больше не может отправлять серверу NetWorker обновления состояния или журналы, и происходит сбой с командой resource not found Ошибка. Задержки с запросом состояния сервера NetWorker обычно возникают из-за высокой задержки между узлом хранения NetWorker и Data Domain.

1. Измерение задержки между узлами хранения и доменом данных:
   • Выполните непрерывную проверку связи с метками времени из узла хранения NetWorker в Data Domain и выведите результаты в файл. Убедитесь, что часовые пояса в обеих системах совпадают.
     • Windows. 

       ping -t [DATA_DOMAIN_IP] > ping_output.txt

     • Linux.

       ping [DATA_DOMAIN_IP] | while read line; do echo "$(date): $line"; done > ping_output.txt

   • Оставьте проверку связи работающей в фоновом режиме во время окна резервного копирования.
   • При повторном сбоях резервного копирования просмотрите файл ping_output.txt и проверьте на наличие пиков задержки временной диапазон, соответствующий сбою.
2. Уменьшение задержки до менее 50 мс:
   • Определите и устраните источник высокой задержки между узлом хранения NetWorker и Data Domain. К наиболее распространенным причинам относятся перегрузка сети, неработа каналов глобальной сети, неэффективность маршрутизации или перегруженность сетевого оборудования.
   • Убедитесь, что во время выполнения резервного копирования задержка приема-передачи между узлом хранения NetWorker и Data Domain не превышает 50 мс. Это пороговое значение зафиксировано в разделе «Рекомендации по размеру окна TCP и сетевой задержке» Руководства по планированию оптимизации производительности Dell NetWorker.
3. Разверните удаленный узел хранения данных (если задержку уменьшить не удается):
   • Если задержку между узлом хранения и доменом данных не удается уменьшить менее 50 мс (например, из-за географического разделения), настройте узел хранения NetWorker на удаленной площадке, где находится Data Domain. Этот узел хранения управляет устройствами Data Domain локально, исключая путь с высокой задержкой.
4. Проверьте решение:
   • После сокращения задержки или развертывания удаленного узла хранения инициируйте задания резервного копирования для ранее затронутых виртуальных машин.
   • Убедитесь, что резервное копирование успешно завершено без ошибок «Ресурс не найден» (код -404) в NMC, журнале действий резервного копирования или vbackupd-engine.log vProxy.
   • Отслеживайте задания резервного копирования в течение 3 последовательных окон резервного копирования, чтобы убедиться, что периодические сбои больше не возникают.
   • Если сбои, связанные с устареванием сессии, сохраняются после снижения задержки до 50 мс, обратитесь в службу поддержки Dell за дальнейшим расследованием и укажите эту статью базы знаний.

В следующей статье подробно описано, как выполнить поиск и устранение неисправностей сети. NetWorker: как устранить неполадки, связанные с сетью.