NVP-vProxy. Представление VMware не обновляется, и все резервные копии виртуальных машин завершаются сбоем

• Центры VMware vCenter добавляются на сервер NetWorker для выполнения резервного копирования NetWorker VMware Protection vProxy.
• Не удается обновить вкладку представления VMware в NetWorker Management Console>>:   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Автоматизированная платформа nsrvim Сбой процесса, используемого для запроса инвентаризации vCenter. В daemon.log на сервере NetWorker сообщается:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Резервное копирование виртуальных машин (ВМ) из vCenter завершается сбоем с аналогичным сообщением об ошибке, отображаемым в журнале сеансов резервного копирования:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• Сервер NetWorker может получить доступ к порту 443 на сервере vCenter Server.

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Описанные ошибки и признаки могут постоянно появляться или появляться периодически.

Возвращаемая ошибка заключается в том, что операция прервана или истекло время ожидания. Однако время ожидания составляет 3600 с (1 час), и ошибка появляется до превышения порогового значения в 1 час. Процесс прерывается.

• Проблема с сетевой маршрутизацией или межсетевым экраном.
• Сервер vCenter Server закрывает подключение перед nsrvim Процесс инвентаризации завершен.

Сценарий 1: Для брандмауэра настроено адаптивное правило, которое позволяет серверу NetWorker подключаться к vCenter более 443, но закрывает соединение, когда nsrvim процесса выполняет инвентаризацию vCenter.

Сценарий 2: сервер vCenter отправляет сегмент FIN во время nsrvim приложение PDU. 

Команда сервера NetWorker nsrvim используется для запроса ресурсов VMware на серверах vCenter. Этот процесс запускается по умолчанию каждые 15 минут на сервере NetWorker при каждом выполнении «обновления» в представлении VMware NMC или при запуске задания защиты виртуальной машины.

Администратор сети или межсетевого экрана должен проверить, существуют ли какие-либо правила межсетевого экрана, которые блокируют или останавливают соединения между сервером NetWorker и сервером vCenter через порт 443. Если применяются какие-либо правила, временно отключите их, чтобы проверить, решена ли проблема в NetWorker. Если отключение правил позволяет VMware View обновляться и завершаться резервное копирование VMware, необходимо внести изменения в межсетевой экран или правила маршрутизации, чтобы соединения между сервером NetWorker и vCenter не прерывались.

Необходимые порты и схемы топологии сети подробно описаны в Руководстве по интеграции NetWorker с VMware, которое доступно на веб-сайте службы поддержки Dell по адресу Информация о поддержке NetWorker.

Сетевой администратор может также использовать средства перехвата пакетов (tcpdump, Wireshark) на сервере NetWorker и в vCenter. При воспроизведении проблемы просмотрите записи пакетов, чтобы узнать, не закрывает ли сервер vCenter сессию инвентаризации.

Windows: https://www.wireshark.org/
Linux NetWorker Server и vCenter Server: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Пример команды:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup указывает, что команда выполняется в фоновом режиме до тех пор, пока PID не будет завершен с помощью kill .
• -i указывает интерфейс, вы можете использовать anyили укажите имя сетевого интерфейса системы, например eth0.
• -s 0 указывает длину моментального снимка 65 535 (захватывается весь кадр).
• -C 500 указывает размер файла 500 000 000 байт.
• -w указывает местоположение выходного файла. Отображается выходной файл с именем хоста системы и ГГГГ-ММ-ДД, когда он был запущен. Файл .pcap можно проанализировать в Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Об ошибке сообщается в daemon.raw сервера NetWorker.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Отключите nsrdispd отладка и остановка tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 и более поздних версий позволяет администратору резервного копирования изменять nsrvim интервал. Интервал по умолчанию равен 15 минутам; Однако этот интервал может быть продлен на любой интервал до 60 минут. Эта функция подробно описана в статье NVP vProxy. Процесс nsrvim NetWorker выполняется каждые 15 минут, что приводит к высокой рабочей нагрузке на vCenter Server и потенциальной недоступности VPXD.