NVP vProxy: Перегляд VMware не оновлюється, і всі резервні копії віртуальних машин завершуються помилкою

• На сервер NetWorker додані vCenters VMware для виконання резервних копій vProxy NetWorker VMware Protection.
• Вкладка NetWorker Management Console>Protection>VMware View не оновлюється:   

Error fetching vCenter information for: vCenter_Name

Reason(s): Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).

• Автоматизований nsrvim процес, який використовується для запиту інвентаризації vCenter, не працює. daemon.log на сервері NetWorker повідомляє:

106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: nsrvim starting on NetWorker_Hostname (process 6252). 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to NetWorker on 'NetWorker_Hostname'. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying NSR hypervisor resource 'vCenter_Hostname' 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Connecting to service at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Starting session with infrastructure services daemon. 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 5648 7592 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 7952 8524 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 3624 4728 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 6508 3964 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: Querying for inventory at https://vCenter_Hostname/sdk 
106637 MM/DD/YYYY HH:MM:SS AM/PM  1 3 0 2228 7760 0 NetWorker_Hostname nsrdisp_nwbg RAP notice job 'nsrvim' progress message: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

• Резервне копіювання віртуальної машини (ВМ) з vCenter завершується помилкою з подібним повідомленням про помилку, повідомленим у журналі сеансів резервного копіювання:

MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Failed to get work items. Will retry in 360 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Starting nsrvim.
MM/DD/YYYY HH:MM:SS AM/PM Calling the nsrvim program to collect the inventory data.
MM/DD/YYYY HH:MM:SS AM/PM Setting default timeout 1800.
MM/DD/YYYY HH:MM:SS AM/PM Using a timeout of 1800 seconds for the nsrvim request. Minimum timeout is 360 seconds. Maximum timeout is 3600 seconds.
MM/DD/YYYY HH:MM:SS AM/PM Failed to run nsrvim, error: Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay).
MM/DD/YYYY HH:MM:SS AM/PM Unable to fetch data from vCenter: End of file or no input: Operation interrupted or timed out (3600 s receive delay) (3600 s send delay)
MM/DD/YYYY HH:MM:SS AM/PM Action backup vmware-vproxy 'backup' with job id 1769899 is exiting with status 'failed', exit code 1
MM/DD/YYYY HH:MM:SS AM/PM Action has finished with failures.

Linux: /nsr/log/policy/Policy_Name/Workflow_Name
Windows: C:\Program Files\EMC NetWorker\nsr\logs\policy\Policy_Name\Workflow_Name

• Сервер NetWorker може досягати порту 443 на сервері vCenter:

Windows (PowerShell): tnc vCenter_Hostname -port 443
Linux: curl -v vCenter_Hostname:443
NetWorker command: nsrports -t vCenter_Hostname -p 443

• Описані помилки та симптоми можуть бути постійними або з'являтися періодично.

Помилка, яка повертається, полягає в тому, що операцію перервано або час очікування вичерпано. Однак тайм-аут становить 3600 с (1 година), і помилка з'являється до того, як буде пройдено поріг в 1 годину. Процес переривається.

• Проблема з маршрутизацією мережі або брандмауером.
• Сервер vCenter закриває з'єднання перед тим, як nsrvim Процес інвентаризації завершено.

Сценарій 1-го випадку: Брандмауер налаштований за допомогою адаптивного правила, яке дозволяє серверу NetWorker підключатися до vCenter через 443, але закриває з'єднання, поки NetWorker nsrvim процес інвентаризації vCenter.

Сценарій випадку 2: сервер vCenter надсилає сегмент FIN під час nsrvim застосування БРЖ. 

Сервер NetWorker nsrvim process використовується для запиту ресурсів VMware до серверів vCenter. Цей процес виконується за замовчуванням кожні 15 хвилин на сервері NetWorker, щоразу, коли виконується «оновлення» у VMware View NMC, або щоразу, коли запускається завдання із захисту віртуальної машини.

Адміністратор мережі або брандмауера повинен підтвердити, чи існують будь-які правила брандмауера, які блокують або зупиняють з'єднання між сервером NetWorker і сервером vCenter через порт 443. Якщо є якісь правила, тимчасово вимкніть їх, щоб перевірити, чи вирішено проблему в NetWorker. Якщо вимкнення правил дозволяє VMware View оновлюватися та завершувати резервне копіювання VMware, необхідно внести зміни до брандмауера або правил маршрутизації, щоб не розривати з'єднання між сервером NetWorker та vCenter.

Необхідні порти та діаграми топології мережі детально описані в посібнику з інтеграції NetWorker VMware, доступному в службі підтримки Dell за адресою Інформація про підтримку NetWorker.

Адміністратор мережі також може використовувати засоби перехоплення пакетів (tcpdump, Wireshark) з сервера NetWorker і vCenter. Коли проблема відтворюється, перегляньте захоплення пакета, щоб побачити, чи закриває сервер vCenter сеанс інвентаризації.

Windows: сервер NetWorker https://www.wireshark.org/
Linux і сервер vCenter: https://www.tcpdump.org/manpages/tcpdump.1.html

tcpdump Приклад команди:

nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap &

• nohup вказує на те, що команду буде запущено у фоновому режимі, аж доки PID не буде перервано за допомогою kill команда.
• -i вказує інтерфейс, ви можете використовувати anyабо вкажіть ім'я інтерфейсу системної мережі, наприклад eth0.
• -s 0 визначає довжину знімка 65535 (знімається весь кадр).
• -C 500 вказує розмір файлу 500 000 000 байт.
• -w параметр вказує на розташування вихідного файла. Показаний файл результатів буде автоматично створено з назвою системного вузла та РРРР-ММ-ДД, який було запущено. Файл .pcap можна проаналізувати у Wireshark.

dbgcommand -n nsrdispd Debug=9

nsrvim -D7 -d vCenter_Hostname > {Path_to_output_file} 2<&1

nve:~ # dbgcommand -n nsrdispd Debug=9
Process ID List : 14600
Processing PID:14600
nve:~ # nsrvim -D7 -d vcsa.amer.lan > /tmp/nsrvim.out 2<&1
nve:~ # ls -l /tmp | grep nsrvim
-rw------- 1 root      root      60025 May 22 10:18 nsrvim.out
nve:~ #

3. Про помилку повідомляється в daemon.raw сервера NetWorker.

Linux: /nsr/logs/daemon.raw
Windows: C:\Program Files\EMC NetWorker\nsr\logs\daemon.raw
NetWorker: NetWorker: How to use nsr_render_log 
NetWorker: NetWorker: How to automatically render daemon.raw to daemon.log in real time 

4. Вимкніть nsrdispd налагодити та зупинити tcpdump:

dbgcommand -n nsrdispd Debug=0

ps -ef | grep tcpdump

kill -9 PID_of_tcpdump

nve:~ # dbgcommand -n nsrdispd Debug=0
Process ID List : 14600
Processing PID:14600
nve:~ # ps -ef | grep tcpdump
root     29439 29267  0 10:01 pts/0    00:00:00 tcpdump -i any -s 0 -C 500 -w /tmp/nve_2024-05-22.pcap
root     29882 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # kill -9 29439
nve:~ # ps -ef | grep tcpdump
root     29890 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
[1]+  Killed                  nohup tcpdump -i any -s 0 -C 500 -w /tmp/`hostname`_`date -I`.pcap
nve:~ # ps -ef | grep tcpdump
root     29893 29267  0 10:13 pts/0    00:00:00 grep --color=auto tcpdump
nve:~ # ls -l /tmp | grep pcap
-rw------- 1 root      root    5464064 May 22 10:13 nve_2024-05-22.pcap
nve:~ #

NetWorker 19.10 і пізніших версій дозволяє адміністратору резервної копії змінювати nsrvim Інтервал. Інтервал за замовчуванням становить 15 хвилин; Однак цей інтервал може бути продовжений до будь-якого інтервалу до 60 хвилин. Ця функція детально описана в NVP vProxy: Процес NetWorker nsrvim виконується кожні 15 хвилин, що спричиняє високе навантаження на vCenter Server і потенційну недоступність VPXD.