RecoverPoint for VMs. Разветвитель в версиях 5.3.4.1 и 6.0.1.x генерирует запросы на вход в DCUI

После обновления RecoverPoint splitter/Kdriver VIB до версии 5.3.4.1 kdriver будет генерировать множество запросов на вход в DCUI в vCenter.

Из /scratch/log/kdriver.log.* на затронутом хосте ESXi:

2024/08/21 14:39:51.268 - #2 - 4561369/4561352 - HostIPDiscoveryMgr_AO_IMPL:  rpEsxInfoScan: /opt/emc/rp/kdriver/bin/rp_rpa_discovery.sh --scan-props & executed successfully
2024/08/21 14:40:26.444 - #2 - 4561369/4561352 - HostIPDiscoveryMgr_AO_IMPL:  rpEsxInfoScan: /opt/emc/rp/kdriver/bin/rp_rpa_discovery.sh --scan-props & executed successfully

Из var/log/hostd.log на затронутом хосте ESXi:

2024-08-18T23:32:18.395Z info hostd[2101236] [Originator@6876 sub=Default opID=esxcli_name] Accepted password for user dcui from 127.0.0.1
2024-08-18T23:32:18.395Z warning hostd[2101236] [Originator@6876 sub=Vimsvc opID=esxcli_name] Refresh function is not configured.User data can't be added to scheduler.User name: dcui
2024-08-18T23:32:18.395Z info hostd[2101236] [Originator@6876 sub=Vimsvc.ha-eventmgr opID=esxcli_name] Event 125221 : User dcui@127.0.0.1 logged in as pyvmomi Python/3.8.18 (VMkernel 7.0.3 x86_64)
2024-08-18T23:32:18.466Z info hostd[2100837] [Originator@6876 sub=Solo.VmwareCLI opID=esxcli_name user=dcui] Dispatch list
2024-08-18T23:32:18.475Z info hostd[2100837] [Originator@6876 sub=Solo.VmwareCLI opID=esxcli_name user=dcui] Dispatch list done

После установки или обновления разветвителя RecoverPoint до версии 6.0.1.x будет создано множество запросов на вход в vCenter через прямой интерфейс пользователя консоли (DCUI).

Из /scratch/log/iofilterd-emcsplitter.log на затронутом хосте ESXi:

2024-08-16T08:24:40.578Z In(14) iofilterd-emcsplitter[16847250]: spl_run_cmd: running command 'VI_USERNAME=dcui esxcli system settings advanced list -o "/UserVars/RP_IP_Discovery_8" | grep "\s\s\sString Value:" | awk -F "String Value: " {'print $2'}'
2024-08-16T08:24:41.145Z In(14) iofilterd-emcsplitter[16847250]: spl_run_cmd: running command 'VI_USERNAME=dcui esxcli system settings advanced list -o "/UserVars/RP_IP_Discovery_9" | grep "\s\s\sString Value:" | awk -F "String Value: " {'print $2'}'
2024-08-16T08:24:41.473Z In(14) iofilterd-emcsplitter[16847250]: spl_run_cmd: running command 'VI_USERNAME=dcui esxcli system settings advanced set -o "/UserVars/emcsplitter_clusters" -s ""'
2024-08-16T08:24:41.720Z In(14) iofilterd-emcsplitter[16847250]: spl_run_cmd: running command 'VI_USERNAME=dcui esxcli system settings advanced list -o "/UserVars/RP_IP_Discovery_10" | grep "\s\s\sString Value:" | awk -F "String Value: " {'print $2'}'

Из var/log/hostd.log на затронутом хосте ESXi:

 

2024-08-16T08:24:40.538Z In(166) Hostd[2099945]: [Originator@6876 sub=Vimsvc.ha-eventmgr opID=esxcli-ed-6cca sid=52e328a0 user=dcui] Event 2652729 : User dcui@127.0.0.1 logged out (login time: Friday, 16 August, 2024 08:24:40 AM, number of API invocations: 7, user agent: pyvmomi Python/3.8.16 (VMkernel; 8.0.1; x86_64))
2024-08-16T08:24:41.059Z In(166) Hostd[2099964]: [Originator@6876 sub=Vimsvc.HaSessionManager opID=esxcli-hostname sid=5284e077] Accepted password for user dcui from 127.0.0.1 - session=5284e077-ac72-8d89-47b2-38feba5f8354
2024-08-16T08:24:41.059Z Wa(164) Hostd[2099964]: [Originator@6876 sub=Vimsvc opID=esxcli-hostname sid=5284e077] Refresh function is not configured.User data can't be added to scheduler.User name: dcui
2024-08-16T08:24:41.059Z In(166) Hostd[2099964]: [Originator@6876 sub=Vimsvc.ha-eventmgr opID=esxcli-hostname sid=5284e077] Event 2652730 : User dcui@127.0.0.1 logged in as pyvmomi Python/3.8.16 (VMkernel; 8.0.1; x86_64)
2024-08-16T08:24:41.109Z In(166) Hostd[2099943]: [Originator@6876 sub=Solo.VmwareCLI opID=esxcli-8f-6cd7 sid=5284e077 user=dcui] Dispatch system.settings.advanced.list
2024-08-16T08:24:41.111Z In(166) Hostd[2099943]: [Originator@6876 sub=Solo.VmwareCLI opID=esxcli-8f-6cd7 sid=5284e077 user=dcui] Dispatch system.settings.advanced.list done
2024-08-16T08:24:41.114Z In(166) Hostd[2099957]: [Originator@6876 sub=Vimsvc.ha-eventmgr opID=esxcli-8f-6cd8 sid=5284e077 user=dcui] Event 2652731 : User dcui@127.0.0.1 logged out (login time: Friday, 16 August, 2024 08:24:41 AM, number of API invocations: 7, user agent: pyvmomi Python/3.8.16 (VMkernel; 8.0.1; x86_64))
2024-08-16T08:24:41.630Z In(166) Hostd[2099938]: [Originator@6876 sub=Vimsvc.HaSessionManager opID=esxcli-hostname sid=520464cb] Accepted password for user dcui from 127.0.0.1 - session=520464cb-08ef-ad94-d4dd-4d02abaf0937
2024-08-16T08:24:41.630Z Wa(164) Hostd[2099938]: [Originator@6876 sub=Vimsvc opID=esxcli-hostname sid=520464cb] Refresh function is not configured.User data can't be added to scheduler.User name: dcui

Эти вызовы входа и выхода умножаются на количество хостов в среде. Он создает несколько событий в vCenter, которые потенциально могут заполнить раздел /seat, из-за чего vCenter перестает отвечать.

Версия

5.3.4.1В RecoverPoint версии 5.3.4.1 новый скрипт с именем rp_rpa_discovery.sh был добавлен в splitter/kdriver VIB. Этот сценарий предназначен для получения сведений о хосте ESXi по расписанию и по умолчанию выполняется каждые 35 с.

Сценарий использует вызовы DCUI для сбора необходимых значений для каждого хоста, создавая частые запросы на вход и выход для каждого хоста в vCenter. Каждая команда, выполняемая на ESXi, регистрируется в базе данных vCenter, и раздел хранилища, содержащий базу данных (/seat), может быть заполнен. Это может привести к ненормальному поведению vCenter.

Влияние этой проблемы зависит от количества хостов, работающих в vCenter. Чем больше хостов, тем быстрее раздел может заполниться, что может привести к сбою службы VXPD.

Это влияет на хосты с версией 7.0.x.

Версия

6.0.1.xВ RecoverPoint версии 6.0.1.x RecoverPoint использует команду esxcli с DCUI для извлечения системной информации. Эти вызовы собирают необходимые значения для каждого хоста, создавая частые запросы на вход и выход для каждого хоста в vCenter. Каждая команда, выполняемая на ESXi, регистрируется в базе данных vCenter, и раздел хранилища, содержащий базу данных (/seat), может быть заполнен. Это может привести к ненормальному поведению vCenter.

В отличие от версии RecoverPoint 5.3.4.1, больше не нужно управлять временем выполнения каждой команды.

Временное решение.

А. Для RecoverPoint для виртуальных машин версии 5.3.4.1 и vSphere 7.0.x:

Вариант 1:

Чтобы уменьшить количество вызовов DCUI, выполните следующие действия.
 

1. Откройте сеанс SSH на ESXi.
2. Выполните следующую команду.

sed -i 's/t_RpEsxInfoScanInterval                     = 35000000  # 35 seconds/t_RpEsxInfoScanInterval                     = 15770000000000 # 6 months As per Dell KB123456 # OLD value is 35000000  # 35 seconds/' /etc/config/emc/rp/kdriver/tweak/tweak.params.splitter

3. Убедитесь, что значение изменено на t_RpEsxInfoScanInterval значение на 1577000000000000 

cat /etc/config/emc/rp/kdriver/tweak/tweak.params.splitter | grep t_RpEsxInfoScanInterval

4. Перезапустите разветвитель 

ps | grep kdriver

pkill -9 kdriver

Вариант 2:

Существует второй вариант временного решения, Dell Technologies может предоставить сценарий для автоматического внесения изменений. 

1. Обратитесь в службу поддержки RecoverPoint, чтобы получить сценарий, есть два варианта, один написан на python, а другой на bash. Имя сценария: kdriver_scantime_change.sh или kdriver_scantime_change.py.
2. Поместите сценарий в каталог /tmp на затронутом хосте ESXi.
3. Выполните команду:

   chmod +x kdriver_scantime_change.sh

   
   или 

   chmod +x kdriver_scantime_change.py

4. Теперь запустите сценарий с помощью команды:

   ./kdriver_scantime_change.sh

   
   или 

   python kdriver_scantime_change.py

Это изменение приведет к тому, что сканирование будет выполняться каждые 6 месяцев, а не каждые 35 с. Это изменение не должно повлиять на обмен данными между RecoverPoint и хостами ESXi.


B — для RecoverPoint для виртуальных машин версии 6.0.1.x и vSphere 8.0.x:

Broadcom запрашивает, чтобы размеры vCenter соответствовали их рекомендациям.

https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.install.doc/GUID-077C7523-E0EA-4922-8D48-C026916323C4.html
 

Если необходимо увеличить размер раздела /seat, следуйте инструкциям в статье Broadcom:

https://knowledge.broadcom.com/external/article/316602/increasing-the-disk-space-for-the-vcente.html

Если раздел используется на 100%, см. инструкции по очистке в статье Broadcom.

https://knowledge.broadcom.com/external/article/318931/storageseat-disk-100-full-on-vcenter-ser.html

C — для RecoverPoint для виртуальных машин версии 5.3.4.1 и vSphere 8.0.x
 

Эта проблема устранена в RecoverPoint для виртуальных машин версии 5.3.4.1.HF2 . 

Чтобы определить, подходит ли модернизация для вашей среды, обратитесь в центр поддержки заказчиков Dell Technologies или к своему менеджеру по обслуживанию и укажите идентификатор этого решения.