PowerFlex 4.X. Сбой преобразования ОС из-за отсутствия виртуальных IP-адресов

• Операция преобразования ОС выполняется на одном или нескольких узлах в группе Storage Only (SO) и происходит сбой процесса.
• Целевой узел успешно преобразован в ОС SLES.
• После операции преобразования кластер MDM переходит в другой режим конфигурации, и его состояние отображается как «Ухудшено».
• --query_cluster В выходных данных могут отображаться узлы, которые изначально были управляющими MDM, в качестве Tie-Breaker и наоборот.  Роль может не совпадать с ролью actor_role в конфигурационном файле MDM - /opt/emc/scaleio/mdm/cfg/conf.txt.

Пример:

Преобразование перед загрузкой ОС

Кластер MDM имеет режим конфигурации 5_node и нормальное (работоспособное) состояние, а узел xxx002 находится в нормальном состоянии и имеет статус менеджера MDM (основной).

Преобразование после замены ОС

Кластер MDM имеет режим конфигурации 3_node и состояние«Ограниченная производительность (не работоспособно), а узел xxx002 находится в состоянии ошибки, а менеджер MDM (дополнительный)».

Для файла конфигурации для узла xxx002 установлено значение actor_role_is_manager=0, т. е. Tie-Breaker:

Воздействие

Кластер MDM находится в сбойном и непредвиденном состоянии — возможно, DU.

Во время преобразования ОС PFMP выполняет повторную балансировку ролей MDM между доступными узлами. PFMP использует виртуальные IP-адреса кластера MDM в качестве опоры для установки и добавления узлов кластера MDM, а также резервного диспетчера/тай-брейкеров.

После успешного преобразования ОС узла в SLES запускается процесс повторной балансировки узлов кластера MDM. Так как виртуальные IP-адреса указывают, что нужно искать 2 IP-адреса, а узлы имеют 4 IP-адреса, поиск завершается сбоем и установка продолжается, по умолчанию для установки устанавливается резервный тай-брейк.

Cluster:
    Name: sio-1, ID: 0a1707234b50f20f, Mode: 5_node, State: Normal, Active: 5/5, Replicas: 3/3
	...
    Virtual IP Addresses: 10.122.160.100, 10.123.160.100	<<<<<
Primary MDM:
    Name: sio-101, ID: 0x6bd7be1d61b4c900
        IP Addresses: 10.122.160.101, 10.123.160.101, 10.122.224.101, 10.123.224.101, Port: 9011, Virtual IP interfaces: bond0.393, bond1.398	<<<<<
        ... 
Secondary MDMs:
    Name: sio-102, ID: 0x0b5a343e4caba901
        IP Addresses: 10.122.160.102, 10.123.160.102, 10.122.224.102, 10.123.224.102, Port: 9011, Virtual IP interfaces: bond0.393, bond1.398	<<<<<
        ....
    Name: sio-104, ID: 0x749bb9791864d903
        IP Addresses: 10.122.160.104, 10.123.160.104, 10.122.224.104, 10.123.224.104, Port: 9011, Virtual IP interfaces: bond0.393, bond1.398	<<<<<
        ....
Tie-Breakers:
    Name: sio-105, ID: 0x612f04b03a127004
        IP Addresses: 10.122.160.105, 10.123.160.105, 10.122.224.105, 10.123.224.105, Port: 9011	<<<<<
        ...
    Name: sio-103, ID: 0x154f223f2046a305
        IP Addresses: 10.122.160.103, 10.123.160.103, 10.122.224.103, 10.123.224.103, Port: 9011	<<<<<
        ...
Standby MDMs:
    Name: sio-106, ID: 0x6bd7be1d61b4c900, Manager
        IP Addresses: 10.122.160.106, 10.123.160.106, 10.122.224.106, 10.123.224.106, Port: 9011, Virtual IP interfaces: bond0.393, bond1.398	<<<<<
        ...
	Name: sio-107, ID: 0x612f04b03a127004, Tie-Breaker
        IP Addresses: 10.122.160.107, 10.123.160.107, 10.122.224.107, 10.123.224.107, Port: 9011	<<<<<
    Name: sio-108, ID: 0x0b5a343e4caba901, Manager
        IP Addresses: 10.122.160.108, 10.123.160.108, 10.122.224.108, 10.123.224.108, Port: 9011, Virtual IP interfaces: bond0.393, bond1.398	<<<<<
        ...
    Name: sio-112, ID: 0x612f04b03a127004, Tie-Breaker
        IP Addresses: 10.122.160.112, 10.123.160.112, 10.122.224.112, 10.123.224.112, Port: 9011	<<<<<

В результате процесс установки вернется к роли MDM по умолчанию, Tie-Breaker, и все MDM будут установлены как Tie-Breaker, что нарушит работу кластера MDM:

DEBUG [2025-11-23T06:51:03.699277] 316828: provider/elementmanager/scaleio.rb:5702:in `add_mdm': scaleio-block-legacy-gateway: Failed to add MDM sio-102 to VxOS cluster with error {"message"=>"Illegal number of IP addresses. The Primary MDM, the Secondary MDM, and the Tie-Breaker must each have the same number of IP addresses.", "httpStatusCode"=>500, "errorCode"=>298}. Retying 1 

Если кластер MDM находится в состоянии сбоя, как указано выше, обратитесь за помощью в восстановлении кластера к специалистам EE.

Чтобы избежать сбоя преобразования ОС или DU, перед попыткой преобразования ОС выполните следующие действия.

Участники кластера MDM и резервные MDM должны иметь такое же количество IP-адресов (IP-адресов DATA), что и виртуальные IP-адреса кластера, путем увеличения количества виртуальных IP-интерфейсов и добавления виртуальных IP-адресов или уменьшения IP-адресов ДАННЫХ MDM.

Для устранения проблемы выполните одно из следующих действий: увеличьте количество виртуальных IP-адресов кластера MDM, чтобы они совпадали с количеством IP-адресов DATA основного/дополнительного/tie-breaker/резервного MDM, или уменьшите IP-адреса DATA, чтобы привести их в соответствие с количеством виртуальных IP-адресов кластера MDM.

Увеличьте количество виртуальных IP-адресов кластера MDM.

1) Добавьте дополнительные виртуальные IP-адреса в кластер и виртуальные IP-интерфейсы для основного и вторичного MDM.

a. Очистите существующие виртуальные IP-адреса.

scli --modify_cluster_virtual_ips --clear_all

B. Добавьте старый и новый виртуальные IP-адреса (список через запятую, опускайте пробел после каждой запятой):

scli --modify_cluster_virtual_ips --cluster_virtual_ip <Virtual IP 1,Virtual IP 2,Virtual IP 3,Virtual IP 4>

 c. Очистите существующие виртуальные IP-интерфейсы:

scli --modify_virtual_ip_interfaces --clear_all 

2) Обновите SDC/s и любой другой клиент, использующий виртуальные IP-адреса кластера, на новые IP-адреса:

• Linux. /opt/emc/scaleio/sdc/bin/drv_cfg

  Новый список IP-адресов состоит из списка, разделенного запятыми, и после каждой запятой должен опускаться пробел. Если вы хотите сохранить существующие адреса, включите их в этот список.

  drv_cfg --mod_mdm_ip --ip <One of the existing MDM IP addresses>  <All MDM IP addresses>

Гдфгдфгдфгдфгд

• Windows: C:\Program Files\emc\scaleio\sdc\bin\drv_cfg 

•  ESXi:
  • Получите текущую конфигурацию. Команда вернет строку, представляющую все текущие параметры конфигурации ESXi, идентификатор GUID SDC и IP-адреса MDM:

cat /etc/vmware/esx.conf | grep scini | grep options

• • Используйте сведения из выходных данных, чтобы выполнить команду для добавления новых виртуальных IP-адресов (список через запятую, опускайте пробел после каждой запятой):

    <XXX> — это сгенерированная пользователем строка GUID. GUID можно проверить с помощью команды SCLI «--query_all_sdc» на основном MDM.
    <> LIST_VIP_MDM_IPS — это список всех IP-адресов MDM, разделенных запятыми, или виртуальных IP-адресов MDM. Не включайте сюда IP-адреса тай-брейка.

    esxcli system module parameters set -m scini -p "IoctlIniGuidStr=<XXX> IoctlMdmIPStr=LIST_VIP_MDM_IPS>"

• Переведите ESXi в режим обслуживания и перезагрузите систему.

3) Удалите группу групповой аутентификации с помощью пользовательского интерфейса PFMP и повторно добавьте ее, используя все виртуальные IP-адреса кластера MDM, старые и новые.

4. После успешного завершения диалога об ОС и перехода системы в работоспособное состояние, чтобы отменить изменения, выполните шаги 1–3.

Уменьшите количество IP-адресов данных MDM.

1) Переведите кластер MDM в режим 3_node или 1_node в зависимости от текущего режима кластера.

2) Повторно добавьте все MDM (резервные, TB и дополнительные) с меньшим количеством IP-адресов данных MDM в зависимости от количества виртуальных IP-адресов кластера.

Затронутые версии

PFMP 4.x

Исправлено в версии

ПФМП 5.1

Связанные статьи:

PowerFlex 4.X. Сбой преобразования ОС из-за неправильного порядка IP-ролей SDS

PowerFlex 4.X. Сбой преобразования ОС из-за ненастроенного резервного MDM