После внедрения кластеризованного VMDK в хранилищах данных VMFS такие приложения, как Windows Server Failover Cluster (WSFC), больше не требуют необработанных сопоставлений устройств (RDM) для использования постоянных резервирований SCSI-3 (SCSI3-PR). Поэтому Broadcom не поддерживает протокол NVMeoF в RDM. Заказчики, использующие RDM с SDC и желающие перейти на NVMe/TCP, должны преобразовать эти диски в VMDK в хранилище данных VMFS со свойством Clustered VMDK. Это преобразование невозможно выполнить с помощью Storage vMotion, поэтому такие приложения, как WSFC, будут простаивать.

Эта статья базы знаний относится к:

• Заказчики, переходящие с SDC на NVMe/TCP в системах PowerFlex 5.0
• Среды VMware vSphere 8.0U3 и 9.x, использующие RDM либо с несколькими устройствами записи, либо с общим контроллером физической шины SCSI для дисков.
• Кластеры Oracle RAC
• Отказоустойчивая кластеризация Windows Server, в том числе:
  • Отказоустойчивые кластеры SQL Server
  • Кластеры файловых серверов
  • Диски кворума кластера

Поддержка:

При использовании кластеризованного VMDK Dell поддерживает следующие версии для этих процедур:

• ESXi версий 8.0U3 и 9.x
  • Эти версии поддерживают кластерный VMDK NVMe/TCP на PowerFlex 5.0
• PowerFlex 5.0
  • PowerFlex 4.x не поддерживается

Если при преобразовании Oracle RAC не используется кластеризованный VMDK, поддерживается PowerFlex 4.x.

Хотя эта статья базы знаний ориентирована на кластерные приложения, автономные виртуальные машины с RDM можно преобразовать в VMDK, используя аналогичные процедуры, особенно в случае Oracle с ASM. Если вы используете RDM, поскольку вам требуются прямые транзитные устройства, преобразование в VMDK не является подходящим решением.

Обзор

В этой статье описываются поддерживаемые передовые подходы к преобразованию существующих кластеров приложений на основе SDC на основе RDM в общие VMDK в хранилищах данных NVMe/TCP. Методы преобразования различаются в зависимости от требований приложения. Планируйте соответствующим образом. Dell ожидает, что пользователь, описанный в этой статье базы знаний, владеет описываемыми технологиями. Таким образом, шаги являются высокоуровневыми и редко включают синтаксис.

Здесь рассматриваются два основных сценария использования RDM:

1. Oracle RAC , использующий физические RDM с несколькими устройствами записи
2. Windows Server Failover Clustering (WSFC) с использованием физических модулей RDM для SCSI3-PR

Существует важная концепция, связанная с виртуальным контроллером системы хранения данных в виртуальных машинах VMware, которую необходимо понять, прежде чем продолжить. Эти контроллеры отвечают за подключение виртуальных дисков к виртуальной машине. Виртуальные контроллеры не привязаны к протоколу физического хранилища, который используется базовым хранилищем данных. Например, хотя контроллер по умолчанию помечен как «SCSI», он является полностью виртуальным и не отражает и не ограничивает физический транспорт хранилища, используемый под ним. Из-за этой абстракции не имеет принципиальной разницы, подключается ли VMDK с помощью виртуального контроллера SCSI или NVMe, независимо от того, используется протокол хранения SCSI или NVMeoF. На практике VMware, как правило, рекомендует использовать контроллеры SCSI независимо от типа хранилища VMware Paravirtual (PVSCSI), поскольку они обеспечивают большую стабильность и производительность для большинства рабочих нагрузок. однако при желании можно использовать контроллеры NVMe. 

1. Oracle RAC. Преобразование RDM в VMDK

Некоторые среды Oracle RAC используют RDM для предоставления общего хранилища для файлов данных или групп дисков ASM, а не VMDK. Эти настройки можно преобразовать онлайн, хотя некоторые методы требуют простоя. Мы охватываем как RDM, так и ASM.

1.1 RAC без ASM

Если Oracle Automatic Storage Management (ASM) не используется, можно выполнить преобразование в режиме онлайн одним из следующих методов.

Вариант А. Миграция файлов данных в режиме онлайн

1. Создание новых общих VMDK:
• Хранилище данных VMFS на NVMe/TCP (свойство кластеризованного VMDK НЕ требуется)
• Thick Provision Eager Zeroed (EZT)
• Поддержка нескольких устройств записи
2. Подключите VMDK ко всем узлам RAC.
3. Добавляйте новые файлы данных с помощью VMDK.
4. Перенос данных из файлов данных на основе RDM в файлы данных на основе VMDK.
5. Удалите исходные файлы данных на основе RDM.
6. Используйте crsctl/ocrconfig для перемещения ПО кластера.

Такой подход позволяет избежать простоев, но может потребовать перемещения данных на уровне табличного пространства или на уровне объекта, что может занять много времени.

Вариант B — преобразование в ASM (предпочтительно)

Переход на ASM упрощает долгосрочное управление хранением и является рекомендуемым стратегическим конечным состоянием.

Существуют два поддерживаемых подхода:

• Оперативный перенос в дисковые группы ASM
• RMAN используетBACKUP AS COPY DATABASE
• Требуется кратковременный перебой в работе
• Быстрее и безопаснее для больших баз данных
• Обычно предпочтительно для производственных систем

1.2 RAC уже использует ASM

Если используется ASM, замена RDM выполняется просто и в режиме онлайн:

1. Создание новых общих VMDK:
• Хранилище данных VMFS на NVMe/TCP (свойство кластеризованного VMDK НЕ требуется)
• Толстая провизия с нетерпеливым обнулением
• Поддержка нескольких устройств записи
2. Добавьте VMDK в группу дисков ASM.
3. Дождитесь завершения повторной балансировки ASM.
4. Удалите диски ASM с поддержкой RDM.
5. Используйте crsctl/ocrconfig для перемещения ПО кластера.

Этот процесс не требует простоев приложений и представляет минимальный риск.

2. WSFC: Преобразование RDM в VMDK

⚠️ Важно! Выполняйте перенос WSFC по одному диску за раз для поддержания стабильности кластера. В данном примере представлен кластер из двух узлов.

2.1 Предварительные требования (обязательные)

Требования VMware

• Аппаратная версия виртуальной машины, поддерживающая кластеризованные VMDK
• Хранилище данных VMFS на NVMe/TCP
• Функция кластеризованного VMDK включена
• Диски Thick Provision Eager Zeroed
• Нет моментальных снимков на виртуальных машинах кластера
• Функция DRS хранилища отключена

Требования WSFC

• Кластер работоспособен
• Очистка проверки кластера (допускаются предупреждения)
• У каждого диска есть один владеющий узел

2.2 Создание новых общих VMDK

Для каждого диска RDM:

1. Создайте новый VMDK в хранилище данных NVMe/TCP (требуется кластеризованный VMDK):
• Такой же или больший размер
• Толстая провизия с нетерпеливым обнулением
2. Подключите VMDK к обоим узлам кластера:
• Один и тот же тип контроллера SCSI (рекомендуется PVSCSI)
• Тот же номер контроллера
• Тот же идентификатор SCSI
• Включение общего доступа к физической шине SCSI

2.3 Подготовка диска (только для узла-владельца)

На текущем узле-владельце:

1. Переведите новый диск в оперативный режим.
2. Инициализация в формате GPT.
3. Форматирование NTFS размером 128 Кбайт.
4. Назначьте временную букву диска.

На вторичном узле переведите диск в автономный режим.

2.4 Перенос данных (диск за диском)

Пример диска данных SQL Server:

1. Ошибка роли SQL на узел-владелец.
2. Остановите ресурсы SQL (SQL Server) с помощью старого RDM, оставьте диск в оперативном режиме.
3. Скопируйте данные с помощью robocopy, где R — RDM, а V — новый VMDK:
   1. robocopy R:\ V:\ /MIR /COPYALL /DCOPY:T /R:0 /W:0
4. Проверьте целостность данных.
5. Измените буквы дисков, чтобы новый диск имел старую букву.
6. Обновите зависимости ресурсов кластера для ссылки на новый диск.
7. Переведите ресурсы в онлайн.
8. Переместите владение на другой узел для тестирования.
9. По завершении удалите зависимость от старого диска (RDM).
10. Повторите эти действия для каждого диска данных

Повторите этот процесс для:

• Диски журналов
• Temp

2.5. Замена дискового ресурса кластера

После проверки:

1. Удалите старый диск RDM из роли кластера.
2. Добавьте новый диск VMDK в роль.
3. Подтверждение права собственности и зависимостей.
4. Переместите владение на другой узел для тестирования.

2.6 Перенос дисков кворума (если используется)

Чтобы предотвратить случайный сбой кластера, выполните следующие действия.

1. Временно переключите кворум на большинство узлов, а не на диск.
   1. Set-ClusterQuorum -NodeMajority
2. Для добавления нового диска следуйте инструкциям раздела 2.3 .
3. Добавьте диск в кластер в пользовательском интерфейсе или с помощью Add-ClusterDisk в PS.
4. Задайте новый диск в качестве кворума в пользовательском интерфейсе или в Set-ClusterQuorum -DiskWitness "Cluster Disk X"
5. Перейдите в автономный режим и удалите диск RDM.

3 Удаление RDM

Только после успешной валидации в любом сценарии использования:

1. Удалите сопоставления RDM с обеих виртуальных машин.
2. Отсоедините LUN от хостов ESXi.
3. Сопоставьте тома в PowerFlex Manager.

4 Распространенные проблемы

1. Сбой использования дисков EZT
   • Для рассмотренных здесь кластерных решений требуется EZT — нет поддержки тонкой или нулевой толщины
2. Несоответствие конфигурации контроллера. Любое указанное ниже несоответствие препятствует правильной работе диска в кластере.
   • Тот же тип контроллера SCSI
   • Тот же номер контроллера
   • Тот же идентификатор SCSI
3. Сбой при установке нескольких устройств записи в Oracle EZT vmdks на каждой виртуальной машине (узле) для каждого VMDK
4. Не удалось настроить совместное использование физической шины SCSI на контроллере для WSFC 

4.1 Поддержка конфигураций

Ссылки на дополнительную документацию (в произвольном порядке):

https://learn.microsoft.com/en-us/sql/sql-server/?view=sql-server-ver17

https://learn.microsoft.com/sql/sql-server/failover-clusters/windows/change-failover-cluster-instance-storage

https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/robocopy

https://knowledge.broadcom.com/external/article/313472/microsoft-windows-server-failover-cluste.html

https://blogs.vmware.com/cloud-foundation/2023/07/06/shared-disk-clustering-on-vsphere-getting-out-of-the-multi-writer-flag-jam/

https://www.vmware.com/docs/vmw-vmdk-whitepaper-mmt

https://learn.microsoft.com/en-us/troubleshoot/windows-server/high-availability/configuring-witness-resource

https://learn.microsoft.com/windows-server/administration/windows-commands/robocopy