З моменту впровадження кластеризованого VMDK у сховищах даних VMFS, такі застосунки, як Windows Server Failover Cluster (WSFC), більше не потребують сирих пристроїв мапінгу пристроїв (RDM) для використання постійних резервувань SCSI-3 (SCSI3-PR). Через це Broadcom не підтримує протокол NVMeoF у RDM. Клієнти, які використовують RDM з SDC і хочуть перейти на NVMe/TCP, повинні конвертувати ці диски у VMDK у сховищі даних VMFS з властивістю Clustered VMDK. Це перетворення неможливо здійснити за допомогою Storage vMotion, тому такі застосунки, як WSFC, виникають простої.

Ця база даних стосується до:

• Клієнти переходять з SDC на NVMe/TCP на системах PowerFlex 5.0
• Середовища VMware vSphere 8.0U3 та 9.x з використанням RDM з багатозаписувальним або спільним фізичним SCSI-шинним контролером для дисків
• Кластери Oracle RAC
• Кластеризація резервного перемикання Windows Server, включаючи:
  • Кластери резервного перемикання SQL Server
  • Кластери файлових серверів
  • Кластерні кворум-диски

Підтримка:

Dell підтримує такі версії цих процедур при використанні кластеризованої VMDK:

• Версії ESXi 8.0U3 та 9.x
  • Ці версії підтримують NVMe/TCP Clustered VMDK на PowerFlex 5.0
• PowerFlex 5.0
  • PowerFlex 4.x не підтримується

При конвертації Oracle RAC, якщо ви не використовуєте кластерний VMDK, підтримується PowerFlex 4.x.

Хоча ця база баз баз зосереджена на кластеризованих додатках, ви можете конвертувати автономні віртуальні машини з RDM у VMDK за допомогою подібних процедур, особливо у випадку Oracle з ASM. Якщо ви використовуєте RDM, бо вам потрібні пристрої прямого проходження, конвертація у VMDK не є правильним рішенням.

Огляд

У цій статті описані підтримувані найкращі практики підходів для конвертації існуючих кластерів застосунків на основі SDC, RDM у спільні VMDK на даних NVMe/TCP. Методи конвертації відрізняються залежно від вимог застосування. Плануйте відповідно. Dell очікує, що користувач цієї бази знань буде добре володіти відповідними технологіями; тому кроки є високорівневими і рідко містять синтаксис.

Тут розглядаються два основні сценарії використання RDM:

1. Oracle RAC з використанням фізичних RDM з мультизаписувальним режимом
2. Кластеризація Windows Server Failover Clustering (WSFC) із використанням фізичних RDM для SCSI3-PR

Існує важлива концепція, пов'язана з контролером віртуального зберігання у VMware, яку необхідно зрозуміти перед тим, як діяти. Ці контролери відповідають за підключення віртуальних дисків до віртуальної машини. Віртуальні контролери не прив'язані до фізичного протоколу зберігання, який використовується базовим сховищем даних. Наприклад, хоча контролер за замовчуванням позначений як «SCSI», він повністю віртуальний і не відображає і не обмежує фізичний транспорт зберігання, що використовується нижче. Через цю абстракції не має функціонального значення, чи підключаєте ви VMDK за допомогою віртуального SCSI чи NVMe контролера, незалежно від того, чи протокол зберігання SCSI чи NVMeoF. На практиці VMware зазвичай рекомендує використовувати SCSI-контролери незалежно від типу зберігання VMware Paravirtual (PVSCSI), оскільки вони зазвичай забезпечують більшу стабільність і покращену продуктивність для більшості робочих навантажень; проте ви можете використовувати контролери NVMe, якщо вам зручніше. 

1. Oracle RAC: Конвертація RDM у VMDK

Деякі середовища Oracle RAC використовують RDM для спільного зберігання файлів даних або груп дисків ASM, а не VMDK. Можливо конвертувати ці налаштування онлайн, хоча деякі методи потребують простою. Ми охоплюємо як RDM, так і ASM.

1.1 RAC без ASM

Якщо Oracle Automatic Storage Management (ASM) не використовується, ви можете конвертувати онлайн за допомогою одного з наступних методів.

Варіант A — онлайн-міграція файлів даних

1. Створюйте нові спільні VMDK:
• VMFS-сховище даних на NVMe/TCP (Кластеризована властивість VMDK НЕ ПОТРІБНА)
• Товста провізія Eager Zeroed (EZT)
• Увімкнена мульти-письменниця
2. Підключіть VMDK до всіх вузлів RAC.
3. Додавайте нові датафайли за допомогою VMDK.
4. Міграція даних з файлів даних на основі RDM до файлів даних на основі VMDK.
5. Відмовтеся від оригінальних RDM-файлів даних.
6. Використовуйте crsctl/ocrconfig для переміщення кластерного програмного забезпечення.

Такий підхід уникає простоїв, але може вимагати переміщення даних на рівні tablespace або об'єкта, що може займати багато часу.

Варіант B — Конвертація в ASM (бажано)

Перехід на ASM спрощує управління довгостроковим зберіганням і є рекомендованим стратегічним кінцевим станом.

Існують два підтримувані підходи:

• Онлайн-міграція до дискових груп ASM
• RMAN використовуєРЕЗЕРВНЕ КОПІЮВАННЯ ЯК КОПІЮВАННЯ БАЗИ ДАНИХ
• Потрібен короткий відключення електроенергії
• Швидше та безпечніше для великих баз даних
• Зазвичай віддають перевагу для виробничих систем

1.2 RAC вже використовує ASM

Якщо використовується ASM, заміна RDM — це просто і онлайн:

1. Створюйте нові спільні VMDK:
• VMFS-сховище даних на NVMe/TCP (кластеризована властивість VMDK НЕ ОБОВ'язкова)
• Товста провізія Нетерпляча Нуль
• Увімкнена мульти-письменниця
2. Додайте VMDK до групи дисків ASM.
3. Дозвольте завершити ребалансування ASM.
4. Відмовляйтеся від ASM-дисків, підтримуваних RDM.
5. Використовуйте crsctl/ocrconfig для переміщення кластерного програмного забезпечення.

Цей процес не потребує простою заявки і несе мінімальний ризик.

2. WSFC: Конвертація RDM у VMDK

⚠️ Важливо: Виконуйте міграцію WSFC по одному диску за раз для збереження стабільності кластера. Цей приклад — кластер із двовузлом.

2.1 Передумови (обов'язкові)

Вимоги до VMware

• Версія апаратного забезпечення VM підтримує кластеризовані VMDK
• Сховище даних VMFS на NVMe/TCP
• Функція кластеризованого VMDK увімкнено
• Товсті провізійні Eager Zeroed диски
• Жодних знімків на кластерних віртуальних машинах
• Зберігання DRS вимкнено

Вимоги до WSFC

• Кластер здоровий
• Очищення валідації кластера (попередження прийнятні)
• Кожен диск має один власний вузол

2.2 Створення нових спільних VMDK

Для кожного RDM-диска:

1. Створіть новий VMDK у сховищі даних NVMe/TCP (потрібен кластерний VMDK):
• Такий самий або більший розмір
• Товста провізія Нетерпляча Нуль
2. Підключіть VMDK до обох вузлів кластера:
• Такий самий тип SCSI-контролера (рекомендовано PVSCSI)
• Той самий номер контролера
• Той самий SCSI ID
• Увімкнути спільне використання фізичної шини SCSI

2.3 Підготувати диск (лише власник-вузол)

На поточному вузлі власника:

1. Запустіть новий диск онлайн.
2. Ініціалізуйте як GPT.
3. Форматуйте NTFS на 128 КБ.
4. Призначте тимчасову літеру для приводу.

На вторинному вузлі залиште диск офлайн.

2.4 Міграція даних (диск за диском)

Приклад для диска даних SQL Server:

1. Проваліть роль SQL для власника.
2. Зупиніть SQL ресурси (SQL Server) за допомогою старого RDM, тримайте диск онлайн.
3. Копіюйте дані за допомогою robocopy, де R — RDM, а V — новий VMDK:
   1. Робокопія R:\ V:\ /MIR /COPYALL /DCOPY:T /R:0 /W:0
4. Перевірте цілісність даних.
5. Змініть літери диска, щоб на новому диску була стара літера.
6. Оновіть залежності ресурсів кластера для посилання на новий диск.
7. Використайте ресурси онлайн.
8. Перенесіть власність на інший вузол для тестування.
9. Після завершення видаліть залежність від старого диска (RDM).
10. Повторюйте для кожного диска з даними

Повторіть цей процес для:

• Логарифмічні диски
• Темп

2.5 Заміна ресурсу кластерного диска

Після валідації:

1. Видаліть старий RDM-диск із кластерної ролі.
2. Додайте новий диск VMDK до ролі.
3. Підтвердіть право власності та залежності.
4. Перенесіть власність на інший вузол для тестування.

2.6 Міграція диска Quorum (якщо використовується)

Щоб запобігти випадковим відключенням кластера:

1. Тимчасово переключити кворум на більшість вузлів замість диска.
   1. Set-ClusterQuorum -NodeMajority
2. Дотримуйтесь розділу 2.3 , щоб додати новий диск.
3. Додайте диск до кластера в інтерфейсі або Add-ClusterDisk у PS.
4. Встановіть новий диск як кворум у UI або Set-ClusterQuorum -DiskWitness "Cluster Disk X"
5. Відключіть і видаліть диск RDM.

3 Видалення RDM

Лише після успішної валідації в будь-якому з випадків використання:

1. Видаліть RDM-відображення з обох віртуальних машин.
2. Від'єднуйте LUN від ESXi-хостів.
3. Umap томів у PowerFlex Manager.

4 Поширені проблеми

1. Відмова у використанні дисків EZT
   • Кластерні рішення, описані тут, потребують EZT – немає підтримки thin або zeroedthick
2. Невідповідна конфігурація контролера. Будь-яке нижче невідповідність заважає диску коректно працювати в кластері.
   • Той самий тип контролера SCSI
   • Той самий номер контролера
   • Той самий SCSI ID
3. Невдача у встановленні мульти-письменника на Oracle EZT vmdks для кожної VM (вузла) для кожного VMDK
4. Невдача у встановленні спільного SCSI фізичного шинного розподілу на контролері для WSFC 

4.1 Підтримка конфігурації

Додаткові посилання на документацію (без певного порядку):

https://learn.microsoft.com/en-us/sql/sql-server/?view=sql-server-ver17

https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/robocopy

https://knowledge.broadcom.com/external/article/313472/microsoft-windows-server-failover-cluste.html

https://blogs.vmware.com/cloud-foundation/2023/07/06/shared-disk-clustering-on-vsphere-getting-out-of-the-multi-writer-flag-jam/

https://www.vmware.com/docs/vmw-vmdk-whitepaper-mmt

https://learn.microsoft.com/en-us/troubleshoot/windows-server/high-availability/configuring-witness-resource

https://learn.microsoft.com/windows-server/administration/windows-commands/robocopy