Seit der Einführung von Clustered VMDK auf VMFS-Datenspeichern benötigen Anwendungen wie Windows Server Failover Cluster (WSFC) keine Raw Device Mappings (RDMs), um dauerhafte SCSI-3-Reservierungen (SCSI3-PR) zu verwenden. Aus diesem Grund bietet Broadcom keine RDM-Unterstützung für das NVMeoF-Protokoll. Kunden, die RDMs mit dem SDC verwenden und zu NVMe/TCP wechseln möchten, müssen diese Festplatten in VMDKs auf einem VMFS-Datenspeicher mit der Eigenschaft "Clustered VMDK" konvertieren. Diese Konvertierung kann nicht mit Storage vMotion durchgeführt werden, sodass bei Anwendungen wie WSFC Ausfallzeiten auftreten.

Dieser Wissensdatenbank-Artikel gilt für:

• Kunden, die von SDC zu NVMe/TCP auf PowerFlex 5.0-Systemen wechseln
• VMware vSphere 8.0U3- und 9.x-Umgebungen, die RDMs mit Multi-Writer oder gemeinsam genutztem physischem SCSI-Bus-Controller für Festplatten verwenden
• Oracle RAC-Cluster
• Windows Server-Failover-Clustering, einschließlich:
  • SQL Server-Failovercluster
  • Dateiservercluster
  • Cluster-Quorum-Festplatten

Support:

Dell unterstützt die folgenden Versionen für diese Verfahren bei Verwendung von Cluster-VMDK:

• ESXi-Versionen 8.0U3 und 9.x
  • Diese Versionen unterstützen NVMe/TCP Clustered VMDK auf PowerFlex 5.0
• PowerFlex 5.0
  • PowerFlex 4.x wird nicht unterstützt

Wenn Sie bei der Konvertierung von Oracle RAC keine geclusterte VMDK verwenden, wird PowerFlex 4.x unterstützt.

Während sich dieser Wissensdatenbank-Artikel auf Clusteranwendungen konzentriert, können Sie eigenständige VMs mit RDMs mithilfe ähnlicher Verfahren in VMDKs konvertieren, insbesondere im Fall von Oracle mit ASM. Wenn Sie RDMs verwenden, weil Sie Direct Passthrough-Geräte benötigen, ist die Konvertierung in VMDKs keine geeignete Lösung.

Übersicht

In diesem Artikel werden die unterstützten Best-Practice-Ansätze für die Konvertierung vorhandener SDC- und RDM-basierter Anwendungscluster in gemeinsam genutzte VMDKs auf NVMe/TCP-Datenspeichern beschrieben. Die Konvertierungsmethoden unterscheiden sich je nach Anwendungsanforderungen. Planen Sie entsprechend. Dell erwartet, dass der Nutzer dieses Wissensdatenbank-Artikels mit den behandelten Technologien vertraut ist. Daher sind die Schritte auf hoher Ebene und enthalten selten Syntax.

Es gibt zwei primäre RDM-Anwendungsfälle, die hier abgedeckt werden:

1. Oracle RAC mit physischen RDMs mit Multi-Writer
2. Windows Server Failover Clustering (WSFC) mit physischen RDMs für SCSI3-PR

Es gibt ein wichtiges Konzept in Bezug auf virtuelle Storage-Controller in VMware-VMs, das Sie unbedingt verstehen sollten, bevor Sie fortfahren. Diese Controller sind für das Verbinden virtueller Laufwerke mit der VM verantwortlich. Virtuelle Controller sind nicht an das physische Storage-Protokoll gebunden, das vom zugrunde liegenden Datenspeicher verwendet wird. Beispiel: Obwohl der Standard-Controller als "SCSI" bezeichnet wird, ist er vollständig virtuell und spiegelt den darunter verwendeten physischen Speichertransport nicht wider und schränkt diesen nicht ein. Aufgrund dieser Abstraktion macht es keinen funktionalen Unterschied, ob Sie eine VMDK mit einem virtuellen SCSI- oder NVMe-Controller verbinden, unabhängig davon, ob das Storage-Protokoll SCSI oder NVMeoF ist. In der Praxis empfiehlt VMware im Allgemeinen die Verwendung von SCSI-Controllern unabhängig vom Speichertyp VMware Paravirtual (PVSCSI), da diese tendenziell eine höhere Stabilität und verbesserte Leistung für die meisten Workloads bieten. Sie können jedoch NVMe-Controller verwenden, wenn Sie dies bevorzugen. 

1. Oracle RAC: Konvertieren von RDMs in VMDKs

Einige Oracle RAC-Umgebungen verwenden RDMs, um gemeinsamen Speicher für Datendateien oder ASM-Festplattengruppen anstelle von VMDKs bereitzustellen. Es ist möglich, diese Setups online zu konvertieren, obwohl einige Methoden Ausfallzeiten erfordern. Wir decken sowohl RDM-basiert als auch ASM ab.

1.1 RAC ohne ASM

Wenn Oracle Automatic Storage Management (ASM) nicht verwendet wird, können Sie die Konvertierung online mit einer der folgenden Methoden durchführen.

Option A – Onlinemigration von Datendateien

1. Erstellen Sie neue freigegebene VMDKs:
• VMFS-Datenspeicher auf NVMe/TCP (geclusterte VMDK-Eigenschaft NICHT erforderlich)
• Thick Provision Eager Zeroed (EZT)
• Multi-Writer aktiviert
2. Verbinden Sie VMDKs mit allen RAC-Nodes.
3. Fügen Sie neue Datafiles mithilfe der VMDKs hinzu.
4. Migrieren Sie Daten von RDM-basierten Datendateien zu VMDK-basierten Datendateien.
5. Löschen Sie die ursprünglichen RDM-basierten Datafiles.
6. Verwenden Sie crsctl/ocrconfig, um Clusterware zu verschieben.

Dieser Ansatz vermeidet Ausfallzeiten, erfordert jedoch möglicherweise eine Datenverschiebung auf Tablespace- oder Objektebene, die zeitaufwändig sein kann.

Option B: Konvertieren in ASM (bevorzugt)

Die Konvertierung zu ASM vereinfacht das langfristige Speichermanagement und ist der empfohlene strategische Endstatus.

Es gibt zwei unterstützte Ansätze:

• Onlinemigration in ASM-Laufwerksgruppen
• RMAN unter Verwendung vonBACKUP AS COPY DATABASE
• Erfordert einen kurzen Ausfall
• Schneller und sicherer für große Datenbanken
• Häufig für Produktionssysteme bevorzugt

1.2 RAC verwendet bereits ASM

Wenn ASM verwendet wird, erfolgt der RDM-Austausch einfach und online:

1. Erstellen Sie neue freigegebene VMDKs:
• VMFS-Datenspeicher auf NVMe/TCP (geclusterte VMDK-Eigenschaft NICHT erforderlich)
• Thick Provision Eager Zeroed
• Multi-Writer aktiviert
2. Fügen Sie die VMDKs zur ASM-Laufwerksgruppe hinzu.
3. Warten Sie, bis die ASM-Neuverteilung abgeschlossen ist.
4. Legen Sie ASM-Festplatten ab, die durch RDMs gesichert sind.
5. Verwenden Sie crsctl/ocrconfig, um Clusterware zu verschieben.

Dieser Prozess erfordert keine Anwendungsausfallzeiten und birgt ein minimales Risiko.

2. WSFC: Konvertieren von RDMs in VMDKs

⚠️ Wichtig: Führen Sie die WSFC-Migration jeweils für eine Festplatte durch, um die Stabilität des Clusters aufrechtzuerhalten. Dieses Beispiel ist ein Cluster mit zwei Nodes.

2.1 Voraussetzungen (obligatorisch)

VMware-Anforderungen

• VM-Hardwareversion unterstützt geclusterte VMDKs
• VMFS-Datenspeicher auf NVMe/TCP
• Cluster-VMDK-Funktion aktiviert
• Thick Provision Eager Zeroed Festplatten
• Keine Snapshots auf Cluster-VMs
• Storage-DRS deaktiviert

WSFC-Anforderungen

• Cluster fehlerfrei
• Clustervalidierung bereinigt (Warnungen akzeptabel)
• Jede Festplatte verfügt über einen einzigen Eigentümer-Node.

2.2 Erstellen neuer freigegebener VMDKs

Für jede RDM-Festplatte:

1. Erstellen Sie eine neue VMDK auf NVMe/TCP-Datenspeicher (geclusterte VMDK erforderlich):
• Gleiche oder größere Größe
• Thick Provision Eager Zeroed
2. Verbinden Sie das VMDK mit beiden Cluster-Nodes:
• Selber SCSI-Controller-Typ (PVSCSI empfohlen)
• Gleiche Controller-Nummer
• Gleiche SCSI-ID
• Aktivieren der gemeinsamen Nutzung des physischen SCSI-Busses

2.3 Festplatte vorbereiten (nur Eigentümer-Node)

Gehen Sie auf dem aktuellen Node, der Eigentümer ist, wie folgt vor:

1. Schalten Sie die neue Festplatte online.
2. Als GPT initialisieren.
3. Formatieren Sie NTFS mit 128 KB.
4. Weisen Sie einen temporären Laufwerksbuchstaben zu.

Belassen Sie die Festplatte auf dem sekundären Node offline.

2.4 Migrieren von Daten (Festplatte für Festplatte)

Beispiel für eine SQL Server-Datenfestplatte:

1. Weisen Sie die SQL-Rolle dem Eigentümer-Node zu.
2. Beenden Sie SQL-Ressourcen (SQL Server) mithilfe der alten RDM, halten Sie die Festplatte online.
3. Kopieren Sie Daten mithilfe von Robocopy, wobei R die RDM und V die neue VMDK ist:
   1. robocopy R:\ V:\ /MIR /COPYALL /DCOPY:T /R:0 /W:0
4. Überprüfen Sie die Datenintegrität.
5. Ändern Sie den Laufwerksbuchstaben, damit die neue Festplatte einen alten Buchstaben hat.
6. Aktualisieren Sie die Abhängigkeiten der Clusterressourcen so, dass sie auf die neue Festplatte verweisen.
7. Stellen Sie Ressourcen online.
8. Verschieben Sie die Eigentümerschaft zum Testen auf einen anderen Node.
9. Wenn der Vorgang abgeschlossen ist, entfernen Sie die Abhängigkeit von der alten Festplatte (RDM).
10. Wiederholen Sie dies für jede Datenfestplatte.

Wiederholen Sie diesen Vorgang für:

• Protokollfestplatten
• Temp

2.5 Austauschen einer Clusterfestplattenressource

Nach der Validierung:

1. Entfernen Sie die alte RDM-Festplatte aus der Clusterrolle.
2. Fügen Sie die neue VMDK-Festplatte zur Rolle hinzu.
3. Bestätigen Sie Eigentumsrechte und Abhängigkeiten.
4. Verschieben Sie die Eigentümerschaft zum Testen auf einen anderen Node.

2.6 Migration von Quorumlaufwerken (falls verwendet)

So verhindern Sie versehentliche Clusterausfälle:

1. Stellen Sie das Quorum vorübergehend auf die Node-Mehrheit und nicht auf die Festplatte um.
   1. Set-ClusterQuorum -NodeMajority
2. Befolgen Sie Abschnitt 2.3 , um eine neue Festplatte hinzuzufügen.
3. Fügen Sie die Festplatte in der Benutzeroberfläche oder Add-ClusterDisk in PS zum Cluster hinzu.
4. Legen Sie die neue Festplatte als Quorum in der Benutzeroberfläche fest oder legen Sie Set-ClusterQuorum -DiskWitness "Cluster Disk X" fest.
5. Versetzen Sie die RDM-Festplatte in den Offlinemodus und entfernen Sie sie.

3 Entfernen von RDMs

Nur nach erfolgreicher Validierung in beiden Anwendungsbeispielen:

1. Entfernen Sie RDM-Zuordnungen von beiden VMs.
2. LUNs von ESXi-Hosts trennen.
3. Ordnen Sie die Volumes in PowerFlex Manager zu.

4 Häufige Probleme

1. Fehler bei Verwendung von EZT-Festplatten
   • Die hier behandelten Clusterlösungen erfordern EZT – keine Unterstützung für Thin oder Zeroedthick
2. Nicht übereinstimmende Controller-Konfiguration. Jede der folgenden Nichtübereinstimmungen verhindert, dass die Festplatte im Cluster ordnungsgemäß funktioniert.
   • Derselbe SCSI-Controller-Typ
   • Die gleiche Controller-Nummer
   • Dieselbe SCSI-ID
3. Fehler beim Festlegen von Multi-Writer auf Oracle EZT-VMDKS auf jeder VM (Node) für jede VMDK
4. Fehler beim Festlegen der gemeinsamen Nutzung des physischen SCSI-Busses auf dem Controller für WSFC 

4.1 Konfigurationssupport

Links zur weiteren Dokumentation (in beliebiger Reihenfolge):

https://learn.microsoft.com/en-us/sql/sql-server/?view=sql-server-ver17

https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/robocopy

https://knowledge.broadcom.com/external/article/313472/microsoft-windows-server-failover-cluste.html

https://blogs.vmware.com/cloud-foundation/2023/07/06/shared-disk-clustering-on-vsphere-getting-out-of-the-multi-writer-flag-jam/

https://www.vmware.com/docs/vmw-vmdk-whitepaper-mmt

https://learn.microsoft.com/en-us/troubleshoot/windows-server/high-availability/configuring-witness-resource

https://learn.microsoft.com/windows-server/administration/windows-commands/robocopy