Od czasu wprowadzenia klastrowanego zestawu VMDK w magazynach danych VMFS aplikacje, takie jak Windows Server Failover Cluster (WSFC), nie wymagają już surowych mapowań urządzeń (RDM) w celu korzystania z trwałych rezerwacji SCSI-3 (SCSI3-PR). Z tego powodu firma Broadcom nie oferuje obsługi RDM dla protokołu NVMeoF. Klienci korzystający z RDM z SDC, którzy chcą przejść na NVMe/TCP, muszą przekonwertować te dyski na VMDK w magazynie danych VMFS z właściwością Clustered VMDK. Tej konwersji nie można wykonać za pomocą funkcji Storage vMotion, więc aplikacje, takie jak WSFC, będą powodować przestoje.

Ten artykuł bazy wiedzy dotyczy:

• Klienci przechodzący z SDC na NVMe/TCP w systemach PowerFlex 5.0
• Środowiska VMware vSphere 8.0U3 i 9.x korzystające z RDM z kontrolerem wielokrotnego zapisu lub współużytkowanego fizycznego kontrolera magistrali SCSI dla dysków
• Klastry Oracle RAC
• Klaster trybu failover systemu Windows Server, w tym:
  • Klastry trybu failover programu SQL Server
  • Klastry serwerów plików
  • Dyski kworum klastra

Wsparcie:

Firma Dell obsługuje następujące wersje dla tych procedur w przypadku korzystania z klastrowanego VMDK:

• ESXi w wersjach 8.0U3 i 9.x
  • Te wersje obsługują klastrowany VMDK NVMe/TCP na platformie PowerFlex 5.0
• PowerFlex 5.0
  • System PowerFlex 4.x nie jest obsługiwany

Podczas konwertowania Oracle RAC, jeśli nie używasz klastrowanego VMDK, obsługiwany jest PowerFlex 4.x.

Chociaż ta baza wiedzy koncentruje się na aplikacjach klastrowanych, można przekonwertować autonomiczne maszyny wirtualne z RDM na VMDK przy użyciu podobnych procedur, szczególnie w przypadku Oracle z ASM. Jeśli używasz RDM, ponieważ potrzebujesz urządzeń przekazujących bezpośrednio, konwersja na VMDK nie jest odpowiednim rozwiązaniem.

Omówienie

W tym artykule opisano obsługiwane, najlepsze rozwiązania w zakresie konwertowania istniejących klastrów aplikacji SDC, opartych na RDM na udostępnione VMDK w magazynach danych NVMe/TCP. Metody konwersji różnią się w zależności od wymagań aplikacji. Zaplanuj odpowiednio. Firma Dell oczekuje, że użytkownik tej bazy wiedzy będzie biegły w zakresie uwzględnionych technologii; W związku z tym kroki są wysokopoziomowe i rzadko zawierają składnię.

W tym miejscu omówiono dwa podstawowe przypadki użycia RDM:

1. Oracle RAC używa fizycznych RDM z wieloma modułami zapisującymi
2. Windows Server Failover Clustering (WSFC) przy użyciu fizycznych RDM dla SCSI3-PR

W maszynach wirtualnych VMware istnieje ważna koncepcja, którą należy zrozumieć przed kontynuowaniem. Te kontrolery są odpowiedzialne za łączenie dysków wirtualnych z maszyną wirtualną. Kontrolery wirtualne nie są powiązane z fizycznym protokołem pamięci masowej używanym przez podstawowy magazyn danych. Na przykład, chociaż domyślny kontroler jest oznaczony jako "SCSI", jest on całkowicie wirtualny i nie odzwierciedla ani nie ogranicza fizycznego transportu pamięci masowej używanego pod spodem. Ze względu na tę abstrakcję nie ma znaczenia, czy podłączysz VMDK za pomocą wirtualnego kontrolera SCSI, czy NVMe, niezależnie od tego, czy protokół pamięci masowej to SCSI, czy NVMeoF. W praktyce VMware generalnie zaleca korzystanie z kontrolerów SCSI bez względu na typ pamięci masowej VMware Paravirtual (PVSCSI), ponieważ oferują one większą stabilność i lepszą wydajność dla większości obciążeń roboczych. jednak jeśli wolisz, możesz użyć kontrolerów NVMe. 

1. Oracle RAC: Konwertowanie RDM na VMDK

Niektóre środowiska Oracle RAC używają RDM do zapewnienia współużytkowanej pamięci masowej dla plików danych lub grup dysków ASM, a nie VMDK. Możliwa jest konwersja tych ustawień online, chociaż niektóre metody wymagają przestoju. Zajmujemy się zarówno RDM, jak i ASM.

1.1 RAC bez ASM

Jeśli rozwiązanie Oracle Automatic Storage Management (ASM) nie jest używane, można dokonać konwersji online przy użyciu jednej z poniższych metod.

Opcja A — Migracja plików danych online

1. Utwórz nowe udostępnione VMDK:
• Magazyn danych VMFS na NVMe/TCP (niewymagana właściwość klastrowanego VMDK)
• Gotowość do zerowania aprowizacji grubej (EZT)
• Obsługa wielu zapisów
2. Podłączenie VMDK do wszystkich węzłów RAC.
3. Dodaj nowe pliki danych przy użyciu VMDK.
4. Migracja danych z plików danych opartych na RDM do plików danych opartych na VMDK.
5. Usuń oryginalne pliki danych oparte na RDM.
6. Użyj polecenia crsctl/ocrconfig, aby przenieść oprogramowanie klastrowe.

Takie podejście pozwala uniknąć przestojów, ale może wymagać przenoszenia danych na poziomie obszaru tabel lub na poziomie obiektu, co może być czasochłonne.

Opcja B — Konwersja na ASM (preferowana)

Konwersja na usługę ASM upraszcza długoterminowe zarządzanie magazynem i jest zalecanym strategicznym stanem końcowym.

Istnieją dwa obsługiwane podejścia:

• Migracja online do grup dysków ASM
• RMAN korzysta zBAZY DANYCH KOPII ZAPASOWEJ JAKO KOPII
• Wymaga krótkiego przestoju
• Szybsze i bezpieczniejsze dla dużych baz danych
• Powszechnie preferowane w systemach produkcyjnych

1.2 Kontroler RAC już używa usługi ASM

Jeśli usługa ASM jest w użyciu, wymiana RDM jest prosta i dostępna online:

1. Utwórz nowe udostępnione VMDK:
• Magazyn danych VMFS na NVMe/TCP (niewymagana właściwość klastrowanego VMDK)
• Gotowość do wyzerowania grubego prowiantu
• Obsługa wielu zapisów
2. Dodaj zestawy VMDK do grupy dysków ASM.
3. Poczekaj na zakończenie ponownego równoważenia usługi ASM.
4. Usuń dyski ASM wspierane przez RDM.
5. Użyj polecenia crsctl/ocrconfig, aby przenieść oprogramowanie klastrowe.

Proces ten nie wymaga przestojów aplikacji i wiąże się z minimalnym ryzykiem.

2. WSFC: Konwertowanie RDM na VMDK

⚠️ Ważne: Wykonuj migrację WSFC po jednym dysku naraz, aby zachować stabilność klastra. Ten przykład to klaster dwuwęzłowy.

2.1 Wymagania wstępne (obowiązkowe)

Wymagania VMware

• Wersja sprzętowa maszyny wirtualnej obsługuje klastrowane VMDK
• Magazyn danych VMFS na NVMe/TCP
• Funkcja klastrowanego VMDK jest włączona
• Dyski Thick Provision, Eager Zeroed
• Brak migawek na maszynach wirtualnych klastra
• Pamięć masowa DRS wyłączona

Wymagania WSFC

• Klaster w dobrej kondycji
• Klaster validation validation clean (dopuszczalne ostrzeżenia)
• Każdy dysk ma jeden węzeł będący właścicielem

2.2 Tworzenie nowych współdzielonych VMDK

Dla każdego dysku RDM:

1. Utwórz nowy VMDK w magazynie danych NVMe/TCP (wymagany klastrowany VMDK):
• Ten sam lub większy rozmiar
• Gotowość do wyzerowania grubego prowiantu
2. Dołącz VMDK do obu węzłów klastra:
• Ten sam typ kontrolera SCSI (zalecany PVSCSI)
• Ten sam numer kontrolera
• Ten sam identyfikator SCSI
• Włączanie udostępniania fizycznej magistrali SCSI

2.3 Przygotowanie dysku (tylko węzeł właściciela)

W bieżącym węźle będącym właścicielem:

1. Przełącz nowy dysk w tryb online.
2. Zainicjuj jako GPT.
3. Sformatuj NTFS z rozmiarem 128 KB.
4. Przypisz tymczasową literę dysku.

W węźle pomocniczym pozostaw dysk w trybie offline.

2.4 Migracja danych (dysk po dysku)

Przykład dysku danych programu SQL Server:

1. Niepowodzenie roli SQL w węźle będącym właścicielem.
2. Zatrzymaj zasoby SQL (SQL Server) przy użyciu starego RDM, zachowaj dysk w trybie online.
3. Skopiuj dane za pomocą narzędzia robocopy, gdzie R to RDM, a V to nowy VMDK:
   1. robocopy R:\ V:\ /MIR /COPYALL /DCOPY:T /R:0 /W:0
4. Zweryfikuj integralność danych.
5. Zmień litery dysków, aby nowy dysk miał starą literę.
6. Zaktualizuj zależności zasobów klastra, aby odwołać się do nowego dysku.
7. Przełącz zasoby w tryb online.
8. Przenieś własność do innego węzła w celu przetestowania.
9. Po zakończeniu usuń zależność od starego dysku (RDM).
10. Powtórz tę czynność dla każdego dysku danych

Powtórz ten proces dla:

• Dyski dziennika
• Najwyższa temp

2.5 Wymiana zasobu dysku klastrowego

Po zatwierdzeniu:

1. Usuń stary dysk RDM z roli klastra.
2. Dodaj nowy dysk VMDK do roli.
3. Potwierdź własność i zależności.
4. Przenieś własność do innego węzła w celu przetestowania.

2.6 Migracja dysku kworum (jeśli jest używana)

Aby zapobiec przypadkowej awarii klastra:

1. Tymczasowo przełącz kworum na większość węzła, a nie na dysk.
   1. Set-ClusterQuorum -NodeMajority
2. Postępuj zgodnie z sekcją 2.3 , aby dodać nowy dysk.
3. Dodaj dysk do klastra w interfejsie użytkownika lub Add-ClusterDisk w PS.
4. Ustaw nowy dysk jako kworum w interfejsie użytkownika lub Set-ClusterQuorum -DiskWitness "Cluster Disk X"
5. Przełącz dysk RDM w tryb offline i wyjmij go.

3 Usuń RDM

Tylko po pomyślnej walidacji w dowolnym przypadku użycia:

1. Usuń mapowania RDM z obu maszyn wirtualnych.
2. Odłącz jednostki LUN od hostów ESXi.
3. Usuń mapowanie woluminów w programie PowerFlex Manager.

4 Typowe problemy

1. Błąd użycia dysków EZT
   • Omówione tutaj rozwiązania klastrowe wymagają EZT — brak wsparcia dla thin lub zeroedthick
2. Niezgodna konfiguracja kontrolera. Każda poniższa niezgodność uniemożliwia prawidłowe działanie dysku w klastrze.
   • Ten sam typ kontrolera SCSI
   • Ten sam numer kontrolera
   • Ten sam identyfikator SCSI
3. Nie można ustawić wielu zapisów w wirtualnych urządzeniach wirtualnych Oracle EZT na każdej maszynie wirtualnej (węźle) dla każdego zestawu VMDK
4. Nie można ustawić udostępniania fizycznej magistrali SCSI na kontrolerze dla WSFC 

4.1 Obsługa konfiguracji

Łącza do dokumentacji dodatkowej (kolejność przypadkowa):

https://learn.microsoft.com/en-us/sql/sql-server/?view=sql-server-ver17

https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/robocopy

https://knowledge.broadcom.com/external/article/313472/microsoft-windows-server-failover-cluste.html

https://blogs.vmware.com/cloud-foundation/2023/07/06/shared-disk-clustering-on-vsphere-getting-out-of-the-multi-writer-flag-jam/

https://www.vmware.com/docs/vmw-vmdk-whitepaper-mmt

https://learn.microsoft.com/en-us/troubleshoot/windows-server/high-availability/configuring-witness-resource

https://learn.microsoft.com/windows-server/administration/windows-commands/robocopy