이 KB는 다음에 적용됩니다.

• PowerFlex 5.0 시스템에서 SDC에서 NVMe/TCP로 전환하는 고객
• 디스크에 멀티작성기 또는 공유 물리적 SCSI 버스 컨트롤러와 함께 RDM을 사용하는 VMware vSphere 8.0U3 및 9.x 환경
• Oracle RAC 클러스터
• Windows Server 장애 조치(failover) 클러스터링에는 다음이 포함됩니다.
  • SQL Server 장애 조치(failover) 클러스터
  • 파일 서버 클러스터
  • 클러스터 쿼럼 디스크

지원:

Dell은 클러스터링된 VMDK를 사용할 때 이러한 절차에 대해 다음 버전을 지원합니다.

• ESXi 버전 8.0U3 및 9.x
  • 이러한 버전은 PowerFlex 5.0에서 NVMe/TCP 클러스터링 VMDK를 지원합니다.
• PowerFlex 5.0
  • PowerFlex 4.x는 지원되지 않습니다.

Oracle RAC를 변환할 때 클러스터링된 VMDK를 사용하지 않는 경우 PowerFlex 4.x가 지원됩니다.

개요

이 문서에서는 기존 SDC, RDM 기반 애플리케이션 클러스터를 NVMe/TCP 데이터 저장소의 공유 VMDK로 변환하기 위해 지원되는 모범 사례 접근 방식을 간략하게 설명합니다. 변환 방법은 응용 프로그램 요구 사항에 따라 다릅니다. 이에 따라 계획을 세우십시오. Dell은 이 KB의 사용자가 해당 기술에 능숙할 것으로 기대합니다. 따라서 단계는 상위 수준이며 구문을 거의 포함하지 않습니다.

여기서 다루는 두 가지 주요 RDM 활용 사례는 다음과 같습니다.

1. 멀티 작성기와 함께 물리적 RDM을 사용하는 Oracle RAC
2. SCSI3-PR에 물리적 RDM을 사용하는 WSFC(Windows Server Failover Clustering)

VMware VM의 가상 스토리지 컨트롤러와 관련하여 진행하기 전에 반드시 이해해야 하는 중요한 개념이 있습니다. 이러한 컨트롤러는 가상 디스크를 VM에 연결하는 역할을 합니다. 가상 컨트롤러는 기본 데이터 저장소에서 사용하는 물리적 스토리지 프로토콜에 연결되지 않습니다. 예를 들어, 기본 컨트롤러는 "SCSI"로 레이블이 지정되어 있지만 완전히 가상이며 그 아래에서 사용되는 물리적 스토리지 전송을 반영하거나 제한하지 않습니다. 이러한 추상화로 인해 스토리지 프로토콜이 SCSI인지 NVMeoF인지에 관계없이 가상 SCSI 또는 NVMe 컨트롤러를 사용하여 VMDK를 연결하든 기능에는 차이가 없습니다. 실제로 VMware는 대부분의 워크로드에 더 큰 안정성과 향상된 성능을 제공하는 경향이 있는 PVSCSI(VMware Paravirtual) 유형의 스토리지와 관계없이 SCSI 컨트롤러를 사용하는 것이 좋습니다. 그러나 원하는 경우 NVMe 컨트롤러를 사용할 수 있습니다. 

1. Oracle RAC: RDM을 VMDK로 변환

일부 Oracle RAC 환경에서는 VMDK 대신 RDM을 사용하여 데이터 파일 또는 ASM 디스크 그룹에 대한 공유 스토리지를 제공합니다. 이러한 설정을 온라인으로 변환할 수 있지만 일부 방법은 다운타임이 필요합니다. RDM 기반 및 ASM을 모두 다룹니다.

1.1 ASM을 사용하지 않는 RAC

Oracle ASM(Automatic Storage Management)을 사용하지 않는 경우 다음 방법 중 하나를 사용하여 온라인으로 변환할 수 있습니다.

옵션 A - 온라인 데이터 파일 마이그레이션

1. 새 공유 VMDK 생성:
• NVMe/TCP의 VMFS 데이터 저장소(클러스터링된 VMDK 속성은 필요하지 않음)
• EZT(Thick Provision Eager Zeroed)
• 멀티 작성기 활성화
2. VMDK를 모든 RAC 노드에 연결합니다.
3. VMDK를 사용하여 새 데이터 파일을 추가합니다.
4. RDM 기반 데이터 파일에서 VMDK 기반 데이터 파일로 데이터를 마이그레이션합니다.
5. 원래 RDM 기반 데이터 파일을 삭제합니다.
6. crsctl/ocrconfig를 사용하여 클러스터웨어를 이동합니다.

이 접근 방식은 다운타임을 방지하지만 테이블스페이스 수준 또는 오브젝트 수준 데이터 이동이 필요할 수 있으며 시간이 많이 소요될 수 있습니다.

옵션 B - ASM으로 변환(권장)

ASM으로 전환하면 장기적인 스토리지 관리가 간소화되며 권장되는 전략적 최종 상태입니다.

지원되는 접근 방식은 두 가지가 있습니다.

• ASM 디스크 그룹으로의 온라인 마이그레이션
• 백업을 복제본 데이터베이스로 사용하는RMAN
• 짧은 운영 중단 필요
• 대규모 데이터베이스를 위한 더 빠르고 안전한 성능
• 운영 시스템에 일반적으로 선호됨

1.2 이미 ASM을 사용하고 있는 RAC

ASM을 사용 중인 경우 RDM 교체는 간단하며 온라인으로 수행할 수 있습니다.

1. 새 공유 VMDK 생성:
• NVMe/TCP의 VMFS 데이터 저장소(클러스터링된 VMDK 속성 필요 안 함)
• Thick Provision Eager Zeroed(씩 프로비저닝 즉시 비워짐)
• 멀티 작성기 활성화
2. VMDK를 ASM 디스크 그룹에 추가합니다.
3. ASM 재조정이 완료될 때까지 기다립니다.
4. RDM이 지원하는 ASM 디스크를 삭제합니다.
5. crsctl/ocrconfig를 사용하여 클러스터웨어를 이동합니다.

이 프로세스에는 애플리케이션 다운타임이 필요하지 않으며 위험이 최소화됩니다.

2. Wsfc: RDM을 VMDK로 변환

⚠️ 중요: 클러스터 안정성을 유지하려면 한 번에 하나의 디스크씩 WSFC 마이그레이션을 수행합니다. 이 예는 2노드 클러스터입니다.

2.1 사전 요구 사항(필수)

VMware 요구 사항

• 클러스터링된 VMDK를 지원하는 VM 하드웨어 버전
• NVMe/TCP의 VMFS 데이터 저장소
• 클러스터링된 VMDK 기능 활성화
• Thick Provision Eager Zeroed 디스크
• 클러스터 VM에 스냅샷 없음
• 스토리지 DRS 비활성화됨

WSFC 요구 사항

• 클러스터 정상
• 클러스터 유효성 검사 정리(경고 허용)
• 각 디스크에는 하나의 소유 노드가 있습니다

2.2 새 공유 VMDK 생성

각 RDM 디스크에 대해 다음을 수행합니다.

1. NVMe/TCP 데이터 저장소에 새 VMDK를 생성합니다(클러스터링된 VMDK 필요).
• 동일하거나 더 큰 크기
• Thick Provision Eager Zeroed(씩 프로비저닝 즉시 비워짐)
2. VMDK를 두 클러스터 노드에 연결합니다.
• 동일한 SCSI 컨트롤러 유형(PVSCSI 권장)
• 동일한 컨트롤러 번호
• 동일한 SCSI ID
• SCSI 물리적 버스 공유 활성화

2.3 디스크 준비(소유자 노드만 해당)

현재 소유 노드에서 다음을 수행합니다.

1. 새 디스크를 온라인으로 전환합니다.
2. GPT로 초기화합니다.
3. NTFS를 128KB로 포맷합니다.
4. 임시 드라이브 문자를 할당합니다.

보조 노드에서 디스크를 오프라인 상태로 둡니다.

2.4 데이터 마이그레이션(디스크별)

SQL Server 데이터 디스크의 예:

1. 소유 노드에 대해 SQL 역할을 장애 조치합니다.
2. 이전 RDM을 사용하여 SQL 리소스(SQL Server)를 중지하고 디스크를 온라인 상태로 유지합니다.
3. robocopy를 사용하여 데이터를 복사합니다. 여기서 R은 RDM이고 V는 새 VMDK입니다.
   1. 로보카피 R:\ V:\ /미르/카피올/DCOPY:T/R:0/W:0
4. 데이터 무결성을 확인합니다.
5. 새 디스크에 이전 문자가 포함되도록 드라이브 문자를 변경합니다.
6. 새 디스크를 참조하도록 클러스터 리소스 종속성을 업데이트합니다.
7. 리소스를 온라인으로 가져옵니다.
8. 소유권을 다른 노드로 이동하여 테스트합니다.
9. 완료되면 이전 디스크(RDM)에 대한 종속성을 제거합니다.
10. 각 데이터 디스크에 대해 반복합니다.

다음에 대해 이 과정을 반복합니다.

• 로그 디스크
• 임시

2.5 클러스터 디스크 리소스 교체

유효성 검사 후:

1. 클러스터 역할에서 이전 RDM 디스크를 제거합니다.
2. 새 VMDK 디스크를 역할에 추가합니다.
3. 소유권 및 종속성을 확인합니다.
4. 소유권을 다른 노드로 이동하여 테스트합니다.

2.6 쿼럼 디스크 마이그레이션(사용 중인 경우)

우발적인 클러스터 운영 중단을 방지하려면 다음을 수행합니다.

1. 일시적으로 쿼럼을 디스크가 아닌 노드 과반수로 전환합니다.
   1. Set-ClusterQuorum-NodeMajority
2. 섹션 2.3 에 따라 새 디스크를 추가합니다.
3. UI의 클러스터 또는 PS의 Add-ClusterDisk에 디스크를 추가합니다.
4. UI에서 새 디스크를 쿼럼으로 설정하거나 Set-ClusterQuorum -DiskWitness "Cluster Disk X"를 실행합니다.
5. RDM 디스크를 오프라인으로 전환하고 제거합니다.

3 RDM 제거

두 활용 사례 중 하나에서 검증에 성공한 후에만 다음을 수행합니다.

1. 두 VM 모두에서 RDM 매핑을 제거합니다.
2. ESXi 호스트에서 LUN을 분리합니다.
3. PowerFlex Manager에서 볼륨을 매핑 해제합니다.

4 일반적인 문제

1. EZT 디스크 사용 실패
   • 여기에서 다루는 클러스터링된 솔루션에는 EZT가 필요하며 씬 또는 제로이드 두께는 지원되지 않습니다.
2. 컨트롤러 구성이 일치하지 않습니다. 아래의 불일치는 디스크가 클러스터에서 올바르게 작동하지 못하게 합니다.
   • 동일한 SCSI 컨트롤러 유형
   • 동일한 컨트롤러 번호
   • 동일한 SCSI ID
3. 각 VMDK의 각 VM(노드)에 있는 Oracle EZT vmdk에서 다중 작성기를 설정하지 못했습니다.
4. WSFC용 컨트롤러에서 SCSI 물리적 버스 공유를 설정하지 못했습니다. 

4.1 구성 지원

추가 문서 링크(특정 순서 없음):

https://learn.microsoft.com/en-us/sql/sql-server/?view=sql-server-ver17

https://learn.microsoft.com/sql/sql-server/failover-clusters/windows/change-failover-cluster-instance-storage

https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/robocopy

https://knowledge.broadcom.com/external/article/313472/microsoft-windows-server-failover-cluste.html

https://blogs.vmware.com/cloud-foundation/2023/07/06/shared-disk-clustering-on-vsphere-getting-out-of-the-multi-writer-flag-jam/

https://www.vmware.com/docs/vmw-vmdk-whitepaper-mmt

https://learn.microsoft.com/en-us/troubleshoot/windows-server/high-availability/configuring-witness-resource

https://learn.microsoft.com/windows-server/administration/windows-commands/robocopy