Microsoft Windows: Windows Server에서 게스트 RDMA를 구성하는 방법

목차

• RDMA(Remote Direct Memory Access) 소개
• 실습 환경
• 하드웨어 구성
• Guest RDMA 구성
• Powershell Cmdlets
• 다운로드 링크

RDMA(Remote Direct Memory Access) 소개

RDMA(Remote Direct Memory Access)는 관련된 호스트(컴퓨팅 및 스토리지)의 CPU 또는 OS 리소스를 포함하지 않고 컴퓨터가 네트워크를 통해 데이터를 전송할 수 있게 해주는 뛰어난 기술입니다. 이를 통해 처리량과 성능이 향상되고 레이턴시와 CPU 오버헤드가 줄어듭니다.

현재 널리 사용되는 두 가지 RDMA 구현이 있습니다.

• RoCE
  • 수송: UDP/IP(RoCE v2)
  • DCB(Data Center Bridging)에 의존
• iWARP
  • 기본 네트워크: TCP/IP
  • TCP는 흐름 제어 및 정체 관리를 제공합니다.

RoCE는 네트워크 스위치가 제대로 구성되지 않으면 문제가 될 수 있는 ETS(Enhanced Transmission Service) 및 PFC(Priority Flow Control)와 같은 DCB 구성에 크게 의존합니다. iWARP에는 스위치 구성이 필요하지 않습니다.

Microsoft는 Windows Server 2012에서 RDMA를 지원하기 시작했으며 이후 Windows Server OS에 새로운 기능을 추가했습니다. Microsoft의 Windows Server 2019에서 사용할 수 있는 한 가지 기능은 VM(Guest OS)에 RDMA를 제공하는 기능입니다. 이를 통해 게스트는 기본 호스트와 동일하게 네트워크 스토리지에 대한 짧은 레이턴시 액세스를 제공하여 CPU 오버헤드를 줄이고 VM에서 직접 처리량과 성능을 향상시킬 수 있습니다.

Dell은 Cavius QLogic FastLinQ 41262 듀얼 포트 25GbE SFP28(iWarp/RoCE) 및 Mellanox ConnectX-4 Lx 25Gbps RDMA(RoCE)와 같은 훌륭한 25Gbps RDMA 옵션을 제공합니다. 이 예에서는 Mellanox ConnectX-4 Lx RDMA(RoCEv2 모드)를 사용하여 Guest RDMA 기능을 시연합니다.

실습 환경

서버:

• 2 x Dell R7425(AMD EPYC 7551 32코어 프로세서)
• 256GB 메모리
• Mellanox ConnectX-4 Lx 전체 업데이트(펌웨어(BIOS 포함), 드라이버 및 OS)

설치된 역할 및 기능:

• Hyper-V
• 디씨비(DCB)
• 장애 조치(failover) 클러스터링
• S2D 시리즈

스위치:

• Dell S5048F-ON - MGMT VLAN 2
• SMB VLAN 15

하드웨어 구성

1. 서버를 재부팅하고 System Setup 으로 이동합니다(POST 중에 F2 키를 누름).
2. Device Settings를 선택합니다.

그림 1 - BIOS Device Settings

3. 슬롯 1 포트 1 - Mellanox에서 NIC를 선택합니다.

그림 2 - Mellanox 슬롯 1 포트 1 디바이스 설정

4. Device Level Configuration으로 이동합니다.

그림 3 - 디바이스 수준 구성

5. 고르다 가상화 모드의 SR-IOV.

그림 4 - SR-IOV 설정 

6. 슬롯 1 포트 2 - Mellanox의 NIC에서 위의 단계를 반복합니다.

그림 5 - Mellanox 슬롯 1 포트 2 디바이스 설정

7. 시스템 설정 메인 메뉴로 돌아가서 시스템 BIOS를 선택합니다.

그림 6 - 시스템 BIOS

8. Integrated Devices를 선택합니다.

그림 7 - BIOS 내장형 디바이스

9. SR-IOV 전역 옵션을 활성화 합니다.

그림 8 - SR-IOV Global

10. 구성을 저장하고 서버를 재부팅합니다.

Guest RDMA 구성

1. 설치하다 Windows Server 2019+.
2. Hyper-V 역할 및 DCB(Data Center Bridging) 기능을 설치합니다.
3. 구성 서비스 품질(QoS), DCB, PFC, ETS. 서버 NIC 및 QoS 구성이 스위치 구성과 일치하는지 확인합니다.
4. 구성 Hyper-V Switch Embedded Team(SET).

그림 9 - vSwitch 구성

5. VM을 구성하기 전에 물리적 서버 간의 RDMA 통신을 테스트합니다. Microsoft 다운로드 Diskspd 및 Microsoft Test-RDMA PowerShell 스크립트를 참조하십시오. 통신이 제대로 작동하는 경우에만 아래 단계를 따르십시오. 그렇지 않으면 호스트에서 스위치 구성 및/또는 DCB 설정을 확인합니다.

그림 10 - Test-RDMA 물리적 호스트

6. 두 서버의 RDMA 어댑터에서 SR-IOV가 활성화되어 있는지 확인합니다.

그림 11 - SR-IOV 활성화

7. 각 서버에 하나씩 2개의 Gen 2 VM(Guest OS)을 생성한 다음 Windows Server 2019를 설치합니다. 이 시나리오에서는 MGMT 트래픽(VLAN 2)과 SMB 트래픽(VLAN 15)에 대한 vNIC 2개를 사용하여 게스트 OS가 생성됩니다.

그림 12 - 게스트 OS 네트워크 구성 호스트 R7425-01

그림 13 - 가상 머신 네트워크 구성 호스트 R7425-02

8. VM을 종료합니다.
9. 사용 게스트 OS의 SR-IOV 및 RDMA

그림 14 - 게스트 OS에서 SR-IOV/RDMA 활성화

10. VM을 시작한 다음 장치 관리자를 엽니다. Mellanox VF(Virtual Function)는 Network Adapters 아래에 나열되어야 합니다. VF는 그림 15와 같이 네트워크 연결에서 일반 네트워크 어댑터로 표시되지 않습니다. 

그림 15 - 게스트 OS 장치 관리자 및 네트워크 연결

11. SMB vNIC에서 RDMA를 활성화합니다. RDMA 기능은 Mellanox VF에서 이미 활성화되어 있습니다(Ethernet4 - 그림 16).

그림 16 - Enable RDMA on SMB vNIC.

12. 테스트 게스트 RDMA. 

그림 17 - Test-RDMA 게스트 OS

Powershell Cmdlets

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

다운로드 링크

• Microsoft Test-RDMA 스크립트
• Microsoft Diskspd

의견, 질문 또는 제안 사항이 있습니까? WinServerBlogs@dell.com 로 문의하십시오 .