Microsoft Windows: Sådan konfigureres gæst RDMA på Windows Server

Indholdsfortegnelse

• Introduktion til Remote Direct Memory Access (RDMA)
• Testmiljø
• Hardwarekonfiguration
• Konfiguration af gæste-RDMA
• Powershell Cmdlets
• Links til download

Introduktion til Remote Direct Memory Access (RDMA)

RDMA (Remote Direct Memory Access) er en fantastisk teknologi, der gør det muligt for computere at overføre data via netværket uden at involvere CPU- eller OS-ressourcerne fra de involverede værter (beregning og lagring). Dette forbedrer overførselshastighed og ydeevne og reducerer ventetid og CPU-omkostninger.

Der er to populære RDMA-implementeringer i dag:

• RoCE
  • Transport: UDP/IP (RoCE v2)
  • Stol på Data Center Bridging (DCB)
• iWarp
  • Underliggende netværk: TCP/IP
  • TCP leverer flowstyring og styring af overbelastning.

RoCE er stærkt afhængig af DCB-konfiguration såsom Enhanced Transmission Service (ETS) og Priority Flow Control (PFC), hvilket kan blive et problem, hvis netværksswitche ikke er konfigureret korrekt. iWARP kræver ingen switchkonfiguration.

Microsoft begyndte at understøtte RDMA på Windows Server 2012 og tilføjede nye funktioner i det senere Windows Server OS. En funktion, der er tilgængelig på Microsofts Windows Server 2019, er muligheden for at præsentere RDMA til Guest OS (VM). Dette gør det muligt for gæsten at have den samme adgang til et netværkslager med kort ventetid som den oprindelige vært, hvilket reducerer CPU-omkostningerne og forbedrer overførselshastigheden og ydeevnen direkte i VM'en.

Dell tilbyder fremragende muligheder for 25 Gbps RDMA som f.eks. Cavius QLogic FastLinQ 41262 Dual Port 25 GbE SFP28 (iWarp/RoCE) og Mellanox ConnectX-4 Lx 25 Gbps RDMA (RoCE). I dette eksempel bruges Mellanox ConnectX-4 Lx RDMA (RoCEv2-tilstand) til at demonstrere gæste-RDMA-funktionen.

Testmiljø

Servere:

• 2 x Dell R7425 (AMD EPYC 7551-processor med 32 kerner)
• 256 GB hukommelse
• Mellanox ConnectX-4 Lx er fuldt opdateret (firmware (inkl. BIOS), drivere og operativsystem)

Roller og installerede funktioner:

• Hyper-V
• DCB
• Failover-klynger
• S2D

Omskifter:

• Dell S5048F-ON – MGMT VLAN 2
• SMB VLAN 15

Hardwarekonfiguration

1. Genstart serverne, og gå til Systemopsætning (tryk på F2 under POST).
2. Vælg Enhedsindstillinger.

Figur 1 - BIOS-enhedsindstillinger

3. Vælg NIC i slot 1 Port 1 - Mellanox.

Figur 2 - Mellanox slot 1 port 1 enhedsindstillinger

4. Gå til Konfiguration på enhedsniveau.

Figur 3 - Konfiguration på enhedsniveau

5. Markere SR-IOV i virtualiseringstilstand.

Figur 4 - SR-IOV-indstilling 

6. Gentag trinnene ovenfor på NIC i slot 1 Port 2 - Mellanox.

Figur 5 - Enhedsindstillinger for Mellanox slot 1, port 2

7. Gå tilbage til Hovedmenuen Systemopsætning, og vælg derefter System BIOS.

Figur 6 - System-BIOS

8. Vælg Integrerede enheder.

Figur 7 - BIOS-integrerede enheder

9. Aktivér indstillingen SR-IOV Global .

Figur 8 - SR-IOV Global

10. Gem din konfiguration, og genstart serveren.

Konfiguration af gæste-RDMA

1. Installere Windows Server 2019+.
2. Installer Hyper-V-rollen og DCB-funktionen (Data Center Bridging).
3. Konfigurere Servicekvalitet (QoS), DCB, PFC, ETS. Sørg for, at serverens netværkskort og QoS-konfiguration stemmer overens med switchkonfigurationen.
4. Konfigurere Hyper-V Switch Embedded Team (SET).

Figur 9 - Konfiguration af vSwitch

5. Test RDMA-kommunikation mellem de fysiske servere, før du konfigurerer VM erne. Hent Microsoft Diskspd og PowerShell-scriptet Microsoft Test-RDMA. Følg kun nedenstående trin, hvis kommunikationen fungerer korrekt. Ellers skal du kontrollere switchkonfigurationen og/eller DCB-indstillingerne på værten.

Figur 10 - Test-RDMA fysiske værter

6. Kontroller , om SR-IOV er aktiveret på RDMA-adapterne på begge servere.

Figur 11 - SR-IOV aktiveret

7. Opret to Gen 2 VM'er (gæst OS), en på hver server, og installer derefter Windows Server 2019. I dette scenarie oprettes et gæsteoperativsystem med to vNIC'er, en til MGMT-trafik (VLAN 2) og en til SMB-trafik (VLAN 15).

Figur 12 – Guest-OS-netværkskonfigurationsvært R7425-01

Figur 13 – Vært for konfiguration af virtuel maskine-netværk R7425-02

8. Luk VM erne.
9. Muliggøre SR-IOV og RDMA på Guest OS.

Figur 14 - Aktivér SR-IOV/RDMA på gæsteoperativsystem.

10. Start VM erne, og åbn derefter Enhedshåndtering. Mellanox Virtual Function (VF) skal være angivet under Netværksadaptere. VF'en vises ikke som en almindelig netværksadapter i Netværksforbindelser, som vist på Figur 15. 

Figur 15 - Guest OS enhedshåndtering og netværksforbindelser

11. Aktivér RDMA på SMB vNIC. RDMA-funktionaliteten er allerede aktiveret på Mellanox VF (Ethernet4 – Figur 16).

Figur 16 – Aktivér RDMA på SMB vNIC.

12. Test Gæst RDMA. 

Figur 17 - Test-RDMA Guest OS

Powershell Cmdlets

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

Links til download

• Microsoft test-RDMA script
• Microsoft Diskspd

Har du kommentarer, spørgsmål eller forslag? Kontakt os på WinServerBlogs@dell.com