Microsoft Windows: Så här konfigurerar du gäst-RDMA på Windows Server

Innehållsförteckning

• Introduktion av RDMA (Remote Direct Memory Access)
• Laboratoriemiljö
• Maskinvarukonfiguration
• Konfigurera gäst-RDMA
• Powershell Cmdlets
• Länkar för hämtning

Introduktion av RDMA (Remote Direct Memory Access)

RDMA (Remote Direct Memory Access) är en fantastisk teknik som gör det möjligt för datorer att överföra data över nätverket utan att involvera processor- eller OS-resurserna hos de berörda värdarna (beräkning och lagring). Detta förbättrar dataflödet och prestandan och minskar svarstiden och CPU-belastningen.

Det finns två populära RDMA-implementeringar idag:

• RoCE
  • Transport: UDP/IP (RoCE v2)
  • Förlita dig på Data Center Bridging (DCB)
• iWarp
  • Underliggande nätverk: TCP/IP
  • TCP ger flödeskontroll och överbelastningshantering.

RoCE är starkt beroende av DCB-konfiguration, till exempel Enhanced Transmission Service (ETS) och Priority Flow Control (PFC), vilket kan bli ett problem om nätverksswitchar inte är korrekt konfigurerade. iWARP kräver ingen switchkonfiguration.

Microsoft började stödja RDMA på Windows Server 2012 och lade till nya funktioner i det senare Windows Server-operativsystemet. En funktion som är tillgänglig på Microsofts Windows Server 2019 är möjligheten att presentera RDMA för gästoperativsystemet (VM). Det gör att gästen kan ha samma åtkomst till en nätverkslagring med låg latens som den inbyggda värden, vilket minskar CPU-belastningen och förbättrar dataflödet och prestandan direkt i den virtuella datorn.

Dell erbjuder utmärkta alternativ för RDMA på 25 Gbit/s, till exempel Cavius QLogic FastLinQ 41262 med två portar och 25 GbE SFP28 (iWarp/RoCE) och Mellanox ConnectX-4 Lx 25 Gbit/s RDMA (RoCE). I det här exemplet demonstreras gäst-RDMA-funktionen med hjälp av Mellanox ConnectX-4 Lx RDMA (RoCEv2 mode).

Laboratoriemiljö

Servrar:

• 2 × Dell R7425 (AMD EPYC 7551-processor med 32 kärnor)
• 256 GB minne
• Mellanox ConnectX-4 Lx helt uppdaterad (fast programvara (inkl. BIOS), drivrutiner och operativsystem)

Roller och funktioner som är installerade:

• Hyper-V
• DCB
• Failover-klustring
• S2D

Strömbrytare:

• Dell S5048F-ON – MGMT VLAN 2
• SMB VLAN 15

Maskinvarukonfiguration

1. Starta om servrarna och gå till systeminställningarna (tryck på F2 under POST).
2. Välj Enhetsinställningar.

Bild 1 – Inställningar för BIOS-enheter

3. Välj nätverkskortet i kortplats 1, port 1 – Mellanox.

Bild 2 – Enhetsinställningar för Mellanox-kortplats 1 port 1

4. Gå till Konfiguration på enhetsnivå.

Bild 3 – Konfiguration på enhetsnivå

5. Utvald SR-IOV i virtualiseringsläge.

Bild 4 - SR-IOV-inställning 

6. Upprepa stegen ovan på nätverkskortet i kortplats 1, port 2 – Mellanox.

Bild 5 – Enhetsinställningar för Mellanox-kortplats 1, port 2

7. Gå tillbaka till huvudmenyn i systeminställningar och välj System-BIOS.

Bild 6 - System-BIOS

8. Välj Integrerade enheter.

Bild 7 – BIOS-integrerade enheter

9. Aktivera det globala alternativet SR-IOV.

Bild 8 - SR-IOV Global

10. Spara konfigurationen och starta om servern.

Konfigurera gäst-RDMA

1. Installera Windows Server 2019+.
2. Installera Hyper-V-rollen och funktionen Data Center Bridging (DCB).
3. Konfigurera Tjänstekvalitet (QoS), DCB, PFC, ETS. Kontrollera att serverns nätverkskort och QoS-konfiguration matchar switchkonfigurationen.
4. Konfigurera Hyper-V-switchens inbäddade team (SET).

Bild 9 – vSwitch-konfiguration

5. Testa RDMA-kommunikationen mellan de fysiska servrarna innan du konfigurerar de virtuella datorerna. Ladda ner Microsoft Diskspd och Microsoft Test-RDMA PowerShell-skriptet. Följ stegen nedan endast om kommunikationen fungerar som den ska. Kontrollera annars switchkonfigurationen och/eller DCB-inställningarna på värden.

Bild 10 – Fysiska RDMA-värdar

6. Kontrollera om SR-IOV är aktiverat på RDMA-korten på båda servrarna.

Bild 11 - SR-IOV aktiverat

7. Skapa två andra generationens VM:ar (gäst-OS), en på vardera server och installera sedan Windows Server 2019. I det här scenariot skapas ett gästoperativsystem med två virtuella nätverkskort, ett för MGMT-trafik (VLAN 2) och ett för SMB-trafik (VLAN 15).

Bild 12 – Gästoperativsystemets nätverkskonfigurationsvärd R7425-01

Bild 13 – Nätverkskonfigurationsvärd för virtuell dator R7425-02

8. Stäng av VM:arna.
9. Möjliggöra SR-IOV och RDMA på gäst-OS.

Bild 14 – Aktivera SR-IOV/RDMA på gästoperativsystem.

10. Starta VM:arna och öppna sedan Enhetshanteraren. Den virtuella Mellanox-funktionen (VF) bör visas under Nätverkskort. VF visas inte som en vanlig nätverksadapter i nätverksanslutningar, så som visas på bild 15. 

Bild 15 – Enhetshanteraren för gästoperativsystem och nätverksanslutningar

11. Aktivera RDMA på SMB vNIC. RDMA-funktionen är redan aktiverad på Mellanox VF (Ethernet4 – bild 16).

Bild 16 – Aktivera RDMA på SMB vNIC.

12. Test Gäst-RDMA. 

Bild 17 – Test-RDMA gästoperativsystem

Powershell Cmdlets

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

Länkar för hämtning

• Microsoft test-RDMA-skript
• Microsoft Diskspd

Har du kommentarer, frågor eller förslag? Kontakta oss på WinServerBlogs@dell.com