Microsoft Windows: Gast-RDMA configureren op Windows Server

Inhoudsopgave

• Introductie van Remote Direct Memory Access (RDMA)
• Testomgeving
• Hardwareconfiguratie
• Gast-RDMA configureren
• PowerShell-cmdlets
• Downloadkoppelingen

Introductie van Remote Direct Memory Access (RDMA)

Remote Direct Memory Access (RDMA) is een geweldige technologie waarmee computers gegevens over het netwerk kunnen overdragen zonder tussenkomst van de CPU of OS-resources van de betrokken hosts (rekenkracht en storage). Dit verbetert de doorvoersnelheid en prestaties en vermindert de latentie en CPU-overhead.

Er zijn momenteel twee populaire RDMA-implementaties:

• RoCE
  • Vervoer: UDP/IP (RoCE v2)
  • Vertrouw op Data Center Bridging (DCB)
• iWarp
  • Onderliggend netwerk: TCP/IP
  • TCP biedt debietregeling en congestiebeheer.

RoCE is sterk afhankelijk van DCB-configuraties zoals Enhanced Transmission Service (ETS) en Priority Flow Control (PFC), wat een probleem kan worden als netwerkswitches niet correct zijn geconfigureerd. iWARP vereist geen switchconfiguratie.

Microsoft begon met het ondersteunen van RDMA op Windows Server 2012 en voegde nieuwe functies toe aan het latere Windows Server-besturingssysteem. Een functie die beschikbaar is op Microsoft Windows Server 2019 is de mogelijkheid om RDMA te presenteren aan het gastbesturingssysteem (VM). Hierdoor heeft de gast dezelfde lage latentietoegang tot een netwerkstorage als de native host, waardoor de CPU-overhead wordt verminderd en de doorvoer en prestaties rechtstreeks in de VM worden verbeterd.

Dell biedt geweldige opties voor 25 Gbps RDMA, zoals de Cavius QLogic FastLinQ 41262 Dual Port 25 GbE SFP28 (iWarp/RoCE) en de Mellanox ConnectX-4 Lx 25 Gbps RDMA (RoCE). In dit voorbeeld wordt de gast-RDMA-functie gedemonstreerd aan de hand van de Mellanox ConnectX-4 Lx RDMA (RoCEv2-modus).

Testomgeving

Servers:

• 2 x Dell R7425 (AMD EPYC 7551 processor met 32 cores)
• 256 GB geheugen
• Mellanox ConnectX-4 Lx volledig bijgewerkt (firmware (incl. BIOS), drivers en besturingssysteem)

Geïnstalleerde rollen en functies:

• Hyper-V
• DCB
• Failoverclustering
• S2D

Schakelaar:

• Dell S5048F-ON - MGMT VLAN 2
• SMB VLAN 15

Hardwareconfiguratie

1. Start de servers opnieuw op en ga naar de System Setup (druk op F2 tijdens POST).
2. Selecteer Device Settings.

Afbeelding 1 - BIOS-apparaatinstellingen

3. Selecteer de NIC in slot 1, poort 1 - Mellanox.

Afbeelding 2 - Apparaatinstellingen Mellanox-slot 1-poort 1

4. Ga naar Configuratie apparaatniveau.

Afbeelding 3 - Configuratie op apparaatniveau

5. Selecteren SR-IOV in virtualisatiemodus.

Afbeelding 4 - SR-IOV-instelling 

6. Herhaal de bovenstaande stappen op de NIC in slot 1 poort 2 - Mellanox.

Afbeelding 5 - Mellanox slot 1 poort 2 Apparaatinstellingen

7. Ga terug naar het hoofdmenu van System Setup en selecteer System BIOS.

Afbeelding 6 - Systeem-BIOS

8. Selecteer Geïntegreerde apparaten.

Afbeelding 7 - BIOS-geïntegreerde apparaten

9. Schakel de optie SR-IOV Global in.

Afbeelding 8 - SR-IOV globaal

10. Sla uw configuratie op en start de server opnieuw op.

Gast-RDMA configureren

1. Installeren Windows Server 2019+.
2. Installeer de Hyper-V-rol en de DCB-functie (Data Center Bridging).
3. Configureren Quality of Service (QoS), DCB, PFC, ETS. Zorg ervoor dat de server-NIC- en QoS-configuratie overeenkomt met de switch-configuratie.
4. Configureren Hyper-V Switch Embedded Team (SET).

Afbeelding 9 - vSwitch-configuratie

5. Test de RDMA-communicatie tussen de fysieke servers voordat u de VM's configureert. Microsoft downloaden Diskspd en het Microsoft Test-RDMA PowerShell-script. Volg de onderstaande stappen alleen als de communicatie goed werkt. Controleer anders de switchconfiguratie en/of DCB-instellingen op de host.

Afbeelding 10 - Fysieke test-RDMA-hosts

6. Controleer of SR-IOV is ingeschakeld op de RDMA-adapters op beide servers.

Afbeelding 11 - SR-IOV ingeschakeld

7. Maak twee 2e generatie VM's (gast-besturingssysteem), één op elke server, en installeer Windows Server 2019. In dit scenario wordt een gastbesturingssysteem gemaakt met twee vNIC's, één voor MGMT-verkeer (VLAN 2) en één voor SMB-verkeer (VLAN 15).

Afbeelding 12 - Netwerkconfiguratie gastbesturingssysteem Host R7425-01

Afbeelding 13 - Netwerkconfiguratie virtuele machine Host R7425-02

8. Sluit de VM's af.
9. Inschakelen SR-IOV en RDMA op het gastbesturingssysteem.

Afbeelding 14 - SR-IOV/RDMA inschakelen op gastbesturingssystemen.

10. Start de VM's en open vervolgens Apparaatbeheer. De Mellanox Virtual Function (VF) moet worden vermeld onder Network Adapters. De VF wordt niet weergegeven als een normale netwerkadapter in Netwerkverbindingen zoals weergegeven in afbeelding 15. 

Afbeelding 15 - Apparaatbeheer gastbesturingssysteem en netwerkverbindingen

11. Schakel RDMA in op SMB vNIC. RDMA-functionaliteit is al ingeschakeld op de Mellanox VF (Ethernet4 - Afbeelding 16).

Afbeelding 16 - RDMA inschakelen op SMB vNIC.

12. Test Gast RDMA. 

Afbeelding 17 - Test-RDMA gast-besturingssysteem

PowerShell-cmdlets

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

Downloadkoppelingen

• Microsoft Test-RDMA-script
• Microsoft Diskspd

Heeft u opmerkingen, vragen of suggesties? Neem contact met ons op via WinServerBlogs@dell.com