Microsoft Windows: Slik konfigurerer du gjeste-RDMA på Windows Server

Innholdsfortegnelse

• Introduksjon av RDMA (direkte minnetilgang via fjerntilkobling)
• Laboratoriemiljø
• Maskinvarekonfigurasjon
• Konfigurere gjeste-RDMA
• PowerShell-cmdleter
• Nedlastingskoblinger

Introduksjon av RDMA (direkte minnetilgang via fjerntilkobling)

Remote Direct Memory Access (RDMA) er en flott teknologi som gjør det mulig for datamaskiner å overføre data over nettverket uten å involvere CPU- eller OS-ressursene til de involverte vertene (databehandling og lagring). Dette forbedrer gjennomstrømningen og ytelsen, og reduserer ventetid og CPU-belastning.

Det er to populære RDMA-implementeringer i dag:

• RoCE
  • Transport: UDP/IP (RoCE v2)
  • Stol på Data Center Bridging (DCB)
• iWarp
  • Underliggende nettverk: TCP/IP
  • TCP gir flytkontroll og overbelastningsadministrasjon.

RoCE er svært avhengig av DCB-konfigurasjon som Enhanced Transmission Service (ETS) og Priority Flow Control (PFC), noe som kan bli et problem hvis nettverkssvitsjer ikke er riktig konfigurert. iWARP krever ingen svitsjkonfigurasjon.

Microsoft begynte å støtte RDMA på Windows Server 2012 og la til nye funksjoner i det senere Windows Server OS. En funksjon som er tilgjengelig på Microsofts Windows Server 2019, er muligheten til å presentere RDMA til gjesteoperativsystemet (VM). Dette gjør at gjesten har samme tilgang med kort ventetid til en nettverkslagring som den opprinnelige verten, noe som reduserer CPU-kostnader og forbedrer gjennomstrømningen og ytelsen direkte i den virtuelle maskinen.

Dell tilbyr flotte alternativer for 25 Gbps RDMA, som for eksempel Cavius QLogic FastLinQ 41262 25 GbE SFP28 (iWarp/RoCE) og Mellanox ConnectX-4 Lx 25 Gbps RDMA (RoCE). Dette eksemplet bruker Mellanox ConnectX-4 Lx RDMA (RoCEv2-modus) for å demonstrere funksjonen for gjeste-RDMA.

Laboratoriemiljø

Servere:

• 2 x Dell R7425 (AMD EPYC 7551 32-kjerners prosessor)
• 256 GB minne
• Mellanox ConnectX-4 Lx fullstendig oppdatert (fastvare (inkludert BIOS), drivere og operativsystem)

Roller og funksjoner installert:

• Hyper-V
• DCB
• Failover-klynger
• S2D

Bryter:

• Dell S5048F-ON – MGMT VLAN 2
• SMB VLAN 15

Maskinvarekonfigurasjon

1. Start serverne på nytt, og gå til systemoppsettet (trykk F2 under POST).
2. Velg Device Settings (Enhetsinnstillinger).

Figur 1 – Innstillinger for BIOS-enhet

3. Velg NIC i spor 1 Port 1 – Mellanox.

Figur 2 – Mellanox-spor 1 Port 1 Enhetsinnstillinger

4. Gå til Konfigurasjon på enhetsnivå.

Figur 3 – Konfigurasjon av enhetsnivå

5. Velge SR-IOV i virtualiseringsmodus.

Figur 4 – SR-IOV-innstilling 

6. Gjenta trinnene ovenfor på NIC i spor 1 Port 2 – Mellanox.

Figur 5 – Enhetsinnstillinger for Mellanox-spor 1 port 2

7. Gå tilbake til hovedmenyen i systemoppsettet, og velg deretter System-BIOS.

Figur 6 – System-BIOS

8. Velg Integrerte enheter.

Figur 7 – BIOS-integrerte enheter

9. Aktiver alternativet SR-IOV globalt .

Figur 8 – SR-IOV Global

10. Lagre konfigurasjonen, og start serveren på nytt.

Konfigurere gjeste-RDMA

1. Installere Windows Server 2019+.
2. Installer Hyper-V-rollen og Data Center Bridging-funksjonen (DCB).
3. Konfigurere Tjenestekvalitet (QoS), DCB, PFC, ETS. Kontroller at konfigurasjonen for server-NIC og QoS samsvarer med svitsjkonfigurasjonen.
4. Konfigurere Hyper-V Switch Embedded Team (SET).

Figur 9 – vSwitch-konfigurasjon

5. Test RDMA-kommunikasjon mellom de fysiske serverne før konfigurering av de virtuelle maskinene. Last ned Microsoft Diskspd og Microsoft Test-RDMA PowerShell-skriptet. Følg trinnene nedenfor bare hvis kommunikasjonen fungerer som den skal. Ellers kontrollerer du svitsjkonfigurasjonen og/eller DCB-innstillingene på verten.

Figur 10 – Fysiske verter for test-RDMA

6. Kontroller om SR-IOV er aktivert på RDMA-adapterne på begge serverne.

Figur 11 – SR-IOV aktivert

7. Opprett to virtuelle Gen 2-maskiner (gjesteoperativsystem), én på hver server, og installer deretter Windows Server 2019. I dette scenariet opprettes et gjesteoperativsystem med to vNIC-er, én for MGMT-trafikk (VLAN 2) og én for SMB-trafikk (VLAN 15).

Figur 12 – Nettverkskonfigurasjon for gjesteoperativsystem R7425-01

Figur 13 – Virtual Machine Network Configuration Host R7425-02

8. Slå av VM-ene.
9. Aktivere SR-IOV og RDMA på gjesteoperativsystemet.

Figur 14 – Aktiver SR-IOV/RDMA på gjesteoperativsystemer.

10. Start de virtuelle maskinene, og åpne deretter Enhetsbehandling. Mellanox Virtual Function (VF) skal være oppført under Nettverksadaptere. VF vises ikke som et vanlig nettverkskort i Network Connections (Nettverkstilkoblinger), som vist i figur 15. 

Figur 15 – Enhetsbehandling og nettverkstilkoblinger for gjesteoperativsystem

11. Aktiver RDMA på SMB vNIC. RDMA-funksjonalitet er allerede aktivert på Mellanox VF (Ethernet4 – figur 16).

Figur 16 – Aktiver RDMA på SMB vNIC.

12. Prøve Gjest RDMA. 

Figur 17 – Test-RDMA gjesteoperativsystem

PowerShell-cmdleter

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

Nedlastingskoblinger

• Microsoft Test-RDMA-skript
• Microsoft Diskspd

Har du kommentarer, spørsmål eller forslag? Kontakt oss på WinServerBlogs@dell.com