Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Enjoy members-only rewards and discounts
  • Create and access a list of your products
  • Manage your Dell EMC sites, products, and product-level contacts using Company Administration.

Så här konfigurerar du gäst-RDMA på Windows Server 2019

Summary: I den här artikeln beskrivs hur du konfigurerar gäst-RDMA på Windows Server 2019.

This article may have been automatically translated. If you have any feedback regarding its quality, please let us know using the form at the bottom of this page.

Article Content


Instructions

Innehållsförteckning

  1. Introduktion av RDMA (Remote Direct Memory Access)

  2. Laboratoriemiljö

  3. Maskinvarukonfiguration

  4. Konfigurera gäst-RDMA

  5. Powershell Cmdlets

  6. Länkar för hämtning


1. Introduktion av RDMA (Remote Direct Memory Access)

Remote Direct Memory Access (RDMA) är en suverän teknik som gör det möjligt för datorer att överföra data över nätverket utan CPU- eller OS-resurser för de berörda värdarna (beräkning/lagring), vilket förbättrar genomströmning och prestanda, minskar latens och processorbelastning.

Det finns idag två populära RDMA-implementeringar:

RoCE
– Transport: UDP/IP (RoCE v2)
– Lita på DCB (Data Center Bridging)

iWarp
– Underliggande nätverk: TCP/IP
– TCP ger flödeskontroll och hantering av överbelastning


RoCE är starkt beroende av DCB-konfiguration, t.ex. ETS (Enhanced Transmission Service) och PFC (Priority Flow Control), vilket kan bli ett problem om nätverksswitchar inte konfigureras korrekt. iWARP kräver ingen switchkonfiguration.

Microsoft började ha stöd för RDMA på Windows Server 2012 och lade till nya funktioner i senare Windows Server-operativsystem. En tillgänglig funktion i Microsofts senaste operativsystem, Windows Server 2019, är möjligheten att presentera RDMA för gästoperativsystemet (VM). Detta ger gästen samma kostnadseffektiva åtkomst till nätverkslagring som en inbyggd värd, vilket minskar processorbelastning och förbättrar genomströmning/prestanda direkt i VM.


Dell EMC erbjuder utmärkta alternativ för RDMA med 25 Gbps överföringshastighet, som Cavium QLogic FastLinQ 41262 Dual Port med 25 GbE SFP28 (iWarp/RoCE) och Mellanox ConnectX-4 Lx med 25 Gbps RDMA (RoCE). I det här exemplet demonstreras gäst-RDMA-funktionen med hjälp av Mellanox ConnectX-4 Lx RDMA (RoCEv2 mode).

2. Lab-miljö

Servrar: 2 x Dell EMC R7425 (AMD Epyc 7551 32-kärnig processor), 256 GB minne, fullständigt uppdaterade Mellanox ConnectX-4 Lx (BIOS, fast programvara, drivrutiner och OS)
Roller/funktioner installerade: Hyper-V, DCB, klusterredundans,
S2D-switch: Dell EMC S5048F-ON – MGMT VLAN 2, SMB VLAN 15
 
Dell EMC rekommenderar att du uppdaterar BIOS, fast programvara, drivrutiner och operativsystem som en del av din schemalagda uppdateringscykel. Uppdateringar av BIOS, fast programvara, drivrutiner och operativsystemet avser att förbättra systemets tillförlitlighet, stabilitet och säkerhet.

3. Maskinvarukonfiguration

1. Starta om servrarna och öppna systemkonfiguration (tryck på F2 under POST).

2. Välj Enhetsinställningar.


HOW16693_en_US__1Fig1 – BiosDevSet
Bild 1 – BIOS-enhetsinställningar

3. Välj NIC i kortplats 1, port 1 – Mellanox

HOW16693_en_US__2Fig2 – BiosDevSetMellanox
bild 2 – Mellanox kortplats 1, port 1, enhetsinställningar

4. Gå till konfiguration på enhetsnivå

HOW16693_en_US__3Fig3 – BiosDevLevConf
bild 3 – Konfiguration på enhetsnivå

5. Välj SR-IOV i virtualiseringsläge.

HOW16693_en_US__4Fig4 – BiosDevSriov
Bild 4 – SR-IOV-inställning

6. Upprepa stegen ovan på NIC i kortplats 1, port 2 – Mellanox.

HOW16693_en_US__5Fig5 – BiosDevSetMellanox2
Bild 5 – Mellanox kortplats 1, port 2 Enhetsinställningar

7. Gå tillbaka till huvudmenyn för systeminställningar och välj sedan system-BIOS.

HOW16693_en_US__6Fig6 – SystemBios
Bild 6 – system-BIOS

8. Välj Integrerade enheter.

HOW16693_en_US__7Fig7 – IntegratedDev
Bild 7 – BIOS Integrated Devices

9. Aktivera alternativet SR-IOV Global Enable.

HOW16693_en_US__8Fig8 – SriovGlobal
Bild 8 – SR-IOV Global

10. Spara konfigurationen och starta om servern.
 

4. Konfigurera gäst-RDMA


1. Installera Windows Server 2019
2. Installera Hyper-V Role och Data Center Bridging (DCB)-funktionen.
3. Konfigurera QoS (Quality-of-Service), DCB, PFC, ETS. Kontrollera att server-NIC och QoS-konfigurationen matchar switchkonfigurationen.
4. Konfigurera Hyper-V SET (Switch Embedded Team).

HOW16693_en_US__9Fig9 – vSwitch
Bild 9 – vSwitch-konfiguration

5. Testa RDMA-kommunikation mellan de fysiska servrarna innan du konfigurerar VM:arna. Hämta Microsoft Diskspd och Microsoft Test-RDMA PowerShell-skriptet. Fortsätt endast med stegen nedan om kommunikationen inte fungerar korrekt. Kontrollera annars switchkonfigurationen och/eller DCB-inställningarna på värden.

HOW16693_en_US__10Fig10 – test-RDMA1
Bild 10 – fysiska Test-Rdma-värdar

6. Kontrollera om SR-IOV är aktiverat på RDMA-adaptrar på båda servrarna.

HOW16693_en_US__11Fig11 – SRIOVEnab
Bild 11 – SR-IOV aktiverat

7. Skapa två andra generationens VM:ar (gäst-OS), en på vardera server och installera sedan Windows Server 2019. I det här scenariot skapas ett gästoperativsystem med två vNIC:er, en för MGMT-trafik (VLAN 2) och en för SMB-trafik (VLAN 15).

HOW16693_en_US__12Fig12 – VMNetConfig
Bild 12 – nätverkskonfiguration för gäst-OS, värd R7425-01,

HOW16693_en_US__13Fig13 – VMNetConfig2
bild 13 – Nätverkskonfiguration för virtuell maskin, värd R7425-02

8. Stäng av vm:arna.
9. Aktivera SR-IOV och RDMA i gästoperativsystemet.

HOW16693_en_US__14Fig14 – EnableSriovRdmaGuest
Bild 14 – Aktivera SR-IOV/RDMA på gästoperativsystem

10. Starta VM:arna och öppna sedan enhetshanteraren. Mellanox Virtual Function (VF) bör listas under nätverkskort. VF visas inte som en vanlig nätverksadapter i nätverksanslutningar, så som visas på bild 15. 

HOW16693_en_US__15Fig16 – VMDevManager
Bild 15 – gäst-OS för enhetshanteraren och nätverksanslutningar
 
OBS! En NIC-drivrutin kan behöva installeras för att aktivera RDMA i gästoperativsystemet.
11. Aktivera RDMA på SMB vNIC. RDMA-funktionen är redan aktiverad på Mellanox VF (Ethernet4 – bild 16).

HOW16693_en_US__16Fig15 – VMRdmaEnab
Bild 16 – Aktivera RDMA på SMB vNIC

12. Testa gäst-RDMA. 
HOW16693_en_US__17icon Obs! Det är viktigt att ange IfIndex (vNIC Interface Index) och VfIndex (Mellanox VF Interface Index).

HOW16693_en_US__18Fig17 – Test-RdmaVM
Bild 17 – Test-RDMA, gäst-OS
 

5. Powershell Cmdlets


#Create en ny virtuell switch med TILLVAL MED TILLVALET AKTIVERAT
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbededTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO och RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Namn xxx -IovMapp 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaMapp 100

#Enable RDMA på NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true --RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx
 

6. Ladda ner länkar


Microsoft Diskspd
• Microsoft Test-RDMA ScriptHar du några


kommentarer, frågor eller förslag? Kontakta oss på WinServerBlogs@dell.com
 

Article Properties


Affected Product

PowerEdge, Microsoft Windows Server 2019

Last Published Date

15 Sep 2021

Version

7

Article Type

How To