Microsoft Windows: Kuinka määrittää vieras RDMA Windows Serverissä

Sisällysluettelo

• RDMA:n (Remote Direct Memory Access) esittely
• Testiympäristö
• Laitteistokokoonpano
• Vieraskäyttöjärjestelmän RDMA:n määrittäminen
• PowerShellin cmdlet-komennot
• Latauslinkit

RDMA:n (Remote Direct Memory Access) esittely

Remote Direct Memory Access (RDMA) on erinomainen tekniikka, jonka avulla tietokoneet voivat siirtää tietoja verkon kautta ilman mukana olevien isäntien suoritin- tai käyttöjärjestelmäresursseja (laskenta ja tallennus). Tämä parantaa siirtonopeutta ja suorituskykyä sekä vähentää viivettä ja suorittimen kuormitusta.

Nykyään on olemassa kaksi suosittua RDMA-toteutusta:

• RoCE
  • Kuljetus: UDP/IP (RoCE v2)
  • Luota datakeskuksen silloitukseen (Data Center Bridging, DCB)
• iWarp
  • Kohdeverkko: TCP/IP
  • TCP tarjoaa virtauksen säädön ja ruuhkautumisen hallinnan.

RoCE luottaa vahvasti DCB-konfiguraatioihin, kuten Enhanced Transmission Service (ETS) ja Priority Flow Control (PFC), joista voi tulla ongelma, jos verkkokytkimiä ei ole määritetty oikein. iWARP ei edellytä kytkimen määrityksiä.

Microsoft alkoi tukea RDMA:ta Windows Server 2012:ssa ja lisäsi uusia ominaisuuksia myöhempään Windows Server -käyttöjärjestelmään. Yksi Microsoftin Windows Server 2019: n ominaisuus on kyky esittää RDMA vieraskäyttöjärjestelmälle (VM). Tämän ansiosta vieraalla on sama matalaviiveinen pääsy verkkotallennustilaan kuin alkuperäisellä isännällä, mikä vähentää suorittimen kuormitusta ja parantaa siirtonopeutta ja suorituskykyä suoraan virtuaalikoneessa.

Dell tarjoaa erinomaisia 25 Gb/s RDMA -vaihtoehtoja, kuten Cavius QLogic FastLinQ 41262 Dual Port 25 GbE SFP28 (iWarp/RoCE) ja Mellanox ConnectX-4 Lx 25 Gb/s RDMA (RoCE). Tässä esimerkissä vieraskäyttöjärjestelmän RDMA:ta havainnollistetaan Mellanox ConnectX-4 Lx RDMA (RoCEv2-tila) -sovittimen avulla.

Testiympäristö

Palvelimet:

• 2 x Dell R7425 (AMD EPYC 7551 32-ytiminen suoritin)
• 256 Gt muistia
• Mellanox ConnectX-4 Lx täysin päivitetty (laiteohjelmisto (mukaan lukien BIOS), ohjaimet ja käyttöjärjestelmä)

Asennetut roolit ja ominaisuudet:

• Hyper-V
• DCB
• Vikasietoklusterit
• S2D

Kytkin:

• Dell S5048F-ON – MGMT VLAN 2
• PK-yritys VLAN 15

Laitteistokokoonpano

1. Käynnistä palvelimet uudelleen ja siirry järjestelmän asennusohjelmaan (paina F2-näppäintä POST-testin aikana).
2. Valitse Device Settings.

Kuva 1 - BIOS-laiteasetukset

3. Valitse NIC paikasta 1, portti 1 - Mellanox.

Kuva 2 - Mellanox-paikan 1 portin 1 laiteasetukset

4. Siirry laitetason määritykseen.

Kuva 3 - Laitetason määritys

5. Valikoida SR-IOV virtualisointitilassa.

Kuva 4 - SR-IOV-asetus 

6. Toista edellä olevat vaiheet verkkokortissa paikassa 1, portti 2 - Mellanox.

Kuva 5 - Mellanox-paikan 1 portin 2 laiteasetukset

7. Palaa järjestelmän asennusohjelman päävalikkoon ja valitse järjestelmän BIOS.

Kuva 6 - Järjestelmän BIOS

8. Valitse Integrated Devices.

Kuva 7 - BIOSiin integroidut laitteet

9. Enable SR-IOV Global - asetus.

Kuva 8 – SR-IOV Global

10. Tallenna määritykset ja käynnistä palvelin uudelleen .

Vieraskäyttöjärjestelmän RDMA:n määrittäminen

1. Asentaa Windows Server 2019+.
2. Asenna Hyper-V-rooli ja Data Center Bridging (DCB) -ominaisuus.
3. Konfiguroida Palvelun laatu (QoS), DCB, PFC, ETS. Varmista, että palvelimen verkkokortin ja QoS:n määritykset vastaavat kytkimen kokoonpanoa.
4. Konfiguroida Hyper-V Switch Embedded Team (SET).

Kuva 9 - vSwitch-määritys

5. Testaa fyysisten palvelimien välinen RDMA-tietoliikenne ennen virtuaalikoneiden määritystä. Lataa Microsoft Diskspd ja Microsoft Test-RDMA PowerShell -komentosarja. Noudata alla olevia ohjeita vain, jos tiedonsiirto toimii oikein. Muussa tapauksessa tarkista kytkimen kokoonpano ja/tai DCB-asetukset isännässä.

Kuva 10 - Testi-RDMA: n fyysiset isännät

6. Tarkista , onko SR-IOV käytössä molempien palvelimien RDMA-sovittimissa.

Kuva 11 – SR-IOV-yhteensopiva

7. Luo kumpaankin palvelimeen yksi toisen sukupolven virtuaalikone (vieraskäyttöjärjestelmä) ja asenna Windows Server 2019. Tässä tilanteessa luodaan vieraskäyttöjärjestelmä, jossa on kaksi vNIC-verkkokorttia, yksi MGMT-liikenteelle (VLAN 2) ja toinen SMB-liikenteelle (VLAN 15).

Kuva 12 - Vieraskäyttöjärjestelmän verkkomääritysisäntä R7425-01

Kuva 13 - Virtuaalikoneen verkon määritysisäntä R7425-02

8. Sammuta virtuaalikoneet.
9. Ottaa käyttöön SR-IOV ja RDMA vieraskäyttöjärjestelmässä.

Kuva 14 - SR-IOV/RDMA:n käyttöönotto vieraskäyttöjärjestelmissä.

10. Käynnistä virtuaalikoneet ja avaa sitten Laitehallinta. Mellanox-virtuaalitoiminnon pitäisi näkyä Verkkosovittimet-kohdassa. Virtuaalitoiminto ei näy tavallisena verkkosovittimena Verkkoyhteyksissä, kuten kuva 15 osoittaa. 

Kuva 15 - Vieraskäyttöjärjestelmän laitehallinta ja verkkoyhteydet

11. Ota RDMA käyttöön SMB vNIC -verkkokortissa. RDMA-toiminto on jo käytössä Mellanox VF:ssä (Ethernet4 - kuva 16).

Kuva 16 - RDMA:n ottaminen käyttöön SMB vNIC:ssä.

12. Testi Vieras RDMA. 

Kuva 17 - Test-RDMA-vieraskäyttöjärjestelmä

PowerShellin cmdlet-komennot

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

Latauslinkit

• Microsoftin Test-Rdma-komentosarja:
• Microsoft Diskspd:

Onko sinulla kommentteja, kysymyksiä tai ehdotuksia? Ota meihin yhteyttä WinServerBlogs@dell.com