Microsoft Windows: Jak nakonfigurovat hostovaný RDMA na Windows Serveru

Obsah

• Úvod k přímému přístupu do paměti vzdáleného počítače (RDMA)
• Laboratorní prostředí
• Konfigurace hardwaru
• Konfigurace připojení RDMA hosta
• Rutiny Powershell
• Odkazy pro stažení

Úvod k přímému přístupu do paměti vzdáleného počítače (RDMA)

Přímý přístup do paměti vzdáleného počítače (RDMA) je skvělá technologie, která umožňuje počítačům přenášet data v síti bez zapojení procesoru nebo prostředků operačního systému zapojených hostitelů (výpočetní zdroje a úložiště). To zlepšuje propustnost a výkon a snižuje latenci a režii procesoru.

V současné době existují dvě oblíbené implementace RDMA:

• RoCE
  • Přeprava: UDP/IP (RoCE v2)
  • Spolehněte se na přemostění datových center (DCB)
• iWarp
  • Základní síť: Protokol TCP/IP
  • TCP poskytuje řízení toku a správu zahlcení.

RoCE se do značné míry spoléhá na konfiguraci DCB, jako je Enhanced Transmission Service (ETS) a Priority Flow Control (PFC), což se může stát problémem, pokud síťové přepínače nejsou správně nakonfigurovány. iWARP nevyžaduje žádnou konfiguraci přepínače.

Microsoft začal podporovat RDMA na Windows Server 2012 a přidal nové funkce v novějším operačním systému Windows Server. Jednou z funkcí, která je k dispozici v systému Microsoft Windows Server 2019, je možnost prezentovat RDMA hostovanému operačnímu systému (VM). To umožňuje hostovi mít stejně nízkolatenční přístup k síťovému úložišti jako nativní hostitel, což snižuje režii procesoru a zlepšuje propustnost a výkon přímo ve virtuálním počítači.

Společnost Dell nabízí skvělé možnosti pro 25Gb/s šifrování RDMA, například dvouportový adaptér Cavius QLogic FastLinQ 41262 25 GbE SFP28 (iWarp/RoCE) a Mellanox ConnectX-4 Lx 25 Gb/s RDMA (RoCE). V tomto příkladu používáme k ukázce připojení RDMA hosta model Mellanox ConnectX-4 Lx RDMA (režim RoCEv2).

Laboratorní prostředí

Servery:

• 2× Dell R7425 (procesor AMD EPYC 7551, 32 jader)
• 256 GB paměti
• Plně aktualizován Mellanox ConnectX-4 Lx (firmware (včetně systému BIOS), ovladačů a operačního systému)

Nainstalované role a funkce:

• Hyper-V
• DCB
• Clustering s podporou převzetí služeb při selhání
• Řešení S2D

Přepínač:

• Dell S5048F-ON – MGMT VLAN 2
• SMB VLAN 15

Konfigurace hardwaru

1. Restartujte servery a přejděte do konfigurace systému (během testu POST stiskněte klávesu F2).
2. Vyberte možnost Device Settings.

Obrázek 1 – Nastavení zařízení BIOS

3. Vyberte kartu NIC ve slotu 1 Port 1 – Mellanox.

Obrázek 2 – Port 1 Mellanox Slot 1 Port 1 Device Settings

4. Přejděte na Konfigurace na úrovni zařízení.

Obrázek 3 – Konfigurace na úrovni zařízení

5. Vybrat SR-IOV v režimu virtualizace.

Obrázek 4 – Nastavení SR-IOV 

6. Opakujte výše uvedené kroky na síťové kartě ve slotu 1, port 2 – Mellanox.

Obrázek 5 – Port 2 Mellanox Slot 1 Port 2 Device Settings

7. Přejděte zpět do hlavní nabídky nastavení systému a zvolte možnost Systém BIOS.

Obrázek 6 – Systém BIOS

8. Vyberte možnost Integrated Devices.

Obrázek 7 – Zařízení integrovaná v systému BIOS

9. Povolit možnost SR-IOV Global .

Obrázek 8 – SR-IOV Global

10. Uložte konfiguraci a restartujte server.

Konfigurace připojení RDMA hosta

1. Nainstalovat Windows Server 2019+.
2. Nainstalujte roli Hyper-V a funkci přemostění datového centra (DCB).
3. Konfigurovat Kvalita služeb (QoS), DCB, PFC, ETS. Ujistěte se, že konfigurace síťové karty serveru a QoS odpovídá konfiguraci přepínače.
4. Konfigurovat Tým SET (Switch Embedded) technologie Hyper-V.

Obrázek 9 – Konfigurace přepínače vSwitch

5. Před konfigurací virtuálních počítačů otestujte komunikaci RDMA mezi fyzickými servery. Stáhnout Microsoft Diskspd a skript PowerShellu Microsoft Test-RDMA. Níže uvedené kroky postupujte pouze v případě, že komunikace funguje správně. V opačném případě zkontrolujte konfiguraci přepínače nebo nastavení DCB na hostiteli.

Obrázek 10 – Fyzičtí hostitelé testovacího RDMA

6. Ověřte , jestli je na adaptérech RDMA na obou serverech povolená funkce SR-IOV.

Obrázek 11 – Povolena funkce SR-IOV

7. Vytvořte dva virtuální počítače druhé generace (hostovaný operační systém), po jednom na každém serveru, a poté nainstalujte systém Windows Server 2019. V tomto scénáři se vytvoří hostovaný operační systém se dvěma virtuálními síťovými kartami, jednou pro provoz MGMT (VLAN 2) a druhou pro provoz SMB (VLAN 15).

Obrázek 12 – Konfigurace sítě hostovaného operačního systému Hostitel R7425-01

Obrázek 13 – Hostitel R7425-02 konfigurace sítě virtuálního počítače

8. Vypněte virtuální počítače.
9. Zapnout SR-IOV a RDMA v hostovaném operačním systému.

Obrázek 14 – Povolení SR-IOV/RDMA v hostovaných operačních systémech.

10. Spusťte virtuální počítače a otevřete Správce zařízení. V části Síťové adaptéry by měla být uvedena položka Virtuální funkce (VF) Mellanox. Položka VF není uvedena jako běžný síťový adaptér v části Síťová připojení, jak je vidět na obrázku 15. 

Obrázek 15 – Správce zařízení hostovaného operačního systému a síťová připojení

11. Povolte RDMA na virtuálním síťovém rozhraní SMB. Funkce RDMA je již v zařízení Mellanox VF povolena (Ethernet4 – obrázek 16).

Obrázek 16 – Povolení RDMA na virtuálním řadiči SMB.

12. Test Hostující RDMA. 

Obrázek 17 – Hostovaný operační systém Test-RDMA

Rutiny Powershell

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

Odkazy pro stažení

• Skript Microsoft Test-RDMA
• Microsoft Diskspd

Máte nějaké připomínky, dotazy nebo návrhy? Kontaktujte nás na WinServerBlogs@dell.com