Article Number: 000113009
如何在 Windows Server 2019 上配置来宾 RDMA
Summary: 本文介绍如何在 Windows Server 2019 上配置来宾 RDMA。
Article Content
Instructions
目录
1. 远程直接内存访问 (RDMA) 简介
远程直接内存访问 (RDMA) 是一项伟大的技术，它使计算机能够跨网络传输数据，而不涉及参与主机的 CPU 或操作系统资源（计算/存储），从而提高吞吐量和性能，减少延迟和 CPU 开销。目前有两种流行的 RDMA 实现：
RoCE
- 传输：UDP/IP (RoCE v2)
- 依赖于 DCB（数据中心桥接）
iWarp
- 基础网络：TCP/IP
- TCP 提供流量控制和拥塞管理
RoCE 严重依赖于 ETS（增强型传输服务）和 PFC（优先级流量控制）等 DCB 配置，如果网络交换机配置不正确，则这可能会成为问题。iWARP 不需要任何交换机配置。
Microsoft 在 Windows Server 2012 上开始支持 RDMA，并在以后的 Windows Server 操作系统中添加了新功能。Microsoft 最新操作系统 Windows Server 2019 提供的一个功能是能够向来宾操作系统 (VM) 提供 RDMA。这使来宾可以具有与本机主机相同的低延迟网络存储访问，从而减少 CPU 开销，并直接提高 VM 中的吞吐量/性能。
Dell EMC 为 25Gbps RDMA 提供了极好的选择，如 Cavium QLogic FastLinQ 41262 双端口 25 GbE SFP28 (iWarp/RoCE) 和 Mellanox ConnectX-4 Lx 25Gbps RDMA (RoCE)。此示例使用 Mellanox ConnectX-4 Lx RDMA（RoCEv2 模式）来演示来宾 RDMA 功能。
2. 实验环境
服务器：2 个 Dell EMC R7425（AMD Epyc 7551 32 核处理器）、256 GB 内存、Mellanox ConnectX-4 Lx 完全更新的（BIOS、固件、驱动程序和操作系统）安装的角色/功能：Hyper-V、DCB、故障切换群集、S2D
交换机：Dell EMC S5048F-ON — MGMT VLAN 2、SMB VLAN 15
作为您计划的更新周期的一部分，Dell EMC 建议更新 BIOS、固件、驱动程序和操作系统。BIOS、固件、驱动程序和操作系统更新旨在提高系统的可靠性、稳定性和安全性。
3. 硬件配置
1.重新启动服务器，并转至“System Setup”（在开机自检期间按 F2 键）。
2.选择 Device Settings。
图 1 — BIOS 设备设置
3.选择插槽 1 端口 1 中的 NIC — Mellanox
图 2 — Mellanox 插槽 1 端口 1 设备设置
4.转至“设备级别配置”
图 3 — 设备级别配置
5.选择虚拟化模式下的 SR-IOV。
图 4 — SR-IOV 设置
6.在插槽 1 端口 2 中的 NIC 上重复上述步骤 — Mellanox。
图 5 — Mellanox 插槽 1 端口 2 设备设置
7.返回“系统设置主菜单”，然后选择系统 BIOS。
图 6 — 系统 BIOS
8.选择集成设备。
图 7 — BIOS 集成设备
9.启用“SR-IOV Global Enable”选项。
图 8 — SR-IOV Global
10.保存您的配置并重新启动服务器。
4. 配置来宾 RDMA
1.安装 Windows Server 2019
2.安装 Hyper-V 角色和数据中心桥接 (DCB) 功能。
3.配置 QoS（服务质量）、DCB、PFC、ETS。确保服务器 NIC 和 QoS 配置与交换机配置相匹配。
配置 Hyper-V 集合（交换机嵌入式组）。
图 9 — vSwitch 配置
5.在配置 VM 之前，测试物理服务器之间的 RDMA 通信。下载 Microsoft Diskspd 和 Microsoft Test-RDMA PowerShell 脚本。仅在通信正常工作时才继续执行下面的步骤。否则，检查交换机配置和/或主机上的 DCB 设置。
图 10 — Test-Rdma 物理主机
6.验证是否在两台服务器上的 RDMA 适配器上启用了 SR-IOV。
图 11 — SR-IOV 已启用
7.创建两个第 2 代 VM（来宾操作系统），每台服务器上有一个 VM，然后安装 Windows Server 2019。在这种情况下，将创建具有两个 vNIC 的来宾操作系统，一个用于 MGMT 流量 (VLAN 2)，一个用于 SMB 流量 (VLAN 15)。
图 12 — 来宾操作系统网络配置主机 R7425-01
图 13 — 虚拟机网络配置主机 R7425-02
8.关闭虚拟机。
9.在来宾操作系统上启用 SR-IOV 和 RDMA。
图 14 — 在来宾操作系统上启用 SR-IOV/RDMA
10.启动 VM，然后打开设备管理器。Mellanox 虚拟功能 (VF) 应列示在网络适配器下方。在网络连接中，VF 没有作为常规网络适配器呈现，如图 15 所示。
图 15 - 来宾操作系统设备管理器和网络连接
注：可能需要安装 NIC 驱动程序才能在来宾操作系统中启用 RDMA。
11.在 SMB vNIC 上启用 RDMA。Mellanox VF 上已启用 RDMA 功能（Ethernet4 — 图 16）。
图 16 — 在 SMB vNIC 上启用 RDMA
12.测试来宾 RDMA。
注：务必指定 IfIndex（vNIC 接口索引）和 VfIndex（Mellanox VF 接口索引），这一点很重要。
图 17 - Test-RDMA 来宾操作系统
5. Powershell Cmdlet
#在启用 SRIOV 选项的情况下创建新的虚拟交换机
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true
#验证是否在物理适配器上启用了 SRIOV
Get-NetAdapterSriov -Name xxxx
#获取虚拟机网络配置
Get-VM -Name xxxx| Get-VMNetworkAdapter
#获取虚拟机网络 VLAN 配置
Get-VM -Name | Get-VMNetworkAdapterVlan
#在虚拟机（来宾操作系统）vNIC 上设置虚拟机 SRIO 和 RDMA
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100
#在 NetAdapter 上启用 RDMA
Enable-NetAdapterRdma -Name xxxx
#Test-Rdma 物理主机
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx
#Test-Rdma 虚拟机（来宾操作系统）
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx
6. 下载链接
• Microsoft Diskspd
• Microsoft Test-RDMA 脚本
是否有任何意见、疑问或建议？请通过 WinServerBlogs@dell.com 与我们联系
Article Properties
Affected Product
PowerEdge, Microsoft Windows Server 2019
Last Published Date
15 Sept 2021
Version
7
Article Type
How To