转载请在文首保留原文出处：EMC中文支持论坛 - https://community.emc.com/go/chinese

RDMA（remote direct memory access）是一种远程内存直接访问技术。RDMA可以在不需要操作系统干预下，完成两个主机之间内存数据传输。RDMA技术具有IO延迟低，带宽性能高，主机CPU负载低的特点。vSphere是VMware虚拟化核心产品，RDMA技术特点能够有效满足虚拟机迁移和分布式存储的要求。本文主要为大家介绍RDMA在vSphere中的五种应用模型。

Full-function VM DirectPath

Full-function VM DirectPath由虚拟机VMM/Hypervisor将整个PCI设备直接透传给一个虚拟机。PCI设备这里指HCA适配器，可以是基于IB或者RoCe或者iWRAP。物理设备为一个虚拟机单独使用，设备无法在虚拟机之间，虚拟机与VMM/Hypervisor之间共享。

由于直接由VMM/Hypervisor透传，虚拟机RDMA性能很好，非常接近于物理机RDMA性能。该方案缺点就是很多vSphere软件功能无法使用，比如：FT、Snapshot、Suspend和vMotion。

模型图如下：

SR-IOV VF VM DirectPath

SR-IOV VF解决Full-function下单一PCI设备无法被多个虚拟机共享的问题。SR-IOV需要适配器和/VMM/Hypervisor协作支持。一个适配器可以在芯片组上面注册多个独立中断（PF和VF），每个中断在VMM/Hypervisor对应一个独立的PCI设备。VMM/Hypervisor将每个PCI设备（VF）透传给一个或者多个虚拟机，PF分配给VMM/Hypervisor，负责管理VF。

同样是VMM/Hypervisor透传，虚拟机RDMA性能很好，非常接近于物理机RDMA性能。另外由于适配器硬件支持，VMM/Hypervisor还可以灵活进行QOS管理。该方案缺点跟Full-function一样，基于vSpher的很多软件功能不兼容。

模型图如下：

基于10GbE VM DirectPath的RoCE仿真：

VMM/Hypervisor将10GbE适配器通过PCI设备透传方式分配给虚拟机。虚拟机运行RXE驱动实现RoCE功能，该功能可以跟运行RXE驱动的虚拟机或者RoCE硬件适配器通信。这是一种在虚拟机通过仿真方式实现RDMA方式，性能不佳。同样由于是VM DirectPath，很多vSphere性能无法使用。

模型图如下：

基于半虚拟化的RoCE仿真

虚拟机也通过安装RXE驱动实现软件仿真RoCE功能，与基于VM DirectPath的RoCE仿真不同的是虚拟机网卡使用半虚拟化方案（vmxnet3）。该方案可以与不需要依赖物理硬件，及时服务器没有支持RDMA功能的适配器，两台虚拟机之间也可以进行RDMA通行。

半虚拟化网络性能较好，介于VMDirectPath和全仿真之间；基于半虚拟化的RDMA全仿真性能较差，优点是vSphere功能都可用。

模型图如下：

基于Infiniband的半RDMA虚拟化（vRDMA）

服务器使用Infiniband物理适配器，VMM/Hypervisor为虚拟机提供版虚拟化RDMA方案。虚拟机RDMA驱动基于Infiniband Verbs实现，VMM/Hypervisor将虚拟机内存和RDMA物理适配器内存直接映射，虚拟机内存访问可以通过DMA实现0-拷贝。

模型图如下：

小结：

虚拟化应用RDMA主要3种方式：仿真、半虚拟化、透传。透传模式性能最好，半虚拟化性能较好，仿真模式性能一般。基于PCI-E SR-IOV的透传模式可以实现多台虚拟机共享一个物理设备，虚拟机RDMA的性能非常接近物理性能，并且可以在VMM/Hypervisor实施QOS管理。半虚拟化方案既能获得可观的性能，又不影响vSphere大量软件功能（比如：FT，vMotion等）。透传模式和半虚拟化都需要配合RDMA物理适配器。

·         OFA workshop-RDMA on vSphere: Update and further directions

N/A