PowerEdge：使用运行 Linux OS 的 PERC H330 的 R6415、R7415 和 R7425 上的潜在数据损坏

在以下情况下，在第 14 代基于 AMD 的服务器上连接到 PERC H330 控制器的存储上运行繁重的 I/O 时，可能会发生数据损坏： 

• H330 安装有基于 Linux 的作系统，并在系统 BIOS 中启用了 CPU 虚拟化技术 （VT） 功能
• 将 H330 存储控制器配置为到 Linux 虚拟机 （VM） 的 VMDirectPath I/O 直通设备 （PCI） 的 VMware作系统/ESXi
  • 只有将 H330 作为直通设备连接的虚拟机才会面临数据损坏的风险。   

什么方面会受到影响？ 

• 所有 14G AMD 服务器（单处理器或双处理器）
  • R6415
  • R7415
  • R7425
• 基于 Linux 的操作系统，其中包括但不限于
  • Red Hat Enterprise Linux 7.5
  • Red Hat Enterprise Linux 7.6
  • Ubuntu 16.04
  • Ubuntu ® 18.04 LTS
  • CentOS 7.5
  • CentOS 7.6
  • SLES 12 SP3/SP4
  • SLES 15
• 所有当前版本的 ESXi 虚拟机管理程序
  • ESXi 6.5.x
  • ESXi 6.7.x
• 存储控制器：
  • RAID 或非 RAID 模式下的 PERC H330

摘要：遇到此问题需要特定的配置。

1. 14G AMD 服务器 + Linux OS + H330 控制器 
2. 14G AMD 服务器 + ESXi + 已配置为 Linux 虚拟机的 VMDirectPath I/O 直通设备的 H330

什么方面不会受到影响？

• 14G Intel 平台
• 除 H330 以外的任何存储控制器（HBA330/H730/H740/H840 等）
• Windows 操作系统

根本原因：

• Linux AMD_IOMMU 驱动程序将 BIOS 为 H330 保留的相同内存范围用于 I/O 数据缓冲器和 I/O 虚拟地址，以访问不同的物理内存区域，导致文件系统损坏。此外，BIOS 中的 IVRS 表提供了 H330 排除范围的起始地址和长度。当 AMD IOMMU 驱动程序设置排除范围时，驱动程序将添加 IVRS 提供的起始地址和长度，以获取用于在 IOMMU 中编程排除范围限制寄存器的结束地址，但要获得结束地址，它应该将长度添加到起始地址并减去一个， 这会导致排除范围在 BIOS 指定的排除范围末尾额外排除一页。如果内核将这个额外的页面地址用作 IOVA，则会导致数据损坏。
• VMware/ESXi：将虚拟机配置为在 VMDirectPath I/O 模式下使用 H330 控制器可能会导致所述虚拟机的存储和内存损坏

1. 戴尔工程部门已了解此问题，并提供了适用于 BIOS 1.8.7 或更高版本的 BIOS 解决方法。
   • R7425 - https://www.dell.com/support/home/product-support/product/poweredge-r7425/drivers
   • R6415 - https://www.dell.com/support/home/product-support/product/poweredge-r6415/drivers
   • R7415 - https://www.dell.com/support/home/product-support/product/poweredge-r7415/drivers
2. Dell Technologies 建议将 BIOS 更新到 1.8.7 或更高版本。
3. Linux 供应商和 VMware 也在进行内核修复。一旦 Linux 供应商和 VMware 提供了更新的内核软件包，它可能会提供此问题的替代解决方案。当 Linux 供应商和 VMware 提供的修复可用时，戴尔尝试在此处记录有关这些修复的信息。
   • VMware 知识库链接： https://knowledge.broadcom.com/external/article?legacyId=68068
   • Red Hat 知识库文章： https://access.redhat.com/solutions/3978031 （需要登录）
   • SUSE KB： https://www.suse.com/support/kb/doc/?id=000019431 

返回页首