PowerEdge: Mögliche Datenbeschädigung auf R6415, R7415 und R7425 mit PERC H330 unter Linux

Unter den folgenden Bedingungen kann es zu Datenbeschädigungen kommen, während umfangreiche I/O-Vorgänge auf Speicher ausgeführt werden, der mit PERC H330-Controllern auf einem AMD-basierten PowerEdge-Server der 14. Generation verbunden ist: 

• H330 wird mit einem Linux-basierten Betriebssystem installiert, bei dem die Funktion CPU Virtualization Technology (VT) im System-BIOS aktiviert ist.
• VMware-Betriebssysteme/ESXi mit H330-Storage-Controller, der als VMDirectPath-I/O-Passthrough-Gerät (PCI-Passthrough) zu einer virtuellen Linux-Maschine (VM) konfiguriert ist
  • Das Risiko der Datenbeschädigung besteht nur für die VM, die den H330 als Passthrough-Gerät angeschlossen hat.   

Was ist betroffen? 

• Alle AMD-Server der 14. Generation (Einzel- oder Dual-Prozessor)
  • R6415
  • R7415
  • R7425
• Linux-basierte Betriebssysteme, einschließlich, aber nicht beschränkt auf
  • Red Hat Enterprise Linux 7.5
  • Red Hat Enterprise Linux 7.6
  • Ubuntu 16.04
  • Ubuntu® 18.04 LTS
  • CentOS 7.5
  • CentOS 7.6
  • SLES 12 SP3/SP4
  • SLES 15
• Alle aktuellen Versionen des ESXi-Hypervisors
  • ESXi 6.5.x
  • ESXi 6.7.x
• Speicher-Controller:
  • PERC H330 im RAID- oder Nicht-RAID-Modus

Zusammenfassung: Zur Behebung dieses Problems ist eine bestimmte Konfiguration erforderlich.

1. 14G AMD Server + Linux OS + H330 Controller 
2. 14G AMD Server + ESXi + H330 konfiguriert als VMDirectPath I/O Pass-Through zu einer Linux VM

Was ist nicht betroffen?

• 14G Intel-Plattformen
• Alle Storage-Controller (HBA330/H730/H740/H840 usw.) außer H330
• Windows-Betriebssysteme

Ursache:

• Der Linux AMD_IOMMU-Treiber verwendet denselben Speicherbereich, den das BIOS für H330 reserviert hat, sowohl für den E/A-Datenpuffer als auch für die virtuelle E/A-Adresse, um auf unterschiedliche physische Speicherbereiche zuzugreifen, was zu einer Beschädigung des Dateisystems führt. Außerdem enthält die IVRS-Tabelle im BIOS die Startadresse und Länge des Ausschlussbereichs für H330. Während der AMD IOMMU-Treiber den Ausschlussbereich einrichtet, fügt der Treiber die von IVRS bereitgestellte Startadresse und Länge hinzu, um die Endadresse zu erhalten, die er verwendet, um das Ausschlussbereichsbegrenzungsregister in der IOMMU zu programmieren, aber um die Endadresse zu erhalten, sollte er die Länge zur Startadresse addieren und eins subtrahieren. Dies führt dazu, dass der Ausschlussbereich eine Seite mehr als das Ende des vom BIOS angegebenen Ausschlussbereichs ausschließt. Wenn der Kernel diese zusätzliche Seitenadresse als IOVA verwendet, führt dies zu Datenbeschädigungen.
• VMware/ESXi: Die Konfiguration einer VM für die Verwendung eines H330-Controllers in einem VMDirectPath-E/A-Modus kann zu einer Beschädigung des Speicherplatzes und des Arbeitsspeichers für die besagte VM führen

1. Die technische Abteilung von Dell ist sich des Problems bewusst und mit der BIOS-Version 1.8.7 oder höher wird ein BIOS-Workaround zur Verfügung gestellt.
   • R7425 - https://www.dell.com/support/home/product-support/product/poweredge-r7425/drivers
   • R6415 - https://www.dell.com/support/home/product-support/product/poweredge-r6415/drivers
   • R7415 - https://www.dell.com/support/home/product-support/product/poweredge-r7415/drivers
2. Dell Technologies empfiehlt, das BIOS auf 1.8.7 oder höher zu aktualisieren.
3. Eine Kernel-Korrektur wird von Linux-Anbietern und VMware ebenfalls durchgeführt. Sobald ein aktualisiertes Kernel-Paket von den Linux-Anbietern und von VMware verfügbar ist, kann es eine alternative Lösung für dieses Problem darstellen. Dell versucht, Informationen zu den Korrekturen von Linux-Anbietern und VMware hier zu notieren, sobald sie verfügbar sind.
   • Link zur VMware-Wissensdatenbank: https://knowledge.broadcom.com/external/article?legacyId=68068
   • Red Hat-Wissensdatenbank: https://access.redhat.com/solutions/3978031 (Anmeldung erforderlich)
   • SUSE-Wissensdatenbank-Artikel: https://www.suse.com/support/kb/doc/?id=000019431 

Zurück zum Anfang