PowerEdge: XE9680 – GPU:er försvinner från värden

Vanliga händelser och aviseringar som indikerar det här problemet är:

• Värdkernelloggar som visar Xid 74 och eller 79 från NVIDIA-drivrutinen. På Linux, Xid Felmeddelanden visas /var/log/messages.

[...] NVRM: Xid (PCI:0000:1a:00): 79, pid='<unknown>', name=<unknown>, GPU has fallen off the bus.

• Dells livscykelloggar kan rapportera en PCI1318 Bus Fatal Error:

PCI1318: A fatal error was detected on a component at bus <X> device <Y> function <Z>

• Problemet kan också vara övergående:
  • GPU:er kan visas igen efter en AC-strömcykel
  • Antalet GPU:er och kortplatser där grafikprocessorer försvinner kan ändras.

Xid och Bus Fatal Felmeddelanden är ofta relaterade till PCIe Retimer-relaterade fel. Dessa fel kan inträffa på grund av signalintegritetsproblem i PCIe-arkitekturen.

Dell har släppt uppdaterad fast programvara för GPU-accelerator. Den här uppdateringen innehåller förbättringar av PCIe Retimers, som förbättrar signalintegriteten och hjälper till att förhindra att grafikprocessorer faller av bussen. Som ett första steg är det lämpligt att uppdatera till den fasta programvaran som anges nedan eller nyare om det finns allvarliga bussfel.