PowerEdge: R760xa – NVLink inaktiv und DCGMI-Fehler auf NVIDIA H100NVL mit Bridge

Die DCGMI-Diagnose meldet einen Fehler aufgrund eines ausgefallenen NVlink-Links auf NVIDIA H100NVL-GPUs, wenn sie mit NVLink Bridge verwendet werden.

Das Problem bleibt auch nach dem erneuten Einsetzen oder Austauschen beider GPUs, aller drei NVlink-Brücken, die die beiden GPUs verbinden, und der Riser, auf denen sie installiert sind, bestehen. Von den 18 NVlinks (6 auf jeder NVlink-Bridge) sind nur 12 von 18 Links aktiv.

Die letzten beiden Links auf jedem NVlink-Bridge-Gerät sind immer inaktiv.

H100-Silizium verfügt über 18 NVLINK-Verbindungen in Gruppen von 6, aber auf der H100 NVL-PCIe-GPU wären nur 12 von 18 Pfaden aktiv und funktionsfähig, während sich die verbleibenden Pfade im Stand-by-Zustand befinden.

Die beiden "inaktiven" Links werden für das Failover verwendet, wenn ein Problem mit den ersten vier Links in der NVlink-Bridge aufgetreten ist. Für die H100 PCIE-GPU müssen 12 aktive Links aktiv sein.

Es sind immer noch drei Brücken erforderlich, um ein Failover zu ermöglichen, falls fehlerhafte Verbindungen auftreten sollten (GPUs und/oder Bridge).

Aufgrund eines Problems in DCGM-Version 3.1.3.1 und niedriger werden inaktive NVLinks als Fehler gemeldet.

TAUSCHEN SIE BEI DIESEM PROBLEM KEINE HARDWARE AUS.

DCGM-Version 3.1.6 Behebt das Problem.

https://docs.NVIDIA.com/datacenter/dcgm/latest/release-notes/changelog.html

KundInnen müssen 3.1.6 oder höher herunterladen und installieren, um das Problem zu beheben.