PowerEdge : XE9680 - Les processeurs graphiques disparaissent de l’hôte
Summary: Un ou plusieurs processeurs graphiques NVIDIA HGX peuvent disparaître des hôtes XE9680 avec des messages d’erreur fatale de Xid et de bus.
Symptoms
Les événements et alertes typiques qui indiquent ce problème sont les suivants :
- Journaux du noyau hôte affichant
Xid74 et/ou 79 du pilote NVIDIA. Sous Linux,XidLes messages d’erreur se trouvent dans/var/log/messages.
Xid" pour localiser tous les Xid Messages. Exemple d’un Xid String:
[...] NVRM: Xid (PCI:0000:1a:00): 79, pid='<unknown>', name=<unknown>, GPU has fallen off the bus.
- Les journaux Lifecycle Log Dell peuvent signaler un
PCI1318 Bus Fatal Error:
PCI1318: A fatal error was detected on a component at bus <X> device <Y> function <Z>
- Le problème peut également être de nature transitoire :
- Les processeurs graphiques peuvent s’afficher à nouveau après un cycle d’alimentation secteur
- Le nombre et les logements dans lesquels les processeurs graphiques disparaissent peuvent varier.
Cause
Xid et les messages d’erreur fatale de bus sont souvent liés au PCIe Retimerd’erreurs liées à l’exécution de l’enquête. Ces erreurs peuvent se produire en raison de problèmes d’intégrité du signal au sein de l’architecture PCIe.
Resolution
Dell a publié une mise à jour du firmware de l’accélérateur de processeur graphique. Cette mise à jour inclut des améliorations apportées au PCIe Retimers, qui améliore l’intégrité du signal et permet d’éviter que les processeurs graphiques ne tombent du bus. Dans un premier temps, il est conseillé d’effectuer une mise à jour vers le firmware répertorié ci-dessous ou vers une version plus récente en cas d’erreurs fatales de bus.
GPU |
Accelerator Bundle Version |
Retimer Version |
|---|---|---|
H100 |
20.24.07.10 - FW 1.5.0 |
2.10.42 |
H200 |
20.24.07.10 - FW 1.5.0 |
2.10.42 |
H800 |
TBD* |
TBD* |
H20 |
TBD* |
TBD* |
Le serveur doit être sous tension pour que la mise à jour du firmware s’applique.
Un redémarrage CA, un cycle d’alimentation virtuel ou un cycle d’alimentation complet est nécessaire une fois l’opération terminée pour que les modifications apportées au firmware prennent effet.