La liaison Mellanox ConnectX-5 de la famille MT27800 est interrompue après un remplacement
Summary: Numéro de référence Dell (DPN) 6FKDT, remplacement d’une carte réseau défectueuse détecté avec liaison interrompue, mais aucune erreur ne s’affiche dans le journal TSR ou SupportAssist. ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Contexte du problème :
- Mellanox ConnectX-5 n’est pas détecté sous Device Setting
- Après avoir remplacé la carte réseau, peut détecter Mellanox ConnectX-5 sous Device Setting, mais la liaison est inactive ou interrogation
Informations matérielles fournies :
- Deux serveurs identiques, mais une seule unité rencontre ce problème
- Les deux serveurs sont équipés du système d’exploitation CentOS 7.5
DAC-QSFP28-100G-5.0M(DPN 0FN4FC)- Pilote Mellanox version 4.5-1.0.1
- L’utilisateur permute les câbles DAC dont le bon fonctionnement est confirmé et les ports du commutateur
- DPN 6FKDT est une carte InfiniBand qui fait partie d’adaptateurs non gérés incapables d’obtenir des informations de carte.
Exemple :
Reportez-vous à l’exemple ci-dessous pour connaître le firmware de la carte, les paramètres de la carte et l’état de la liaison :
Figure 1 : Exemple de niveau de firmware de carte, de paramètre de carte et d’état de la liaison
Reportez-vous à l’exemple ci-dessous pour connaître le firmware de la carte, les paramètres de la carte et l’état de la liaison :
Figure 1 : Exemple de niveau de firmware de carte, de paramètre de carte et d’état de la liaison
Des informations au niveau du système d’exploitation sont fournies :
ibstatcommand - interroge l’état de base de l’appareil InfiniBand- L’utilisateur exécute "
ibstat" du serveur problématique et du serveur qui fonctionne comme prévu à des fins de comparaison
Exemple:
Carte Mellanox problématique ayant trouvé une couche de liaison affichée « InfiniBand »
Carte Mellanox problématique ayant trouvé une couche de liaison affichée « InfiniBand »
Figure 2 : Capture d’écran d’une carte Mellanox problématique avec le lien « InfiniBand »
Fonctionnant comme prévu, la carte Mellanox a trouvé la couche de liaison indiquée « Ethernet »
Figure 3 : Capture d’écran du fonctionnement de la carte Mellanox avec le lien « Ethernet »
Confirmé avec l’utilisateur, qu’il soit connecté à un commutateur InfiniBand ou Ethernet
- L’utilisateur confirme que la carte Mellanox est connectée à un commutateur Ethernet
Cause
Remarques
- Puisqu’il s’agit d’une carte VPI ConnectX-5, cela signifie qu’elle peut être configurée pour exécuter le mode Ethernet ou InfiniBand.
- Si cette carte fonctionne en mode InfiniBand, elle ne peut pas avoir de connexion avec un commutateur Ethernet.
- Le mode de liaison par défaut de la carte de remplacement doit toujours être sur InfiniBand.
Resolution
Suivre l’article NVIDIA Utilisation mlxconfig 
IB/ETH Paramètres.
Afin de définir IB/ETH paramètres via mlxconfig, utilisez la ligne de commande suivante :
# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]
Exemple:
Configuration des deux ports en tant qu’Ethernet :
# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2 Device #1: ---------- Device type: ConnectX5 Name: MCX556A-ECA_Ax Description: ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6 Device: /dev/mst/mt4119_pciconf0 Configurations: Next Boot New LINK_TYPE_P1 IB(1) ETH(2) LINK_TYPE_P2 IB(1) ETH(2) Apply new Configuration? (y/n) [n] : y Applying... Done! -I- Please reboot machine to load new configurations. Remarks P1 = Port 1 P2 = Port 2 Value 1 for InfiniBand Value 2 for Ethernet
Autres ressources :
Affected Products
Rack Servers, Tower ServersArticle Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.