El enlace de ConnectX-5 de la familia MT27800 Mellanox está inactivo después del reemplazo

Resumen: Número de referencia de Dell (DPN) 6FKDT: se encontró un reemplazo de tarjeta de red defectuoso con el enlace inactivo, pero no se muestra ningún error en el registro de TSR o SupportAssist. ...

Este artículo se aplica a Este artículo no se aplica a Este artículo no está vinculado a ningún producto específico. No se identifican todas las versiones del producto en este artículo.
Consulte estos recursos

Síntomas

Antecedentes del problema: 

  • Mellanox ConnectX-5 no se detecta en la configuración del dispositivo 
  • Después de reemplazar la tarjeta de red, puede detectar Mellanox ConnectX-5 en la configuración del dispositivo, pero el enlace está inactivo o sondeando

Información de hardware proporcionada:

  • Dos servidores idénticos, pero solo una unidad enfrenta este problema 
  • Ambos servidores tienen el sistema operativo CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Versión del controlador Mellanox 4.5-1.0.1
  • El usuario intercambia los cables DAC que se confirman como buenos y los puertos del switch 
  • DPN 6FKDT es una tarjeta InfiniBand que forma parte de adaptadores no administrados que no pueden obtener información de la tarjeta. 
Ejemplo: 
Consulte el siguiente ejemplo para ver el firmware de la tarjeta, la configuración de la tarjeta y el estado del enlace:


Ejemplo de nivel de firmware de tarjeta, configuración de tarjeta y estado de enlaceFigura 1: Ejemplo de nivel de firmware de tarjeta, configuración de tarjeta y estado de enlace

Se proporciona información a nivel del sistema operativo:
  • ibstat comando: consulta el estado básico del dispositivo InfiniBand
  • El usuario ejecuta "ibstat" del servidor problemático y el servidor que funciona según lo esperado para la comparación 
Ejemplo:
La tarjeta Mellanox problemática encontró una capa de enlace, que se muestra "InfiniBand" 
 
Captura de pantalla de la tarjeta Mellanox problemática con el enlace
Figura 2: Captura de pantalla de una tarjeta Mellanox problemática con el enlace "InfiniBand"
 
Al funcionar según lo diseñado, la tarjeta Mellanox encontró la capa de enlace que se muestra como "Ethernet" 
Captura de pantalla del funcionamiento de la tarjeta Mellanox diseñada con enlace
Figura 3: Captura de pantalla del funcionamiento de la tarjeta Mellanox diseñada con enlace "Ethernet"


Se confirmó con el usuario si está conectado a un switch InfiniBand o Ethernet 

  • El usuario confirma que la tarjeta Mellanox está conectada a un switch Ethernet 

Causa

Observaciones

  • Dado que se trata de una tarjeta VPI ConnectX-5, significa que se puede configurar para ejecutar el modo Ethernet o el modo InfiniBand.
  • Si esta tarjeta se ejecuta en modo InfiniBand, no puede tener una conexión con un switch Ethernet.
  • El modo de enlace predeterminado de la tarjeta de reemplazo siempre debe estar en InfiniBand.

Resolución

Siga el artículo de NVIDIA Uso de mlxconfig Este hipervínculo lo redirige a un sitio web fuera de Dell Technologies.Para la configuración IB/ETH Parámetros.

Con el fin de establecer IB/ETH parámetros a través de mlxconfig, utilice la siguiente línea de comandos:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Ejemplo:
Configuración de ambos puertos como Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Otros recursos: 

Productos afectados

Rack Servers, Tower Servers
Propiedades del artículo
Número del artículo: 000218037
Tipo de artículo: Solution
Última modificación: 07 may 2025
Versión:  2
Encuentre respuestas a sus preguntas de otros usuarios de Dell
Servicios de soporte
Compruebe si el dispositivo está cubierto por los servicios de soporte.