O link do Mellanox MT27800 Family ConnectX-5 fica inativo após a substituição

Summary: Número de peça (DPN) da Dell 6FKDT: falha na substituição da placa de rede encontrada com o link inativo, mas não há nenhum erro exibido no registro do TSR ou do SupportAssist.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Histórico do problema: 

  • Mellanox ConnectX-5 não é detectado em Device Setting 
  • Depois de substituir a placa de rede, é possível detectar Mellanox ConnectX-5 em Device Setting, mas o link está inativo ou polling

Informações de hardware fornecidas:

  • Dois servidores idênticos, mas apenas uma unidade identifica esse problema 
  • Ambos os servidores têm o sistema operacional CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox Driver versão 4.5-1.0.1
  • O usuário faz a troca cruzada dos cabos DAC confirmados como bons e das portas do switch 
  • O DPN 6FKDT é uma placa InfiniBand que faz parte de adaptadores não gerenciados que não conseguem obter informações da placa. 
Exemplo: 
Consulte o exemplo abaixo para obter informações sobre firmware da placa, configuração da placa e status do link:


Exemplo de nível de firmware da placa, configuração da placa e status do linkFigura 1: Exemplo de nível de firmware da placa, configuração da placa e status do link

As informações no nível do sistema operacional são fornecidas:
  • ibstat command — consulta o status básico do dispositivo InfiniBand
  • O usuário executa "ibstat" do servidor problemático e do servidor que está funcionando conforme esperado para comparação 
Exemplo:
Placa Mellanox problemática encontrada camada de link mostrado "InfiniBand
 
Captura de tela da placa Mellanox problemática com o link
Figura 2:
 Captura de tela de uma placa Mellanox problemática com o link "InfiniBand"
 
Trabalhando como projetado, a placa Mellanox encontrou a camada de link mostrada "Ethernet
Captura de tela do funcionamento da placa Mellanox com o link
Figura 3: Captura de tela do funcionamento da placa Mellanox com o link "Ethernet"


Confirmado com o usuário se conectado a um switch InfiniBand ou a um switch Ethernet 

  • O usuário confirma que a placa Mellanox está conectada a um switch Ethernet 

Cause

Observações

  • Como esta é uma placa VPI ConnectX-5, isso significa que ela pode ser configurada para executar o modo Ethernet ou o modo InfiniBand.
  • Se essa placa estiver sendo executada no modo InfiniBand, ela não poderá ter uma conexão com um switch Ethernet.
  • O modo de link padrão da placa de substituição deve estar sempre em InfiniBand.

Resolution

Siga o artigo da NVIDIA Usando mlxconfig Esse hiperlink direcionará você para um site fora da Dell Technologies.para configuração IB/ETH Parâmetros.

Para definir IB/ETH parâmetros através de mlxconfig, use a seguinte linha de comando:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Exemplo:
Configurando ambas as portas como Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Outros recursos: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.