Mellanox MT27800 Family ConnectX-5-linket er nede efter udskiftning

Summary: Dell-varenummer (DPN) 6FKDT Fejlbehæftet netværkskortudskiftning fundet med link down, men der vises ingen fejl i TSR- eller SupportAssist-loggen.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Baggrund for problemet: 

  • Mellanox ConnectX-5 registreres ikke under Enhedsindstilling 
  • Efter udskiftning af netværkskort, kan registrere Mellanox ConnectX-5 under Enhedsindstilling, men linket er nede eller polling

Leverede hardwareoplysninger:

  • To identiske servere, men kun én enhed, støder på dette problem 
  • Begge servere har operativsystemet CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox-driver version 4.5-1.0.1
  • Brugeren krydsbytter DAC-kabler, der er bekræftet som gode, og switch-portene 
  • DPN 6FKDT er et InfiniBand-kort, som er en del af ikke-administrerede adaptere, der ikke kan hente kortoplysninger. 
Eksempel: 
Se eksemplet nedenfor for kortfirmware, kortindstilling og linkstatus:


Eksempel på kortets firmwareniveau, kortindstilling og linkstatusFigur 1: Eksempel på kortets firmwareniveau, kortindstilling og linkstatus

Oplysninger om operativsystemniveau leveres:
  • ibstat command - Forespørgsler om grundlæggende status for InfiniBand-enheden
  • Bruger kører "ibstat" kommando fra den problematiske server og serveren, der fungerer som forventet til sammenligning 
Eksempel:
Problematisk Mellanox-kort fundet linklag vist "InfiniBand" 
 
Skærmbillede af problematisk Mellanox-kort med linket
Figur 2: Skærmbillede af et problematisk Mellanox-kort med linket "InfiniBand"
 
Mellanox-kortet fungerede efter hensigten og fandt linklaget vist "Ethernet" 
Skærmbillede af arbejdet som designet Mellanox-kort med linket
Figur 3: Skærmbillede af arbejdet som designet Mellanox-kort med linket "Ethernet"


Bekræftet med brugeren, om den er tilsluttet en InfiniBand-switch eller Ethernet-switch 

  • Brugeren bekræfter, at Mellanox-kortet er tilsluttet en Ethernet-switch 

Cause

Bemærkninger

  • Da dette er et ConnectX-5 VPI-kort , betyder det, at det kan indstilles til at køre Ethernet-tilstand eller InfiniBand-tilstand.
  • Hvis dette kort kører i InfiniBand-tilstand, kan det ikke have forbindelse til en Ethernet-switch.
  • Udskiftningskortets standardlinktilstand skal altid være på InfiniBand.

Resolution

Følg NVIDIA-artiklen ved hjælp af mlxconfig Dette hyperlink fører dig til et websted uden for Dell Technologies.til indstilling IB/ETH Parametre.

For at indstille IB/ETH parametre gennem mlxconfig, skal du bruge følgende kommandolinje:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Eksempel:
Konfiguration af begge porte som Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Andre ressourcer: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.