Mellanox MT27800-seriens ConnectX-5-länk är nere efter byte

Summary: Dells komponentnummer (DPN) 6FKDT Defekt byte av nätverkskort hittades med länken nedåt men inget fel visas i TSR- eller SupportAssist-loggen.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Bakgrund till frågan: 

  • Mellanox ConnectX-5 identifieras inte under enhetsinställningen 
  • När nätverkskortet har bytts ut kan du identifiera Mellanox ConnectX-5 under enhetsinställningar, men länken är nere eller avsökning

Hårdvaruinformation som tillhandahålls:

  • Två identiska servrar men bara en enhet stöter på det här problemet 
  • Båda servrarna har operativsystemet CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox-drivrutinsversion 4.5-1.0.1
  • Korsbyte av användare DAC-kablar som bekräftas som bra och switchportarna 
  • DPN 6FKDT är ett InfiniBand-kort som är en del av ohanterade adaptrar som inte kan hämta kortinformation. 
Exempel: 
Se exemplet nedan för kortets firmware, kortinställningar och länkstatus:


Exempel på kortets firmwarenivå, kortinställning och länkstatusBild 1: Exempel på kortets firmwarenivå, kortinställning och länkstatus

Information på operativsystemsnivå tillhandahålls:
  • ibstat kommando – Frågar grundläggande status för InfiniBand-enheten
  • Användaren kör "ibstat" från den problematiska servern och servern som fungerar som förväntat för jämförelse 
Exempel:
Problematiskt länklager för Mellanox-kort hittades visas "InfiniBand" 
 
Skärmbild av problematiskt Mellanox-kort med länken
Bild 2: Skärmbild av ett problematiskt Mellanox-kort med länken "InfiniBand"
 
Mellanox-kortet fungerade som det skulle och hittade länklagret som visas "Ethernet" 
Skärmbild av hur det fungerar som avsett för Mellanox-kortet med länken Ethernet
Bild 3: Skärmbild av hur det fungerar som avsett för Mellanox-kortet med länken Ethernet


Bekräftat med användaren oavsett om den är ansluten till en InfiniBand-switch eller Ethernet-switch 

  • Användaren bekräftar att Mellanox-kortet är anslutet till en Ethernet-switch 

Cause

Anmärkningar

  • Eftersom detta är ett ConnectX-5 VPI-kort betyder det att det kan ställas in för att köra Ethernet-läge eller InfiniBand-läge.
  • Om det här kortet körs i InfiniBand-läge kan det inte ha en anslutning till en Ethernet-switch.
  • Standardlänkläget för ersättningskort ska alltid vara på InfiniBand.

Resolution

Följ NVIDIA-artikeln Använda mlxconfig Den här hyperlänken tar dig till en webbplats utanför Dell Technologies.för inställning IB/ETH Parametrar.

För att ställa in IB/ETH parametrar genom mlxconfiganvänder du följande kommandorad:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Exempel:
Konfigurera båda portarna som Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Andra resurser: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.