Mellanox MT27800 Family ConnectX-5-koblingen er nede etter utskifting

Summary: Dells artikkelnummer (DPN) 6FKDT Feil utskifting av nettverkskort funnet med kobling nede, men har ingen feil som vises i TSR- eller SupportAssist-loggen.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Bakgrunn for utgaven: 

  • Mellanox ConnectX-5 oppdages ikke under Enhetsinnstilling 
  • Etter utskifting av nettverkskort, kan oppdage Mellanox ConnectX-5 under Device Setting, men koblingen er nede eller polling

Maskinvareinformasjon oppgitt:

  • To identiske servere, men bare én enhet støter på dette problemet 
  • Begge serverne har operativsystemet CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox-driver versjon 4.5-1.0.1
  • Brukeren bytter ut DAC-kabler som er bekreftet som gode, og svitsjportene 
  • DPN 6FKDT er et InfiniBand-kort som er en del av uadministrerte adaptere som ikke kan hente kortinformasjon. 
Eksempel: 
Se eksemplet nedenfor for kortfastvare, kortinnstilling og koblingsstatus:


Eksempel på kortfastvarenivå, kortinnstilling og koblingsstatusFigur 1: Eksempel på kortfastvarenivå, kortinnstilling og koblingsstatus

Informasjon om operativsystemnivå er gitt:
  • ibstat kommando - Spør grunnleggende status for InfiniBand-enheten
  • Brukeren kjører "ibstat" kommando fra den problematiske serveren og serveren som fungerer som forventet for sammenligning 
Eksempel:
Problematisk koblingslag for Mellanox-kort vist "InfiniBand" 
 
Skjermbilde av problematisk Mellanox-kort med lenke
Figur 2: Skjermbilde av et problematisk Mellanox-kort med koblingen "InfiniBand"
 
Fungerer som utformet Mellanox-kortet fant koblingslaget vist "Ethernet" 
Skjermbilde av hvordan du fungerer som utformet Mellanox-kort med koblingen
Figur 3: Skjermbilde av hvordan du fungerer som utformet Mellanox-kort med koblingen "Ethernet"


Bekreftet med brukeren om den er koblet til en InfiniBand-svitsj eller Ethernet-svitsj 

  • Brukeren bekrefter at Mellanox-kortet er koblet til en Ethernet-svitsj 

Cause

Kommentarer

  • Siden dette er et ConnectX-5 VPI-kort , betyr det at det kan settes til å kjøre Ethernet-modus eller InfiniBand-modus.
  • Hvis dette kortet kjører i InfiniBand-modus, kan det ikke ha forbindelse med en Ethernet-svitsj.
  • Standard koblingsmodus for erstatningskort skal alltid være på InfiniBand.

Resolution

Følg NVIDIA-artikkelen ved hjelp av mlxconfig Denne hyperkoblingen tar deg til et nettsted utenfor Dell Technologies.FOR INNSTILLING IB/ETH Parametere.

For å sette IB/ETH parametere gjennom mlxconfig, bruk følgende kommandolinje:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Eksempel:
Konfigurere begge portene som Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Andre ressurser: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.