Mellanox MT27800 reeks ConnectX-5-koppeling is niet beschikbaar na vervanging

Summary: Dell onderdeelnummer (DPN) 6FKDT defecte netwerkkaartvervanging gevonden met link uitgeschakeld, maar er wordt geen fout weergegeven in het TSR- of SupportAssist-logboek.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Achtergrond van het probleem: 

  • Mellanox ConnectX-5 wordt niet gedetecteerd onder Apparaatinstelling 
  • Kan na het vervangen van de netwerkkaart Mellanox ConnectX-5 detecteren onder Apparaatinstelling, maar link is uitgeschakeld of polling

Hardware-informatie:

  • Twee identieke servers, maar slechts één eenheid ondervindt dit probleem 
  • Beide servers hebben het besturingssysteem CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox driver versie 4.5-1.0.1
  • De gebruiker verwisselt DAC-kabels die als goed zijn bevestigd en de switchpoorten 
  • DPN 6FKDT is een InfiniBand-kaart die deel uitmaakt van onbeheerde adapters die geen kaartgegevens kunnen verkrijgen. 
Voorbeeld: 
Zie het onderstaande voorbeeld voor kaartfirmware, kaartinstelling en linkstatus:


Voorbeeld van het firmwareniveau van de kaart, de instelling van de kaart en de status van de koppelingAfbeelding 1: Voorbeeld van het firmwareniveau van de kaart, de instelling van de kaart en de status van de koppeling

Er wordt informatie op besturingssysteemniveau verstrekt:
  • ibstat command - Query's basisstatus van InfiniBand-apparaat
  • Gebruiker voert "ibstat" van de problematische server en de server die werkt zoals verwacht ter vergelijking 
Voorbeeld:
Problematische Mellanox-kaart gevonden koppelingslaag weergegeven "InfiniBand
 
Screenshot van problematische Mellanox-kaart met link
Afbeelding 2:
 Screenshot van een problematische Mellanox-kaart met link "InfiniBand"
 
De Mellanox-kaart werkt zoals ontworpen en vond de weergegeven verbindingslaag: "Ethernet
Schermafbeelding van de werking zoals ontworpen Mellanox-kaart met link
Afbeelding 3: Schermafbeelding van de werking zoals ontworpen Mellanox-kaart met link "Ethernet"


Bevestigd met gebruiker, ongeacht of het apparaat is aangesloten op een InfiniBand-switch of Ethernet-switch 

  • De gebruiker bevestigt dat de Mellanox-kaart is aangesloten op een ethernetswitch 

Cause

Opmerkingen

  • Aangezien dit een ConnectX-5 VPI-kaart is, kan deze worden ingesteld op Ethernet-modus of InfiniBand-modus.
  • Als deze kaart in InfiniBand-modus draait, kan deze geen verbinding maken met een Ethernet-switch.
  • De standaardkoppelingsmodus van de vervangende kaart moet altijd op InfiniBand staan.

Resolution

Volg het NVIDIA artikel met mlxconfig Deze hyperlink leidt u naar een website buiten Dell Technologies.voor instelling IB/ETH Parameters.

Om deze IB/ETH parameters door middel van mlxconfig, gebruikt u de volgende opdrachtregel:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Voorbeeld:
Beide poorten configureren als Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Andere bronnen: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.