Mellanox MT27800 Family ConnectX-5 -linkki ei toimi vaihdon jälkeen

Summary: Dellin osanumero (DPN) 6FKDT Viallinen verkkokortin vaihto löytyy, linkki katkennut, mutta TSR- tai SupportAssist-lokissa ei näy virhettä.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Ongelman taustaa: 

  • Mellanox ConnectX-5:tä ei tunnisteta laiteasetuksissa 
  • Kun verkkokortti on vaihdettu, laite tunnistaa Mellanox ConnectX-5:n Laiteasetukset-kohdassa, mutta linkki ei toimi tai ongelma jatkuu

Toimitetut laitteistotiedot:

  • Kaksi identtistä palvelinta, mutta vain yksi yksikkö havaitsee tämän ongelman 
  • Molemmilla palvelimilla on käyttöjärjestelmä CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox-ajurin versio 4.5-1.0.1
  • Hyviksi vahvistetut DAC-kaapelit ja kytkinportit ristiin 
  • DPN 6FKDT on InfiniBand-kortti, joka on osa hallitsemattomia sovittimia, jotka eivät pysty hankkimaan korttitietoja. 
Esimerkki: 
Katso alla olevasta esimerkistä kortin laiteohjelmisto, korttiasetukset ja linkin tila:


Esimerkki kortin laiteohjelmistotasosta, korttiasetuksista ja linkin tilastaKuva 1: Esimerkki kortin laiteohjelmistotasosta, korttiasetuksista ja linkin tilasta

Käyttöjärjestelmätason tiedot:
  • ibstat komento - Kyselyt InfiniBand-laitteen perustila
  • Käyttäjä suorittaa "ibstat" komento ongelmalliselta palvelimelta ja palvelimelta, joka toimii odotetulla tavalla vertailua varten 
Esimerkki:
Ongelmallinen Mellanox-kortti löytyi linkkikerroksesta "InfiniBand
 
Kuvakaappaus ongelmallisesta Mellanox-kortista, jossa on linkki
Kuva 2:
 Kuvakaappaus ongelmallisesta Mellanox-kortista, jossa on linkki "InfiniBand"
 
Mellanox-kortti toimi suunnitellusti, ja se löysi linkkikerroksen, jossa näkyy "Ethernet
Näyttökuva suunnitellusta työskentelystä Mellanox-kortti linkillä
Kuva 3: Näyttökuva suunnitellusta työskentelystä Mellanox-kortti linkillä "Ethernet"


Vahvistettu käyttäjältä, onko kytketty InfiniBand- vai Ethernet-kytkimeen 

  • Käyttäjä vahvistaa, että Mellanox-kortti on kytketty Ethernet-kytkimeen 

Cause

Huomautukset

  • Koska tämä on ConnectX-5 VPI -kortti, se tarkoittaa, että se voidaan asettaa suorittamaan Ethernet- tai InfiniBand-tilaa.
  • Jos tämä kortti toimii InfiniBand-tilassa, sillä ei voi olla yhteyttä Ethernet-kytkimeen.
  • Korvaavan kortin oletuslinkkitilan tulisi aina olla InfiniBandissa.

Resolution

Seuraa NVIDIA-artikkelia Käyttäminen mlxconfig Tämä hyperlinkki johtaa Dell Technologiesin ulkopuoliseen sivustoon.Asetusta varten IB/ETH Parametrit.

Voit asettaa IB/ETH parametrit kautta mlxconfig, käytä seuraavaa komentoriviä:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Esimerkki:
Molempien porttien määrittäminen Ethernetiksi:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Muut resurssit: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.