Linka Mellanox MT27800 Family ConnectX-5 je po výměně mimo provoz

Summary: Číslo dílu Dell (DPN) 6FKDT Byla zjištěna vadná výměna síťové karty s linkou mimo provoz, ale v protokolu TSR nebo SupportAssist se nezobrazuje žádná chyba.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Základní informace o problému: 

  • Mellanox ConnectX-5 není rozpoznán v nastavení zařízení 
  • Po výměně síťové karty dokáže detekovat Mellanox ConnectX-5 v nastavení zařízení, ale spojení je mimo provoz nebo se dotazuje

Poskytované informace o hardwaru:

  • Tento problém se vyskytuje u dvou identických serverů, ale pouze u jedné jednotky 
  • Oba servery mají operační systém CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Ovladač Mellanox, verze 4.5-1.0.1
  • Uživatel vymění kabely DAC, které jsou potvrzeny jako dobré, a porty přepínače 
  • DPN 6FKDT je karta InfiniBand, která je součástí neřízených adaptérů a nemůže získat informace o kartě. 
Příklad: 
Firmware karty, nastavení karty a stav připojení naleznete v následujícím příkladu:


Příklad úrovně firmwaru karty, nastavení karty a stavu připojeníObrázek 1: Příklad úrovně firmwaru karty, nastavení karty a stavu připojení

K dispozici jsou informace na úrovni operačního systému:
  • ibstat příkaz - Dotazuje se na základní stav zařízení InfiniBand
  • Uživatel spustí "ibstat" z problematického serveru a serveru, který pracuje podle očekávání pro srovnání 
Příklad:
Problematická karta Mellanox zjistila, že linková vrstva zobrazuje "InfiniBand". 
 
Screenshot problematické karty Mellanox s odkazem
Obrázek 2: Snímek problematické karty Mellanox s odkazem "InfiniBand"
 
Karta Mellanox funguje tak, jak byla navržena, a zjistila, že linková vrstva se zobrazuje jako "Ethernet". 
Snímek obrazovky kompatibilní s kartou Mellanox s linkou
Obrázek 3: Snímek obrazovky kompatibilní s kartou Mellanox s linkou "Ethernet"


Uživatel potvrdil, zda je připojen k přepínači InfiniBand nebo ethernetovému přepínači 

  • Uživatel potvrdí, že je karta Mellanox připojena k ethernetovému přepínači 

Cause

Poznámky

  • Vzhledem k tomu, že se jedná o kartu ConnectX-5 VPI , znamená to, že ji lze nastavit tak, aby běžela v režimu Ethernet nebo InfiniBand.
  • Pokud tato karta běží v režimu InfiniBand, nemůže být připojena k ethernetovému přepínači.
  • Výchozí režim linky náhradní karty by měl být vždy zapnutý na InfiniBandu.

Resolution

Postupujte podle článku NVIDIA Použití mlxconfig Tento hypertextový odkaz vás zavede na webové stránky mimo společnost Dell Technologies.pro nastavení IB/ETH parametry.

Aby bylo možné nastavit IB/ETH parametry prostřednictvím mlxconfigpoužijte následující příkazový řádek:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Příklad:
Konfigurace ethernetových portů z obou portů:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Další zdroje: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.