Łącze Mellanox MT27800 Family ConnectX-5 nie działa po wymianie

Summary: Numer części Dell (DPN) Znaleziono wadliwy zamiennik karty sieciowej 6FKDT z wyłączonym łączem, ale nie ma żadnego błędu w dzienniku TSR lub SupportAssist.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Tło problemu: 

  • Mellanox ConnectX-5 nie jest wykrywany w ustawieniach urządzenia 
  • Po wymianie karty sieciowej można wykryć Mellanox ConnectX-5 w ustawieniach urządzenia, ale łącze nie działa lub nie odpytuje

Dostarczone informacje o sprzęcie:

  • Ten problem napotyka dwa identyczne serwery, ale tylko jedno urządzenie 
  • Oba serwery posiadają system operacyjny CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Sterownik Mellanox w wersji 4.5-1.0.1
  • Użytkownik wymienia DAC, które zostały uznane za sprawne, oraz porty przełącznika 
  • DPN 6FKDT to karta InfiniBand, która jest częścią kart niezarządzanych, które nie mogą uzyskać informacji o karcie. 
Przykład: 
Zapoznaj się z poniższym przykładem, aby zapoznać się z oprogramowaniem układowym karty, ustawieniami karty i stanem łącza:


Przykład poziomu oprogramowania układowego karty, ustawień karty i stanu łączaRysunek 1: Przykład poziomu oprogramowania układowego karty, ustawień karty i stanu łącza

Dostępne są następujące informacje na poziomie systemu operacyjnego:
  • ibstat command - Odpytuje podstawowy stan urządzenia InfiniBand
  • Użytkownik uruchamia "ibstat" z problematycznego serwera i serwera, który działa zgodnie z oczekiwaniami do porównania 
Przykład:
Problematyczna karta Mellanox znalazła warstwę łącza "InfiniBand
 
Zrzut ekranu problematycznej karty Mellanox z linkiem
Rysunek 2.
 Zrzut ekranu problematycznej karty Mellanox z linkiem "InfiniBand"
 
Działając zgodnie z założeniami, karta Mellanox znalazła warstwę łącza "Ethernet
Zrzut ekranu działania zgodnie z projektem karty Mellanox z łączem
Rysunek 3. Zrzut ekranu działania zgodnie z projektem karty Mellanox z łączem "Ethernet"


Potwierdzono z użytkownikiem, czy podłączono do przełącznika InfiniBand czy przełącznika Ethernet 

  • Użytkownik potwierdza, że karta Mellanox jest podłączona do przełącznika Ethernet 

Cause

Uwagi

  • Ponieważ jest to karta ConnectX-5 VPI , oznacza to, że można ją ustawić do pracy w trybie Ethernet lub InfiniBand.
  • Jeśli karta jest uruchomiona w trybie InfiniBand, nie może mieć połączenia z przełącznikiem Ethernet.
  • Domyślny tryb łącza karty zamiennej powinien być zawsze włączony w sieci InfiniBand.

Resolution

Postępuj zgodnie z artykułem firmy NVIDIA Korzystanie z mlxconfig Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.Do ustawiania IB/ETH Parametry.

W celu ustawienia IB/ETH parametry poprzez mlxconfigużyj następującego wiersza polecenia:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Przykład:
Konfiguracja obu portów jako Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Inne zasoby: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.