Семейство Mellanox MT27800 ConnectX-5 не работает после замены

Summary: Номер по каталогу (DPN) 6FKDT Ошибка при замене сетевой платы найдена при отключенном соединении, но в журнале TSR или SupportAssist не отображаются ошибки.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Предыстория проблемы: 

  • Mellanox ConnectX-5 не обнаруживается в настройках устройства 
  • После замены сетевой платы может обнаружить Mellanox ConnectX-5 в настройках устройства, но соединение не работает или выполняется опрос

Предоставляемая информация об оборудовании:

  • Эта проблема возникает на двух идентичных серверах, но только на одном устройстве 
  • На обоих серверах установлена операционная система CentOS 7.5
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Драйвер Mellanox версии 4.5–1.0.1
  • Пользователь выполняет перекрестную замену кабелей DAC, которые были проверены как исправные, и портов коммутатора 
  • DPN 6FKDT — это плата InfiniBand, которая входит в состав неуправляемых адаптеров, которым не удается получить информацию о плате. 
Пример: 
Микрокод карты, настройки карты и состояние соединения см. в приведенном ниже примере


Пример уровня микропрограммы платы, настроек карты и состояния канала:Рис. 1. Пример уровня микропрограммы платы, настроек карты и состояния канала

Информация об уровне операционной системы:
  • ibstat command - Запрашивает базовое состояние устройства InfiniBand
  • Пользователь запускает команду «ibstat" с проблемного сервера и сервера, который работает должным образом для сравнения 
Пример:
Проблемная плата Mellanox обнаружила, что уровень канала отображается «InfiniBand» 
 
Снимок экрана проблемной платы Mellanox со ссылкой
Рис. 2. Снимок экрана проблемной платы Mellanox со ссылкой «InfiniBand»
 
Работая должным образом, плата Mellanox обнаружила уровень канала, на котором отображается «Ethernet» 
Снимок экрана работающей платы Mellanox с соединением «Ethernet»
Рис. 3. Снимок экрана работающей платы Mellanox с соединением «Ethernet»


Подтверждено пользователем независимо от подключения к коммутатору InfiniBand или коммутатору Ethernet 

  • Пользователь подтверждает, что плата Mellanox подключена к коммутатору Ethernet 

Cause

Примечания

  • Поскольку это плата ConnectX-5 VPI , ее можно настроить для работы в режиме Ethernet или InfiniBand.
  • Если эта плата работает в режиме InfiniBand, она не может быть подключена к коммутатору Ethernet.
  • Режим связи по умолчанию для сменной платы всегда должен быть на InfiniBand.

Resolution

Следите за статьей NVIDIA Использование mlxconfig Эта гиперссылка позволяет перейти на сайт за пределами Dell Technologies.для настройки IB/ETH Параметры.

Для того, чтобы установить IB/ETH параметры через mlxconfig, используйте следующую командную строку:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Пример:
Настройка обоих портов в качестве Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


Прочие ресурсы: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.