更换后，Mellanox MT27800系列 ConnectX-5 链路断开

Summary: 戴尔部件号 （DPN） 6FKDT 故障网卡更换件在链路断开的情况下被发现，但在 TSR 或 SupportAssist 日志中未显示任何错误。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

问题背景： 

  • 在“Device Setting”下未检测到 Mellanox ConnectX-5 
  • 更换网卡后，可以在“Device Setting”下检测到 Mellanox ConnectX-5，但链路已关闭或轮询

提供的硬件信息：

  • 两台相同的服务器，但只有一个设备遇到此问题 
  • 两台服务器的作系统都是 CentOS 7.5
  • DAC-QSFP28-100G-5.0M （DPN 0FN4FC） 
  • Mellanox 驱动程序版本 4.5-1.0.1
  • 用户交叉交换确认为良好的 DAC 线缆和交换机端口 
  • DPN 6FKDT 是一种 InfiniBand 卡，属于无法获取卡信息的非托管适配器。 
示例：
请参阅下面的示例，了解卡固件、卡设置和链路状态：


卡固件级别、卡设置和链路状态的示例图 1：卡固件级别、卡设置和链路状态的示例

提供作系统级别信息：
  • ibstat command - 查询 InfiniBand 设备的基本状态
  • 用户运行”ibstat“命令，该命令来自有问题的服务器和按预期工作的服务器，以进行比较 
例：
Problematic Mellanox card found link layer shown “InfiniBand” 
 
带有链接“InfiniBand”的有问题的 Mellanox 卡的屏幕截图
图 2：带有链接“InfiniBand”的有问题的 Mellanox 卡的屏幕截图
 
Mellanox 卡按设计工作，发现链路层显示为“Ethernet” 
按设计工作的屏幕截图，带有链接“以太网”
图 3：按设计工作的屏幕截图，带有链接“以太网”


与用户确认是否已连接到 InfiniBand 交换机或以太网交换机 

  • 用户确认 Mellanox 卡已连接到以太网交换机 

Cause

言论

  • 由于这是 ConnectX-5 VPI 卡，这意味着它可以设置为运行以太网模式或 InfiniBand 模式。
  • 如果此卡在 InfiniBand 模式下运行，则无法与以太网交换机连接。
  • 更换卡默认链路模式应始终在 InfiniBand 上。

Resolution

请参阅 NVIDIA 文章 使用 mlxconfig This hyperlink is taking you to a website outside of Dell Technologies.用于设置 IB/ETH 参数。

为了设置 IB/ETH 参数通过 mlxconfig，请使用以下命令行：

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

例：
将两个端口配置为以太网：

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


其他资源： 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.