Mellanox MT27800ファミリーのConnectX-5リンクが交換後にダウンする

Summary: Dellパーツ ナンバー(DPN)6FKDT ネットワーク カードの交換で障害が発生し、リンク ダウンが見つかったが、TSRまたはSupportAssistログにエラーが表示されていない。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

問題の背景: 

  • Mellanox ConnectX-5がデバイス設定で検出されない 
  • ネットワーキング カードを交換した後、デバイス設定でMellanox ConnectX-5を検出できるが、リンクがダウンまたはポーリングする

提供されるハードウェア情報:

  • 同一のサーバーが2台あるが、1つのユニットのみでこの問題が発生する 
  • 両方のサーバーにオペレーティング システムCentOS 7.5が搭載されています
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanoxドライバー バージョン4.5-1.0.1
  • 正常と確認されたDACケーブルとスイッチ ポートをユーザーがクロススワップします 
  • DPN 6FKDTは、管理対象外アダプターの一部であるInfiniBandカードで、カード情報を取得できません。 
Example: 
カードのファームウェア、カードの設定、リンク ステータスについては、次の例を参照してください

カード ファームウェア レベル、カード設定、リンク ステータスの例
図1: カード ファームウェア レベル、カード設定、リンク ステータスの例

オペレーティング システム レベルの情報が提供されます。
  • ibstat command - InfiniBandデバイスの基本ステータスを照会します
  • ユーザーは「ibstat」コマンドを使用して、問題のあるサーバーと期待どおりに動作しているサーバーを比較します。 
例:
問題のあるMellanoxカードで、リンク層に「InfiniBand」と表示される 
 
問題のあるMellanoxカードのスクリーンショット(リンク「InfiniBand」)
図2：「InfiniBand」へのリンクを含む問題のあるMellanoxカードのスクリーンショット
 
Mellanoxカードは設計どおりに、リンク層に「Ethernet」と表示されていることを確認しました。 
リンク「Ethernet」を使用したMellanoxカードの設計通りの動作のスクリーンショット
図3：リンク「Ethernet」を使用したMellanoxカードの設計通りの動作のスクリーンショット


InfiniBandスイッチまたはEthernetスイッチに接続されているかどうかをユーザーに確認しました 

  • ユーザーは、MellanoxカードがEthernetスイッチに接続されていることを確認します 

Cause

備考

  • これはConnectX-5 VPI カードであるため、EthernetモードまたはInfiniBandモードを実行するように設定できます。
  • このカードがInfiniBandモードで実行されている場合は、Ethernetスイッチと接続できません。
  • 交換用カードのデフォルトのリンク モードは、常にInfiniBandにする必要があります。

Resolution

NVIDIAの記事 mlxconfig このハイパーリンクをクリックすると、デル・テクノロジーズ以外のWebサイトにアクセスします。設定用 IB/ETH parameters.

設定するために IB/ETH パラメーターを mlxconfigで、次のコマンド ラインを使用します。

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

例:
両方のポートをEthernetとして構成する:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


その他のリソース： 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.