Mellanox MT27800 제품군 ConnectX-5 링크가 교체 후 중단됨

Summary: DPN(Dell Part Number) 6FKDT 링크가 다운된 상태에서 결함이 있는 네트워크 카드 교체가 발견되었지만 TSR 또는 SupportAssist 로그에 오류가 표시되지 않습니다.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

문제 배경: 

  • 디바이스 설정에서 Mellanox ConnectX-5가 감지되지 않음 
  • 네트워킹 카드를 교체한 후 디바이스 설정에서 Mellanox ConnectX-5를 탐지할 수 있지만 링크가 다운되거나 폴링 중입니다.

제공되는 하드웨어 정보:

  • 두 개의 동일한 서버이지만 하나의 장치에서만 이 문제가 발생합니다. 
  • 두 서버 모두 운영 체제가 CentOS 7.5입니다.
  • DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
  • Mellanox 드라이버 버전 4.5-1.0.1
  • 사용자는 정상 작동으로 확인된 DAC 케이블과 스위치 포트를 교차 스왑합니다. 
  • DPN 6FKDT는 카드 정보를 가져올 수 없는 관리되지 않는 어댑터의 일부인 InfiniBand 카드입니다. 
예: 
카드 펌웨어, 카드 설정 및 링크 상태는 아래 예를 참조하십시오.


카드 펌웨어 수준, 카드 설정 및 링크 상태의 예그림 1: 카드 펌웨어 수준, 카드 설정 및 링크 상태의 예

운영 체제 수준 정보가 제공됩니다.
  • ibstat command - InfiniBand 디바이스의 기본 상태 쿼리
  • 사용자가 "ibstat" 명령을 실행하여 문제가 있는 서버와 비교를 위해 예상대로 작동하는 서버 
본보기:
문제가 있는 Mellanox 카드에서 "InfiniBand"로 표시된 링크 계층을 찾았습니다. 
 

그림 2: "InfiniBand" 링크가 있는 문제가 있는 Mellanox 카드의 스크린샷
 
설계된 대로 작동하여 Mellanox 카드가 "이더넷"으로 표시된 링크 계층을 찾았습니다. 

그림 3: "이더넷" 링크가 있는 설계된 대로 작동하는 Mellanox 카드 스크린샷


InfiniBand 스위치 또는 이더넷 스위치에 연결되었는지 사용자와 함께 확인 

  • 사용자가 Mellanox 카드가 이더넷 스위치에 연결되어 있는지 확인합니다. 

Cause

발언

  • ConnectX-5 VPI 카드이므로 이더넷 모드 또는 InfiniBand 모드를 실행하도록 설정할 수 있습니다.
  • 이 카드가 InfiniBand 모드에서 실행 중인 경우 이더넷 스위치와 연결할 수 없습니다.
  • 교체 카드 기본 링크 모드는 항상 InfiniBand에 있어야 합니다.

Resolution

NVIDIA 문서 팔로우 사용 mlxconfig 이 하이퍼링크는 Dell Technologies 외부의 웹사이트로 연결됩니다.설정용 IB/ETH 매개 변수.

설정하려면 IB/ETH 를 통한 매개 변수 mlxconfig에서 다음 명령줄을 사용합니다.

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

본보기:
두 포트를 모두 이더넷으로 구성:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 


기타 리소스: 

Affected Products

Rack Servers, Tower Servers
Article Properties
Article Number: 000218037
Article Type: Solution
Last Modified: 07 May 2025
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.