Il link Mellanox MT27800 Family ConnectX-5 è inattivo dopo la sostituzione

Contesto del problema: 

• Mellanox ConnectX-5 non viene rilevato nelle impostazioni del dispositivo 
• Dopo aver sostituito la scheda di rete, è in grado di rilevare Mellanox ConnectX-5 in Device Settings, ma il collegamento è inattivo o in fase di polling

Informazioni hardware fornite:

• Questo problema spetta a due server identici, ma solo un'unità 
• Entrambi i server hanno il sistema operativo CentOS 7.5
• DAC-QSFP28-100G-5.0M (DPN 0FN4FC) 
• Driver Mellanox versione 4.5-1.0.1
• L'utente scambia in modo incrociato i cavi DAC confermati come funzionanti e le porte dello switch 
• DPN 6FKDT è una scheda InfiniBand che fa parte di schede non gestite e non è in grado di ottenere informazioni sulla scheda. 

Esempio: 
Vedere l'esempio riportato di seguito per il firmware, l'impostazione della scheda e lo stato del collegamento della scheda:


Figura 1: Esempio di livello del firmware della scheda, impostazione della scheda e stato del collegamento

• ibstat command - Esegue una query sullo stato di base del dispositivo InfiniBand
• L'utente esegue "ibstat" dal server su cui si è verificato il problema e dal server che funziona come previsto per il confronto 

Figura 2. Screenshot di una scheda Mellanox problematica con link "InfiniBand"

Figura 3. Schermata di funzionamento come progettato scheda Mellanox con collegamento "Ethernet"

Confermato con l'utente se è connesso a uno switch InfiniBand o a uno switch Ethernet 

• L'utente conferma che la scheda Mellanox è collegata a uno switch Ethernet 

Osservazioni

• Poiché si tratta di una scheda VPI ConnectX-5, è possibile impostare l'opzione per l'esecuzione in modalità Ethernet o InfiniBand.
• Se questa scheda è in esecuzione in modalità InfiniBand, non può avere una connessione con uno switch Ethernet.
• La modalità di collegamento predefinita della scheda sostitutiva deve essere sempre su InfiniBand.

Seguire l'articolo NVIDIA utilizzando mlxconfig per l'impostazione IB/ETH Parametri.

Al fine di impostare IB/ETH parametri attraverso mlxconfig, utilizzare la seguente riga di comando:

# mlxconfig -d <device> set [LINK_TYPE_P1=<link_type>] [LINK_TYPE_P2=<link_type>]

Esempio:
Configurazione di entrambe le porte come Ethernet:

# mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------
Device type:    ConnectX5
Name:           MCX556A-ECA_Ax
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0
  
Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)          ETH(2)
         LINK_TYPE_P2                        IB(1)          ETH(2)
  
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

Remarks
P1 = Port 1 
P2 = Port 2
Value 1 for InfiniBand 
Value 2 for Ethernet 

Altre risorse: 

• Manuale dell'utente delle schede adattatore NVIDIA ConnectX-5 InfiniBand/Ethernet
• Indicazioni su YouTube: Come impostare Mellanox ConnectX VPI su Ethernet o InfiniBand in Linux - YouTube