Servidor PowerEdge R630 Fallo tarjeta de red constantemente

Hola @adri,

¡Gracias por la detallada explicación! ¡Así da gusto!

A ver, desde el punto de vista hardware hay varias cosas que podemos comprobar antes de pensar en reemplazar la tarjeta. Lo primero, tenemos que meternos de lleno con la versión de firmware / driver en base a la HCL de VMware.

 

No sé que versión de ESXi tienes, pero puedes comenzar rellenando la tabla de VMware con los datos que dispongas. Si lo introduces correctamente, vas a poder ver qué versión firmware y que driver tienes que tener instalado. Asegúrate de tener exactamente lo mismo que te recomiende la tabla.

Luego, el servidor es una generación 13. ¿Tienes acceso a la iDRAC? Si tienes iDRAC puedes ver el log de hardware del sistema. Si no, F10 en el arranque y llegarás al Lifecycle Controller. Desde aquí puedes ver también el log de hardware (Lifecycle Log). El objetivo aquí es buscar cualquier evento de hardware de error que apunte a las tarjetas de red.

Dime si esto te sirve de ayuda.

Gracias y un saludo.

Buenos días Diego,

 

He escrito el modelo de tarjeta de red y si que veo que coinciden con el sistema y los drivers instalados.

Datos recomendables:

-QLogic 57810 10 Gigabit Ethernet Multi Function Adapter 

-DID: 16ae

-VID: 14e14

-Marca: Qlogic

-SSID: 0000

-SVID: 0000

-Driver para ESXI 6.7 U3:     qfle3 version 1.0.50.11-9vmw

Este es mi ESXI:

-Hipervisor: VMware ESXI, 6.7.0, 14320388

-Modelo: PowerEdge R630

-Tipo de procesador: Intel(R) Xeon(R) CPU E5-2650 v3 @2.30Ghz

-Driver qfle3 Native QLogic E3 network driver for VMware ESXi 1.0.50.11-9vmw.670.0.0.8169922

-Driver qfle3f QLogic E3 Native FC driver 1.0.25.0.2-14vmw.670.0.0.8169922
-Driver qfle3i Qlogic E3 iSCSI Native Driver 1.0.2.3.9-3vmw.670.0.0.8169922

La versión del controlador qfle3 veo que tengo la misma que la recomendada, la 1.0.50.11-9vmw

Voy a ver si puedo ver el log de hardware de sistema y te comento también.

Gracias,

Un saludo,

Adrián

Buenas tardes Diego,

He entrado a la idrac , al Lifecycle Controller y si que veo como fallan las interfaces. Te copio el mensaje de los 2 errores que se repiten constantemente. 

1:

NIC100: The NIC Slot 2 Port 1 network link is down.
2020-07-23T14:08:13+0200
Número de secuencia del registro: 986
Descripción detallada:
The network link is down. Either the network cable is not connected or the network device is not working.
Acción recomendada:
Verify that the network port is enabled and if the port has Activity/Speed LEDs, that they are lit. Check the network cable, network cable connections, and the attached network switch.
Comentario: root

2-

NIC101: The NIC Slot 2 Port 1 network link is started.
2020-07-23T14:08:29+0200
Número de secuencia del registro: 987
Descripción detallada:
The transition from network link not started (down) to network link started (up) has been detected on the NIC controller port identified in the message.
Acción recomendada:
No response action is required.
Comentario: root

3-

NIC100: The NIC Slot 2 Port 2 network link is down.
2020-07-21T22:58:06+0200
Número de secuencia del registro: 983
Descripción detallada:
The network link is down. Either the network cable is not connected or the network device is not working.
Acción recomendada:
Verify that the network port is enabled and if the port has Activity/Speed LEDs, that they are lit. Check the network cable, network cable connections, and the attached network switch.
Comentario: root

4-

NIC101: The NIC Slot 2 Port 2 network link is started.
2020-07-23T11:24:13+0200
Número de secuencia del registro: 985
Descripción detallada:
The transition from network link not started (down) to network link started (up) has been detected on the NIC controller port identified in the message.
Acción recomendada:
No response action is required.
Comentario: root

Que me recomiendas que haga? cambio la tarjeta de red?

Gracias,

Un saludo,

Adrián

Hola @adri,

Lo siento, no me cuadra tu primer mensaje. En el texto que me has escrito, no me queda claro.. tienes ESXi 6.7 o ESXi 6.7 U3? Porque no es lo mismo. Además, SSID 0000 y SVID 0000? No me cuadra.. De hecho lo que me escribes es el primer resultado de Google al buscar: "QLogic 57810 10 Gigabit Ethernet Multi Function". Yo creo que esa no es tu tarjeta, es genérica.

Cuando usas la matriz de HCL tiene que darte una versión de driver y una de firmware. Pero no consigo ver en tu mensaje el firmware asociado al driver que comentas. Ambas cosas: firmware y driver tienen que estar al nivel recomendado por la HCL.

Por favor, mira este artículo de la KB de VMware: Determining Network/Storage firmware and driver version in ESXi 4.x and later (1027206)

El punto 4 es el que explica como usar el comando vmkchdev para sacar el VID, DID, SVID y SDID. Si tras sacar el output de este comando sigue siendo SSID 0000 y SVID 0000 soy yo el que se está equivocando pero si no... hay que volver a la HCL y meter bien estos datos.

Respecto al segundo mensaje: Ok, a los errores de hardware. Entonces, primero combrobar qué firmware es el bueno y si confirmamos que estamos en la buena versión, sólo queda reemplazarla.

Un saludo.

Hola
Es verdad,disculpa, no tengo mucha práctica. Es verdad, los valores de VID DID SVID y SDID no eran correctos, los correctos son estos (Los nics que fallan son el 4 y el 5):

[root@vesxi2:~] for a in $(esxcfg-nics -l |awk '{print $1}' |grep [0-9]) ;do vmkchdev -l |grep $a ;done
0000:01:00.0 14e4:168a 1028:1f5c vmkernel vmnic0
0000:01:00.1 14e4:168a 1028:1f5c vmkernel vmnic1
0000:01:00.2 14e4:168a 1028:1f67 vmkernel vmnic2
0000:01:00.3 14e4:168a 1028:1f67 vmkernel vmnic3
0000:03:00.0 14e4:168e 14e4:1008 vmkernel vmnic4
0000:03:00.1 14e4:168e 14e4:1008 vmkernel vmnic5
VID = 14e4 DID = 168e SVID = 14e4 SDID = 1008

[root@vesxi2:~] vmkchdev -l |grep vmhba1
0000:00:11.4 8086:8d62 1028:0601 vmkernel vmhba1
VID = 8086 DID = 8d62 SVID = 1028 SDID = 0601

La versión de firmware si no me equivoco es:
[root@vesxi2:~] vmware -vl
VMware ESXi 6.7.0 build-14320388
VMware ESXi 6.7.0 Update 3

Te paso también estos comandos:

[root@vesxi2:~] vmkload_mod -s mptspi |grep Version
Version: Version 4.23.01.00-10vmw, Build: 8169922, Interface: 9.2 Built on: Apr 3 2018

[root@vesxi2:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic0 0000:01:00.0 qfle3 Up 10000Mbps Full 44:a8:42:16:86:35 1500 Broadcom Corporation QLogic 57800 10 Gigabit Ethernet Adapter
vmnic1 0000:01:00.1 qfle3 Up 10000Mbps Full 44:a8:42:16:86:37 9000 Broadcom Corporation QLogic 57800 10 Gigabit Ethernet Adapter
vmnic2 0000:01:00.2 qfle3 Up 1000Mbps Full 44:a8:42:16:86:39 1500 Broadcom Corporation QLogic 57800 1 Gigabit Ethernet Adapter
vmnic3 0000:01:00.3 qfle3 Up 1000Mbps Full 44:a8:42:16:86:3b 1500 Broadcom Corporation QLogic 57800 1 Gigabit Ethernet Adapter
vmnic4 0000:03:00.0 qfle3 Up 10000Mbps Full 00:0e:1e:89:ad:60 1500 Broadcom Corporation QLogic 57810 10 Gigabit Ethernet Adapter
vmnic5 0000:03:00.1 qfle3 Up 10000Mbps Full 00:0e:1e:89:ad:62 9000 Broadcom Corporation QLogic 57810 10 Gigabit Ethernet Adapter

Espero que esto te sirva.
Gracias,
Un saludo,
Adrián

Hola @DiegoLopez ,

Ah vale, pensaba que no lo recibías al no verlos en el foro. 

Vale perfecto, ya tengo descargado el firmware, pero no me funciona tu ultima instrucción.

[root@vesxi2:~] ethtool -i vmnic4
Can not get control fd: No such file or directory

He encontrado este comando y veo que tengo la versión 7.13.3.0, puede ser?

[root@vesxi2:~] esxcli network nic get -n vmnic4
Advertised Auto Negotiation: true
Advertised Link Modes: Auto, 100BaseT/Half, 100BaseT/Full, 1000BaseT/Full, 10000BaseT/Full
Auto Negotiation: true
Cable Type: Twisted Pair
Current Message Level: 4096
Driver Info:
Bus Info: 0000:03:00:0
Driver: qfle3
Firmware Version: FW: 7.13.3.0 BC: 7.13.54
Version: 1.0.50.11
Link Detected: true
Link Status: Up
Name: vmnic4
PHYAddress: 0
Pause Autonegotiate: true
Pause RX: true
Pause TX: true
Supported Ports: TP
Supports Auto Negotiation: true
Supports Pause: true
Supports Wakeon: true
Transceiver: internal
Virtual Address: 00:50:56:5d:87:f0
Wakeon: MagicPacket(tm)

Puedes facilitarme los comandos para instalar esta versión, así me aseguro de no introducir otros comandos? tengo en cuenta que hay que reiniciar el ESXI, mañana moveré las máquinas virtuales.

Gracias,

Un saludo,

Adrián

Vale @adri, no sé por qué tus mensajes no se están publicando..

 

Pero sí he rebido la notificación con el texto. Estaba respondiendo a tu primer mensaje porque había visto que habías lanzado el vmkchdev apuntando a la hba en vez de a la NIC. En este último mensaje tuyo ya veo el output de los nic4 o nic5.

 

0000:03:00.0 14e4:168e 14e4:1008 vmkernel vmnic4
0000:03:00.1 14e4:168e 14e4:1008 vmkernel vmnic5

 

VID = 14e4  DID = 168e   SVID = 14e4  SDID = 1008

 

Salen 3 resultados en función del interfaz: Network, iSCSI y FCoE CNAs.

 

En todos los casos el firmware es:
FFV 14.07.06/7.14.xx 

 

Este es el enlace de descarga:

Version 14.07.06, A00-00

Directo.BIN

 

 

Para ver el firmware que tienes:

ethtool -i vmnic4

 

Si tienes problemas para que tus mensajes se publiquen, seguimos

por mensaje privado.

 

Un saludo.

Hola Diego

Es verdad,disculpa, no tengo mucha práctica. Es verdad, los valores de VID DID SVID y SDID no eran correctos, los correctos son estos (Los nics que fallan son el 4 y el 5):

[root@vesxi2:~] for a in $(esxcfg-nics -l |awk '{print $1}' |grep [0-9]) ;do vmkchdev -l |grep $a ;done
0000:01:00.0 14e4:168a 1028:1f5c vmkernel vmnic0
0000:01:00.1 14e4:168a 1028:1f5c vmkernel vmnic1
0000:01:00.2 14e4:168a 1028:1f67 vmkernel vmnic2
0000:01:00.3 14e4:168a 1028:1f67 vmkernel vmnic3
0000:03:00.0 14e4:168e 14e4:1008 vmkernel vmnic4
0000:03:00.1 14e4:168e 14e4:1008 vmkernel vmnic5

VID = 14e4  DID = 168e   SVID = 14e4  SDID = 1008

[root@vesxi2:~] vmkchdev -l |grep vmhba1
0000:00:11.4 8086:8d62 1028:0601 vmkernel vmhba1
VID = 8086  DID = 8d62   SVID = 1028  SDID = 0601

La versión de firmware si no me equivoco es:

[root@vesxi2:~] vmware -vl
VMware ESXi 6.7.0 build-14320388
VMware ESXi 6.7.0 Update 3

Te paso también estos comandos:

[root@vesxi2:~] vmkload_mod -s mptspi |grep Version
Version: Version 4.23.01.00-10vmw, Build: 8169922, Interface: 9.2 Built on: Apr 3 2018

[root@vesxi2:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic0 0000:01:00.0 qfle3 Up 10000Mbps Full 44:a8:42:16:86:35 1500 Broadcom Corporation QLogic 57800 10 Gigabit Ethernet Adapter
vmnic1 0000:01:00.1 qfle3 Up 10000Mbps Full 44:a8:42:16:86:37 9000 Broadcom Corporation QLogic 57800 10 Gigabit Ethernet Adapter
vmnic2 0000:01:00.2 qfle3 Up 1000Mbps Full 44:a8:42:16:86:39 1500 Broadcom Corporation QLogic 57800 1 Gigabit Ethernet Adapter
vmnic3 0000:01:00.3 qfle3 Up 1000Mbps Full 44:a8:42:16:86:3b 1500 Broadcom Corporation QLogic 57800 1 Gigabit Ethernet Adapter
vmnic4 0000:03:00.0 qfle3 Up 10000Mbps Full 00:0e:1e:89:ad:60 1500 Broadcom Corporation QLogic 57810 10 Gigabit Ethernet Adapter
vmnic5 0000:03:00.1 qfle3 Up 10000Mbps Full 00:0e:1e:89:ad:62 9000 Broadcom Corporation QLogic 57810 10 Gigabit Ethernet Adapter

Espero que esto te sirva.

Gracias,

Un saludo,

Adrián

 

Hola de nuevo @adri

El comando para instalar el firmware es:

esxcli software vib install -v /tmp/xxxxxxxxxxxxxxxx.xxx

 

Sí, confirmo que tendrás que reiniciar para que se apliquen los cambios.

Esta es el articulo de la OKB que explica la instalación de VIB en ESXi.

 

Y este el fichero que puedes instalar Version 14.07.06, A00-00 

Directo.BIN

 

Si tras la actualización de firmware el problema persiste, sólo queda reemplazar la tarjeta.

Un saludo.

Hola @DiegoLopez 

Intento instalar pero la extensión que bajo de internet es la ".BIN" y no ".VIB", por tanto me da error siempre en la cabezera. Hay algo que se me escapa que deba hacer de más ?

[root@vesxi2:/vmfs/volumes/5a451eb0-b6849b4d-347f-000e1e89ad60/Firmware_Red] esxcli software vib install -v Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN
[VibDownloadError]
('Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN', '/tmp/vib_3t0hzb82', "unknown url type: 'Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN'")
url = Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN
Please refer to the log file for more details.
[root@vesxi2:/vmfs/volumes/5a451eb0-b6849b4d-347f-000e1e89ad60/Firmware_Red] esxcli software vib install -v /tmp/Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN
[VibDownloadError]
('/tmp/Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN', 'Bad VIB archive header')
url = /tmp/Network_Firmware_7H96X_LN_14.07.06_A00-00_01.BIN
Please refer to the log file for more details.
[root@vesxi2:/vmfs/volumes/5a451eb0-b6849b4d-347f-000e1e89ad60/Firmware_Red]

 

Gracias,

Un saludo,

Adrián

Ya veo.. a decir verdad, creo que es error mío, ese comando es para la actualziación del driver.

 

Para la actualziación del firmware puedes usar la iDRAC o el LifeCycle Controller. En ambos casos es muy fácil actualizar el firmware, pero necesitarás descargar el .exe. 

 

Este artículo explica cómo actualizar un firmware desde la iDRAC: Dell PowerEdge: cómo actualizar de manera remota el firmware de los componentes de un solo sistema mediante iDRAC

 

Este video explica cómo actualizar desde un CD/DVD o USB desde Lifecycle Controller: Dell Lifecycle Controller - Firmware Update Using Local Drive (CD or DVD or USB)

 

En ambos casos te pedirá reiniciar el servidor.

 

Espero que esto te sirva.

Un saludo.

Hola @DiegoLopez ,

 

Ya he conseguido actualizar el driver a la versión 14.07.06 y después de reiniciar y comprobar que estaba bien instalado y esta el driver en uso veo que continua fallando.

Ahora ya si que debo cambiar la tarjeta, compro la misma o tenéis alguna recomendación de algún modelo?

Gracias por toda la ayuda,

Un saludo,

Adrián

Buenos días @DiegoLopez , 

El sábado dejó de funcionar la tarjeta, podéis enviarme presupuesto de una tarjeta y decirme el plazo de entrega de la tarjeta?

O la compro a mi suministrador habitual?

Gracias,

Un saludo,

Adrián

Hola Adrian,
perdón por escuchar eso, Si la garantía del servidor no continúa, puedo recomendarles que compren de la misma tarjeta.

Saludos cordiales

 

Hola @DiegoLopez ,

 

Okey, de acuerdo, no lo tenemos en garantía, compraremos la misma, gracias por todo el soporte y la ayuda ofrecida igualmente.

Un saludo,

Adrián