PowerFlex: Procedimiento para actualizar el firmware a fin de mitigar un problema de pérdida de carga de las baterías del NVDIMM en los nodos personalizados de PowerFlex (R650, R750)

Issue Description

Los sistemas Dell PowerFlex 15G son compatibles con configuraciones que contengan NVDIMM, que proporcionan la memoria persistente necesaria para la característica de granularidad fina. Este procedimiento contiene los pasos para actualizar la iDRAC y el CPLD a las siguientes versiones:

• iDRAC 7.10.50.201
• CPLD 1.1.1

Ubicación de la descarga

• Nodo personalizado de PowerFlex: https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (buscar iDRAC y CPLD)

La versión nueva de iDRAC comprueba los voltajes de las celdas de la batería del NVDIMM cuando está habilitada. Registra un error si los voltajes de las celdas están por debajo de un umbral definido. Registra un evento con gravedad de información cuando la batería del NVDIMM cambia entre los estados READY y ENABLED.  

El diseño nuevo de CPLD rastrea el estado habilitado de la batería del NVDIMM y vuelve al estado Ready después de un período fijo.

• NOTA: Como resultado del problema anterior, existe la posibilidad de que la batería del NVDIMM en los nodos se dañe y se deba reemplazar. En este procedimiento, se tiene en cuenta esta posibilidad.
• NOTA: Esta actualización de la iDRAC y el CPLD debe seguir una secuencia específica. La secuencia requiere que, primero, se actualice la iDRAC y, a continuación, se actualice el CPLD. Ayuda a identificar si la batería falló.

Descripción general del procedimiento

Para abordar el problema por completo, debemos hacer lo siguiente:

• Identifique qué baterías del NVDIMM en el sistema carecen de carga suficiente.
  • Dado que no se informa esta condición específica, es necesario actualizar iDRAC a la versión indicada anteriormente (o superior). Esta versión nueva de iDRAC informará errores de BAT0021 o BAT0017 si detecta una batería del NVDIMM descargada.
  • Actualice el iDRAC a la versión indicada en todos los nodos del sistema.
• Solicite el reemplazo de las baterías del NVDIMM que se informen como sin carga y defectuosas.
  • No continúe con la actualización del CPLD en nodos con baterías del NVDIMM defectuosas hasta que se hayan reemplazado las baterías defectuosas.
  • Es posible que las baterías de repuesto no vengan completamente cargadas y requieran hasta 75 minutos para lograr una carga completa después de la instalación.
  • En el caso de los nodos con baterías del NVDIMM en buen estado, puede continuar con la actualización del FW del CPLD.
• Después de reemplazar las baterías defectuosas, continúe con la actualización del firmware del CPLD mediante iDRAC.
  • El nodo se debe poner en modo de mantenimiento antes de completar la actualización.
  • El nodo se reinicia y luego realiza la actualización del CPLD.
• Una vez que el nodo se reinicie después de la actualización del CPLD, quite el modo de mantenimiento.
• Una vez que el nodo ya no se encuentre en el estado de mantenimiento, se inicia una operación de reconstrucción y reequilibrio.  
  • NOTA: Espere a que se completen la reconstrucción y el reequilibrio antes de continuar con la actualización del siguiente nodo del clúster.

Requisitos previos

• La versión mínima del BIOS para esta actualización del CPLD es la versión 1.8.2 del BIOS.  (Se recomienda 1.10.2 o superior)
• Durante el procedimiento de reemplazo de componentes, el cliente es responsable de las siguientes tareas:
  • Migrar a otro servidor cualquier aplicación que no sea de PowerFlex en el nodo.
  • Apagar el servidor correctamente siguiendo el procedimiento de apagado correspondiente al sistema operativo en uso.
• Asegurarse de que la siguiente información esté disponible:
  • El tipo de nodo de PowerFlex: nodo físico o nodo HCI (VMware)
  • El rango de direcciones IP, la subred y la dirección IP del gateway para el clúster de PowerFlex y sus nodos
  • El rango de direcciones IP, la subred y las direcciones IP del gateway para el puerto del iDRAC en el nodo (definido durante el proceso de implementación inicial)
  • Todas las contraseñas de administrador y raíz establecidas en el servidor y en el iDRAC
  • Dirección IP y credenciales de inicio de sesión de vCenter si la configuración es HCI

Procedimiento detallado

Paso 1: Actualice la iDRAC en todos los nodos del clúster de PowerFlex.

El iDRAC en estos nodos se puede actualizar sin reiniciar los nodos. El procedimiento para actualizar el iDRAC es el siguiente.
Asegúrese de que la imagen del firmware se haya descargado en una ubicación específica del sistema local. Para este procedimiento, se necesita la versión del firmware para iDRAC y la ubicación de descarga aparece en la primera página del procedimiento.
NOTA: Asegúrese de que el firmware del iDRAC esté actualizado en todos los nodos del clúster antes de continuar con el siguiente paso del procedimiento.

1. Inicie sesión en la interfaz web de iDRAC9.
2. Vaya a Maintenance y, luego, haga clic en System Update. Se muestra la página Manual Update.
3. En la pestaña Manual Update, seleccione Local como Location Type.

Figura 1: Pantalla de actualización de iDRAC9

4. Haga clic en Choose File, seleccione el archivo de imagen del firmware para el componente requerido y, a continuación, haga clic en Upload.
5. Una vez que se completa la carga, en la sección Update Details, se muestra cada archivo del firmware cargado en iDRAC y su estado. Si el archivo de imagen del firmware es válido y se cargó correctamente, en la columna Contents, se muestra un icono (+) junto al nombre del archivo de imagen del firmware. Expanda el nombre para ver la información de Device Name, Current y Available firmware version.
6. Seleccione el archivo del firmware de la iDRAC necesario.
   • La actualización del firmware de la iDRAC no requiere un reinicio del sistema host. Haga clic en Install para iniciar la actualización.

7. Para ver la página Job Queue, haga clic en Job Queue. Use esta página para ver y administrar las actualizaciones de firmware pendientes. Puede hacer clic en OK para actualizar la página actual y ver el estado de la actualización del firmware.
8. Lifecycle Controller se reiniciará y se restablecerá la conexión a iDRAC. Espere unos minutos para iniciar sesión en iDRAC.

Nota: Si se observa una falla de conexión, consulte la base de conocimientos sobre fallas de conexión de FQDN HTTP y HTTPS: https://www.dell.com/support/kbdoc/en-us/000193619

Paso 2: Compruebe si el nodo tiene una batería del NVDIMM defectuosa.

La versión 7.10.50.201 y las versiones posteriores de iDRAC contienen un código que comprueba la carga en las celdas de la batería del NVDIMM cada 5 segundos e informa el siguiente error en el registro de eventos del sistema (SEL) de iDRAC si el voltaje de la celda es inferior al umbral de 1,5 V.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Si se informa uno de los mensajes anteriores, esto significa que el nodo tiene una batería del NVDIMM defectuosa, la cual se debe reemplazar.

• NOTA: No continúe con la actualización del CPLD en este nodo con una batería del NVDIMM defectuosa. El reinicio durante una actualización del CPLD se bloqueará y no armará el NVDIMM debido a la batería dañada.
• NOTA: Solicite una batería del NVDIMM de reemplazo.

 Si la iDRAC no informa ningún problema, la batería de este nodo está en buen estado y no es necesario reemplazarla. La actualización del CPLD se puede realizar en este nodo y usted puede continuar con el siguiente paso.

• NOTA: Los sistemas diseñados por PowerFlex informarán una advertencia del estado del nodo para cualquier nodo que exprese el error BAT0021.  Este comportamiento se puede utilizar para identificar baterías NVDIMM defectuosas después de la actualización de iDRAC
  

• NOTA: Si aparece el evento BAT0017 o BAT0021, pero luego se produce un tercer evento de BAT0016, NO es necesario reemplazar la batería.
  El equipo de ingeniería de NVDIMM informó que, si se produce este tercer evento (BAT0016), no es necesario reemplazar la batería.
  BAT0016    The NVDIMM battery is operating normally.
  

Si las tres alertas de batería (BAT0021, BAT0020, BAT0016) se ven en secuencia en menos de un minuto, esto se debe considerar una falsa alarma y la batería se considera en buen estado y no se debe reemplazar. 

Paso 3: Prepare el nodo: ponga el SDS en modo de mantenimiento.

• Ingrese al modo de mantenimiento siguiendo el procedimiento correspondiente en la siguiente sección en la versión 4.x de PowerFlex o la versión 3.x de PowerFlex.
• Seleccione el modo de mantenimiento correcto de PowerFlex
  • Si el nodo no tiene una batería del NVDIMM defectuosa, se recomienda el modo de mantenimiento instantáneo (IMM) para actualizar el CPLD. 
    • Omita los pasos 4 y 5 (reemplazo de la batería) y continúe con el BIOS (paso 6) y la actualización del CPLD (paso 7).
  • Si el nodo tiene una batería del NVDIMM defectuosa, se debe reemplazar antes de actualizar el CPLD.
    • En este caso, el nodo se debe poner en modo de mantenimiento protegido (PMM) para tener en cuenta el tiempo que tarda la batería de reemplazo en cargarse.
• NOTA: Este procedimiento provoca que se inicie un proceso de reequilibrio; por lo tanto, se recomienda planificar este procedimiento para una ventana de mantenimiento programada.
• NOTA: Si utiliza un PMM antes de reemplazar la batería del NVDIMM (pasos 4 y 5), puede permanecer en el modo de mantenimiento de PMM para la actualización del BIOS y el CPLD (pasos 6 y 7).

PowerFlex versión 4.x; consulte la guía “Administración de Dell PowerFlex 4.x”.

• Si el nodo funciona como el MDM principal, siga estos pasos para cambiar la propiedad del MDM:
  • Reconfiguración de las funciones del MDM
• Si hay un SDR configurado en el nodo, colóquelo en modo de mantenimiento.
  • Colocar el SDR en modo de mantenimiento
• Coloque el servidor de datos de almacenamiento (SDS) en modo de mantenimiento.
  • Coloque el servidor de datos de almacenamiento (SDS) en modo de mantenimiento.
• Si se trata de un nodo HCI (VMware), coloque el ESXi en modo de mantenimiento después de los pasos anteriores
  • Poner un host en modo de mantenimiento

PowerFlex versión 3.x; consulte la guía “Actualizar Dell PowerFlex a v3.6.x”.

• Colocar al nodo en modo de mantenimiento y apagarlo
  • Apagado o reinicio seguro de un nodo

Paso 4: Reemplace la batería del NVDIMM.

Consulte la documentación de SolVe para los nodos PowerFlex disponible en el enlace que se proporciona a continuación para obtener instrucciones sobre cómo reemplazar la batería del NVDIMM.

SolVe (dell.com)

Descargue la documentación de SolVe para “batería del NVDIMM” para el tipo de nodo correspondiente R650/R750 en 15G.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• NOTA: Omita las siguientes secciones en la documentación “Reemplazar la batería del NVDIMM”.

Remove the storage devices from PowerFlex.

Razones por las que no se deben quitar los dispositivos de almacenamiento:

• Eliminar los dispositivos de almacenamiento durante este procedimiento provocará una reconstrucción innecesaria de todo el nodo, lo que prolongará considerablemente el mantenimiento.
• Dado que este es un reinicio planificado y no un evento de pérdida de alimentación, el subsistema del NVDIMM no depende de la alimentación de las baterías para completar la operación de guardado. La alimentación proviene de las PSU, incluso cuando las baterías están defectuosas.
• El reinicio provocará que el sistema informe un error con la batería del NVDIMM durante el encendido. Sin embargo, los datos en el NVDIMM se guardaron y no ocurre una pérdida de datos.

Paso 5: Espere a que se carguen las baterías reemplazadas.

Si reemplazó la batería del NVDIMM en un nodo en particular, encienda el sistema. El sistema no arrancará por completo. El BIOS dejará de esperar a que se carguen las baterías, ya que es posible que una batería de repuesto del NVDIMM no tenga la carga suficiente que requiere el sistema para proteger los datos en el NVDIMM. Las baterías pueden tardar entre 60 y 75 minutos en cargarse. Puede intentar reiniciar el sistema después de 60-75 minutos y el nodo debería encenderse y activar el subsistema del NVDIMM también.

• NOTA: Planifique la ventana de mantenimiento en función de los 60 o 75 minutos para cada nodo que necesite una batería de reemplazo.

Paso 6: Actualice el BIOS si es necesario.

La versión del CPLD utilizada para solucionar el problema subyacente en este artículo de la base de conocimientos requiere un BIOS mínimo de 1.8.2. (Se recomienda el BIOS 1.10.2 o una versión superior)
Las implementaciones de nodos personalizados de PowerFlex requieren versiones específicas de controladores, BIOS y firmware validado y calificado por Dell.
Si la versión actual del BIOS es inferior a 1.8.2, actualice el firmware a la versión más reciente, según lo publicado en la Matriz de firmware y controlador de nodo personalizado de PowerFlex.

1. Asegúrese de que el nodo esté en modo de mantenimiento. Si no es así, consulte el “paso 3” para obtener instrucciones.
2. Para descargar la versión del BIOS, consulte la sección “Ubicaciones de la descarga” de este artículo de la base de conocimientos.
   • Nota: Haga clic en “Older Versions” para elegir una versión que se alinee con la matriz a la que se dirige.
3. Continúe con la actualización del BIOS a la versión 1.8.2 o superior. 

• Procedimiento de actualización del BIOS de Dell PowerEdge para 15G:  https://www.dell.com/support/kbdoc/en-us/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Paso 7: Actualice el CPLD a la versión 1.1.1

Requisitos previos:

• Asegúrese de que el SDS esté en el modo de mantenimiento de PowerFlex. Para los nodos ESXi, asegúrese de que ESXi también esté en modo de mantenimiento. De lo contrario, consulte el “paso 3” de este artículo para obtener instrucciones.
• Asegúrese de que la imagen del firmware del CPLD esté disponible en el sistema local. Para descargar la versión del CPLD adecuada, consulte la sección “Ubicaciones de la descarga” de este artículo. 
  • La actualización del CPLD provoca un reinicio del nodo.

Nota: 

• Realice la actualización del firmware del CPLD después de la actualización del firmware de iDRAC.
• Reemplace la batería del NVDIMM antes de continuar con la actualización del firmware del CPLD.

El procedimiento de actualización del CPLD es el siguiente.

1. Inicie sesión en la interfaz web de iDRAC9.
2. Vaya a Maintenance y, luego, haga clic en System Update. Se muestra la página Manual Update.
3. En la pestaña Manual Update, seleccione Local como Location Type.Figura 1: Pantalla de actualización de iDRAC9
4. Haga clic en Choose File, seleccione el archivo de imagen del firmware para el componente requerido y, a continuación, haga clic en Upload.
5. Una vez que se completa la carga, en la sección Update Details, se muestra cada archivo del firmware cargado en iDRAC y su estado. Si el archivo de imagen del firmware es válido y se cargó correctamente, en la columna Contents, se muestra un icono (+) junto al nombre del archivo de imagen del firmware. Expanda el nombre para ver la información de Device Name, Current y Available firmware version.
6. Seleccione el archivo del firmware del CPLD necesario.
   • Una actualización del firmware del CPLD requerirá un reinicio del sistema host. Haga clic en Install para iniciar la actualización.

7. Para ver la página Job Queue, haga clic en Job Queue. Use esta página para ver y administrar las actualizaciones de firmware pendientes. Puede hacer clic en OK para actualizar la página actual y ver el estado de la actualización del firmware.

Paso 8: Saque el nodo del modo de mantenimiento.

PowerFlex versión 4.x,; consulte la guía “Administración de Dell PowerFlex 4.x””.
Requisitos previos: Asegúrese de tener la dirección IP y las credenciales de inicio de sesión del administrador para acceder a PowerFlex Manager. Si fuera necesario, el cliente puede proporcionarle la información necesaria.

1. Encienda el nodo, si aún no lo ha hecho después de actualizar el CPLD. El sistema operativo arrancará y todos los procesos de PowerFlex se iniciarán automáticamente.

2. Una vez que el nodo esté activo, desde el navegador, vuelva a iniciar sesión en PowerFlex Manager como usuario administrador.

3. En la barra del menú, haga clic en Monitoring > Alerts y confirme que no aparezca ningún mensaje de desconexión para un host de SDS o SDC, o para un SDR o SDT, si corresponde.

4. Para un nodo de ESXi, haga lo siguiente:
   1. Desde vSphere Web Client, asegúrese de que el nodo se muestre como encendido y conectado en la vista Hosts y Clusters.
   2. Haga clic con el botón derecho en el nodo y seleccione Exit Maintenance Mode.
   3. Expanda el servidor y seleccione la VM de almacenamiento (SVM). Si la SVM no se enciende automáticamente, enciéndala de forma manual.
5. Saque el SDS del modo de mantenimiento: 
   • Sacar el servidor de datos de almacenamiento del modo de mantenimiento
6. Si hay un SDR configurado en el nodo, quite el SDR del modo de mantenimiento.
   • Sacar el SDR del modo de mantenimiento.

PowerFlex versión 3.x,; consulte la guía “Actualizar Dell PowerFlex a v3.6.x”.
Requisitos previos: asegúrese de que el usuario tenga las siguientes credenciales (disponibles a través del administrador): la dirección IP o el nombre de host del servidor de presentación de PowerFlex que se utilizan para acceder a la GUI de PowerFlex

1. Encender el nodo si aún no se ha hecho después de la actualización del CPLD. El sistema operativo arranca y todos los procesos de PowerFlex se inician automáticamente.
2. Saque al nodo del modo de mantenimiento: volver a hacer funcionar el nodo.
3. Si hay un SDR configurado en el nodo, quite el SDR del modo de mantenimiento.

Paso 9: Continúe con el siguiente nodo del clúster.

La secuencia del paso 2 al 8 se debe completar para todos los nodos del clúster, uno a la vez.  Cuando se hayan actualizado todos los nodos, el proceso estará completo.