PowerFlex : Procédure de mise à jour du firmware pour atténuer un problème de perte de charge des batteries NVDIMM sur les nœuds PowerFlex personnalisés (R650, R750)

Description du problème

Les systèmes Dell PowerFlex 15G prennent en charge une configuration qui contient des modules NVDIMM qui fournissent la mémoire permanente requise pour la fonctionnalité de granularité fine. Cette procédure contient les étapes à suivre pour mettre à jour les versions iDRAC et CPLD vers les suivantes :

• iDRAC 7.10.50.201
• CPLD 1.1.1

Emplacement de téléchargement

• Noeud PowerFlex personnalisé : https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (rechercher iDRAC et CPLD)

La nouvelle version de l’iDRAC vérifie les tensions de cellule de batterie NVDIMM lorsqu’elle est activée. Elle consigne une erreur si les tensions de cellule sont inférieures à un seuil défini. Elle consigne un événement avec un niveau de gravité Information lorsque la batterie NVDIMM passe de l’état READY à l’état ENABLED.  

La nouvelle conception du CPLD suit l’état d’activation de la batterie NVDIMM et revient à l’état Ready après une durée déterminée.

• Remarque : en raison du problème ci-dessus, il est possible que la batterie NVDIMM des nœuds soit endommagée et doive être remplacée. Cette procédure prend en compte cette possibilité.
• Remarque : cette mise à jour de l’iDRAC et du CPLD doit suivre une séquence spécifique. Dans cette séquence, l’iDRAC doit d’abord être mis à niveau, et le CPLD est mis à jour après. Cela permet d’identifier si la batterie est défaillante.

Présentation de la procédure

Pour résoudre pleinement le problème, nous devons procéder comme suit :

• Identifiez les batteries NVDIMM du système qui ne sont pas suffisamment chargées.
  • Cette condition spécifique n’étant pas signalée, nous devons mettre à jour l’iDRAC vers la version indiquée ci-dessus (ou une version supérieure). Cette nouvelle version de l’iDRAC signale des erreurs BAT0021 ou BAT0017 si elle détecte une batterie NVDIMM déchargée.
  • Mettez à jour l’iDRAC vers la version indiquée sur tous les nœuds du système.
• Demandez des batteries NVDIMM de remplacement pour chaque batterie signalée comme déchargée et défectueuse.
  • Ne poursuivez pas la mise à jour du CPLD sur les nœuds avec des batteries NVDIMM défectueuses tant que vous n’avez pas remplacé la batterie défectueuse.
  • Les batteries de remplacement peuvent ne pas être entièrement chargées et nécessiter jusqu’à 75 minutes pour atteindre leur pleine charge après l’installation.
  • Pour les nœuds dotés de batteries NVDIMM de bonne qualité, vous pouvez poursuivre la mise à jour du firmware du CPLD.
• Après avoir remplacé les batteries défectueuses, procédez à la mise à jour du firmware du CPLD à l’aide de l’iDRAC.
  • Le nœud doit être placé en mode maintenance avant de terminer la mise à jour.
  • Le nœud redémarre, puis effectue la mise à jour du CPLD.
• Une fois que le nœud redémarre après la mise à jour du CPLD, retirez le nœud du mode maintenance.
• Lorsque le nœud n’est plus en maintenance, une opération de reconstruction et de rééquilibrage démarre.  
  • Remarque : attendez la fin de la reconstruction et du rééquilibrage avant de procéder à la mise à jour du nœud suivant dans le cluster.

Configuration requise

• La version minimale du BIOS pour cette mise à jour du CPLD est la version 1.8.2 du BIOS.  (1.10.2 ou version supérieure recommandée)
• Au cours de la procédure de remplacement des composants, le client est responsable des tâches suivantes :
  • Migration de toutes les applications non PowerFlex sur le nœud vers un autre serveur.
  • Arrêt normal du serveur en suivant la procédure d’arrêt appropriée pour le système d’exploitation utilisé.
• Assurez-vous que les informations suivantes sont disponibles :
  • Type de nœud PowerFlex : Nœud physique ou HCI (VMware)
  • Plage d’adresses IP, sous-réseau et adresse IP de passerelle pour le cluster PowerFlex et ses nœuds
  • Plage d’adresses IP, sous-réseau et adresse IP de passerelle pour le port iDRAC sur le nœud (définis lors du processus de déploiement initial)
  • Tous les mots de passe root et administrateur définis sur le serveur et l’iDRAC
  • Adresse IP de vCenter et informations d’identification de connexion si la configuration est HCI

Procédure détaillée

Étape 1 : Mettez à jour l’iDRAC sur tous les nœuds du cluster PowerFlex.

L’iDRAC sur ces nœuds peut être mis à jour sans redémarrer les nœuds. La procédure de mise à jour de l’iDRAC est la suivante.
Assurez-vous que l’image de firmware a été téléchargée à un emplacement spécifique sur le système local. La version du firmware de l’iDRAC est nécessaire pour cette procédure, et l’emplacement de téléchargement est indiqué sur la première page de la procédure.
Remarque : assurez-vous que le firmware de l’iDRAC est mis à jour sur tous les nœuds du cluster avant de passer à l’étape suivante de la procédure….

1. Connectez-vous à l’interface Web d’iDRAC9.
2. Accédez à Maintenance, puis cliquez sur System Update. La page Firmware Update s’affiche.
3. Dans l’onglet Manual Update, sélectionnez Local comme type d’emplacement.

Figure 1 : Écran de mise à jour d’iDRAC9

4. Cliquez sur Choose File, sélectionnez le fichier image du firmware pour le composant requis, puis cliquez sur Upload.
5. Une fois le téléchargement terminé, la section Update Details affiche chaque fichier de firmware téléchargé vers l’iDRAC et son état. Si le fichier image du firmware est valide et a été téléchargé avec succès, la colonne Contents affiche une icône (+) en regard du nom de fichier image du firmware. Développez le nom pour afficher les informations Device Name, Current et Available firmware version.
6. Sélectionnez le fichier du firmware de l’iDRAC requis.
   • La mise à jour du firmware de l’iDRAC ne nécessite pas de redémarrage du système hôte. Cliquez sur Install pour commencer la mise à jour.

7. Pour afficher la page Job Queue, cliquez sur Job Queue. Utilisez cette page pour afficher et gérer les mises à jour de firmware en attente. Vous pouvez cliquer sur OK pour actualiser la page active et afficher l’état de la mise à jour du firmware.
8. Life Cycle Controller redémarre et la connexion à l’iDRAC est réinitialisée. Patientez quelques minutes avant de vous connecter à l’iDRAC.

Remarque : si un échec de connexion est détecté, consultez la base de connaissances sur les échecs de connexion FQDN HTTP et HTTPS : https://www.dell.com/support/kbdoc/en-us/000193619

Étape 2 : Vérifiez si la batterie NVDIMM du nœud est défectueuse.

L’iDRAC 7.10.50.201 et versions supérieures contiennent un code qui vérifie la charge des cellules de batterie NVDIMM toutes les 5 secondes et signale l’erreur suivante dans le journal des événements système (SEL) de l’iDRAC si la tension de la cellule est inférieure au seuil de 1,5 V.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Si l’un des messages ci-dessus est renvoyé, cela signifie que le nœud a une batterie NVDIMM défectueuse, qui doit être remplacée.

• Remarque : ne mettez pas à jour le CPLD sur ce nœud avec une batterie NVDIMM défectueuse. Le redémarrage lors d’une mise à jour du CPLD se bloque et n’arme pas le module NVDIMM en raison d’une batterie défectueuse.
• Remarque : demandez une batterie NVDIMM de remplacement.

 Si l’iDRAC ne signale aucun problème, la batterie de ce nœud est en bon état et n’a pas besoin d’être remplacée. La mise à jour du CPLD peut être effectuée sur ce nœud et vous pouvez passer à l’étape suivante.

• Remarque : PowerFlex Engineered Systems signale un avertissement d’intégrité de nœud pour tout nœud renvoyant l’erreur BAT0021.  Ce comportement peut être utilisé pour identifier les batteries NVDIMM défectueuses après la mise à jour de l’iDRAC
  

• Remarque : Si l’événement BAT0017 ou BAT0021 s’affiche, mais qu’il s’agit d’un 3e événement de BAT0016, la batterie n’a PAS besoin d’être remplacée !
  Les ingénieurs NVDIMM ont indiqué que si ce 3e événement (BAT0016) se produit, la batterie n’a pas besoin d’être remplacée.
  BAT0016    The NVDIMM battery is operating normally.
  

Si les trois alertes de batterie (BAT0021, BAT0020, BAT0016) apparaissent toutes dans l’ordre en moins d’une minute, cela doit être considéré comme une fausse alarme et la batterie est considérée comme en bon état et ne doit pas être remplacée. 

Étape 3 : Préparez le nœud. Mettez le SDS en mode maintenance.

• Passez en mode maintenance en suivant la procédure appropriée de la section ci-dessous sous PowerFlex version 4.x ou PowerFlex version 3.x.
• Sélectionnez le mode maintenance PowerFlex approprié.
  • Si le nœud n’a pas de batterie NVDIMM défectueuse, le mode maintenance instantanée (IMM) est recommandé pour mettre à jour le CPLD. 
    • Ignorez les étapes 4 et 5 (remplacement de la batterie) et passez à la mise à niveau du BIOS (étape 6) et du CPLD (étape 7).
  • Si le nœud a une batterie NVDIMM défectueuse, elle doit être remplacée avant de mettre à jour le CPLD.
    • Dans ce cas, le nœud doit être mis en mode maintenance protégée (PMM) pour tenir compte du temps nécessaire à la charge de la batterie de remplacement.
• Remarque : suite à cette procédure, un processus de rééquilibrage démarre. Il est donc recommandé de planifier cette procédure pendant une fenêtre de maintenance planifiée.
• Remarque : si vous utilisez le mode PMM avant le remplacement de la batterie NVDIMM (étapes 4 et 5), vous pouvez rester en mode maintenance PMM pour la mise à jour du BIOS et du CPLD (étapes 6 et 7).

PowerFlex version 4.x, voir le Guide d’administration de Dell PowerFlex 4.x.

• Si le nœud agit en tant que MDM principal, procédez comme suit pour changer le propriétaire de MDM :
  • Reconfiguration des rôles MDM
• Si une SDR est configurée sur le nœud, mettez-la en mode maintenance
  • Mettre la SDR en mode maintenance
• Mettre le serveur de données de stockage (SDS) en mode maintenance
  • Mettre le serveur de données de stockage (SDS) en mode maintenance
• S’il s’agit d’un nœud HCI (VMware), mettez ESXi en mode maintenance après les étapes ci-dessus
  • Mettre un hôte en mode maintenance

PowerFlex version 3.x, voir le guide de mise à niveau de Dell PowerFlex vers v3.6.x.

• Mettre le nœud en mode maintenance et arrêter
  • Arrêt ou redémarrage normal d’un nœud

Étape 4 : Remplacez la batterie NVDIMM.

Pour obtenir des instructions sur le remplacement de la batterie NVDIMM, consultez la documentation SolVe pour les nœuds PowerFlex disponible via le lien fourni ci-dessous.

SolVe (dell.com)

Téléchargez la documentation SolVe de la batterie NVDIMM pour le type de nœud R650/R750 sur 15G approprié.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• Remarque : passez les sections suivantes de la documentation sur le remplacement de la batterie NVDIMM.

Remove the storage devices from PowerFlex.

Raisons pour lesquelles les périphériques de stockage ne doivent pas être supprimés :

• La suppression de périphériques de stockage au cours de cette procédure entraîne une reconstruction inutile de l’ensemble du nœud, ce qui prolonge considérablement la maintenance.
• Dans la mesure où il s’agit d’un redémarrage planifié et non d’une perte d’alimentation, le sous-système NVDIMM ne dépend pas de l’alimentation des batteries pour effectuer l’opération d’enregistrement. L’alimentation provient des blocs d’alimentation, même lorsque les batteries sont défectueuses.
• Suite au redémarrage, le système signale une erreur relative à la batterie NVDIMM lors de la mise sous tension. Toutefois, les données du module NVDIMM ont été enregistrées et aucune perte de données n’a lieu.

Étape 5 : Attendez que les batteries remplacées soient chargées.

Si vous avez remplacé la batterie NVDIMM sur un nœud particulier, mettez le système sous tension. Le système ne démarre pas complètement. Le BIOS s’arrête en attendant que les batteries soient chargées, car une batterie NVDIMM de remplacement peut ne pas disposer d’une charge suffisante pour protéger les données du module NVDIMM. La charge des batteries peut prendre environ 60 à 75 minutes. Vous pouvez essayer de redémarrer le système au bout de 60 à 75 minutes. Le nœud doit également démarrer et armer le sous-système NVDIMM.

• Remarque : planifiez votre fenêtre de maintenance sur la base de 60 à 75 minutes pour chaque nœud nécessitant une batterie de remplacement.

Étape 6 : Mettez à jour le BIOS si nécessaire.

La version du CPLD utilisée pour résoudre le problème sous-jacent dans cet article de la base de connaissances nécessite un BIOS minimal de la version 1.8.2. (BIOS 1.10.2 ou version supérieure recommandé)
Les déploiements de nœuds personnalisés PowerFlex nécessitent des versions spécifiques des pilotes, du BIOS et du firmware validées et qualifiées par Dell.
Si la version actuelle du BIOS est inférieure à la version 1.8.2, mettez à jour le firmware vers la dernière version publiée dans la Matrice des pilotes et firmwares des nœuds personnalisés PowerFlex (en anglais).

1. Assurez-vous que le nœud est en mode maintenance. Si ce n’est pas le cas, voir l’étape 3 pour obtenir des instructions.
2. Pour télécharger la version du BIOS, voir la section « Emplacements de téléchargement » de cet article de la base de connaissances
   • Remarque : cliquez sur « Versions antérieures » pour choisir une version à aligner sur la matrice ciblée.
3. Mettez à niveau le BIOS vers la version 1.8.2 ou ultérieure. 

• Procédure de mise à niveau du BIOS Dell PowerEdge pour 15G :  https://www.dell.com/support/kbdoc/en-us/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Étape 7 : Mettez à jour le CPLD vers la version 1.1.1.

Conditions préalables :

• Assurez-vous que le SDS est en mode maintenance PowerFlex. Pour les nœuds ESXi, assurez-vous qu’ESXi est également en mode maintenance. Si ce n’est pas le cas, voir l’étape 3 de cet article pour obtenir des instructions.
• Assurez-vous que l’image du firmware du CPLD est disponible sur votre système local. Pour télécharger la version du CPLD appropriée, voir la section « Emplacements de téléchargement » de cet article. 
  • La mise à jour du CPLD déclenche un redémarrage du nœud.

Remarque : 

• effectuez la mise à jour du firmware du CPLD après la mise à jour du firmware de l’iDRAC.
• Remplacez la batterie NVDIMM avant de passer à la mise à jour du firmware du CPLD.

La procédure de mise à jour du CPLD est la suivante.

1. Connectez-vous à l’interface Web d’iDRAC9.
2. Accédez à Maintenance, puis cliquez sur System Update. La page Firmware Update s’affiche.
3. Dans l’onglet Manual Update, sélectionnez Local comme type d’emplacement.Figure 1 : Écran de mise à jour d’iDRAC9
4. Cliquez sur Choose File, sélectionnez le fichier image du firmware pour le composant requis, puis cliquez sur Upload.
5. Une fois le téléchargement terminé, la section Update Details affiche chaque fichier de firmware téléchargé vers l’iDRAC et son état. Si le fichier image du firmware est valide et a été téléchargé avec succès, la colonne Contents affiche une icône (+) en regard du nom de fichier image du firmware. Développez le nom pour afficher les informations Device Name, Current et Available firmware version.
6. Sélectionnez le fichier du firmware du CPLD requis.
   • Une mise à jour du firmware du CPLD nécessite un redémarrage du système hôte. Cliquez sur Install pour commencer la mise à jour.

7. Pour afficher la page Job Queue, cliquez sur Job Queue. Utilisez cette page pour afficher et gérer les mises à jour de firmware en attente. Vous pouvez cliquer sur OK pour actualiser la page active et afficher l’état de la mise à jour du firmware.

Étape 8 : Sortez le nœud du mode maintenance.

PowerFlex version 4.x, voir le Guide d’administration de Dell PowerFlex 4.x.
Conditions préalables : Assurez-vous que vous disposez de l’adresse IP et des informations d’identification de connexion administrateur pour accéder à PowerFlex Manager. Si nécessaire, le client peut vous fournir les informations nécessaires.

1. Mettez le nœud sous tension si vous ne l’avez pas déjà fait après la mise à jour du CPLD. Le système d’exploitation démarre et tous les processus PowerFlex démarrent automatiquement.

2. Une fois le nœud opérationnel, à partir de votre navigateur, reconnectez-vous à PowerFlex Manager en tant qu’utilisateur administrateur.

3. Dans la barre de menus, cliquez sur Monitoring > Alerts et vérifiez qu’aucun message de déconnexion ne s’affiche pour un hôte SDS ou SDC, ou pour une SDR ou SDT, le cas échéant.

4. Pour un nœud ESXi, procédez comme suit :
   1. Dans vSphere Web Client, assurez-vous que le nœud s’affiche comme activé et connecté dans la vue Hosts and Clusters.
   2. Cliquez avec le bouton droit de la souris sur le nœud et sélectionnez Exit Maintenance Mode.
   3. Développez le serveur et sélectionnez la machine virtuelle de stockage (SVM). Si la SVM ne se met pas sous tension automatiquement, mettez-la sous tension manuellement.
5. Sortez le SDS du mode maintenance : 
   • Sortir le serveur de données de stockage du mode maintenance
6. Si une SDR est configurée sur le nœud, retirez la SDR du mode maintenance.
   • Sortir la SDR du mode maintenance.

PowerFlex version 3.x, voir le guide de mise à niveau de Dell PowerFlex vers v3.6.x.
Conditions préalables : assurez-vous que l’utilisateur dispose des informations d’identification suivantes (disponibles auprès de l’administrateur) : Adresse IP ou nom d’hôte du serveur de présentation PowerFlex, utilisé pour accéder à l’interface graphique PowerFlex

1. Mettez le nœud sous tension si vous ne l’avez pas déjà fait après la mise à jour du CPLD. Le système d’exploitation démarre et tous les processus PowerFlex démarrent automatiquement
2. Sortez le nœud du mode maintenance : Remettez le nœud en fonctionnement.
3. Si une SDR est configurée sur le nœud, retirez la SDR du mode maintenance.

Étape 9 : Passez au nœud suivant du cluster.

La séquence des étapes 2 à 8 doit être effectuée pour tous les nœuds du cluster, un par un.  Une fois tous les nœuds mis à niveau, le processus est terminé.