Dell VxRail : bilan de santé « ism_fix » ou « rac_fix » pour corriger les problèmes d’iSM et d’iDRAC

VxVerify sur VxRail Manager peut tenter de corriger une panne iDRAC et iSM en redémarrant l’iDRAC et les services de nœud VxRail associés.
Avant d’exécuter des tests directement sur chaque nœud, à l’aide du minion VxVerify, VxVerify sur VxRail Manager interroge d’abord l’iSM Dell (dcism ou dellism).
Sinon, si des problèmes iDRAC ont été détectés lors de l’exécution des bilans de santé, ce correctif automatique est tenté avant de réessayer les bilans de santé.
Si l’option Correction automatique est activée (soit par le profil de test, soit à l’aide de l’argument --fix), la tentative de correction prend environ 10 minutes.

Le résultat de cette correction automatique est l’un des suivants :

Résultat du test	Code de résultat	Interprétation des résultats
Passer	0	La correction de l’état de l’iSM était inutile ou n’était pas activée dans le profil de test.
Warning	1	L’état de l’iSM Dell fonctionnait correctement après le redémarrage.
Échec	2	L’iSM et l’iDRAC Dell ont été redémarrés, mais l’iSM ne fonctionnait toujours pas correctement par la suite.
Critique	3	Ce test n’a pas de résultat critique.

Ce correctif peut également être déclenché après l’exécution des vérifications VxVerify, si les requêtes iDRAC échouent. Dans ce cas, le minion VxVerify s’exécute une deuxième fois après le correctif. Les tests répétés vérifient si les problèmes iSM et iDRAC sont résolus.
Chaque test réussi n’est pas répertorié dans le rapport récapitulatif, pour en faciliter la lecture.
Vous trouverez ci-dessous un exemple de résultat du bilan de santé :

#========================#======#=========#====================================================================#==============#
|  Hostname / Category   |Status  Dell_KB |  Warnings or Failures, unless tests Passed                         ; Product S.N. |
#========================#======#=========#====================================================================#==============#
| _cluster               | Warning 205179 | ism_fix: iSM and iDRAC fixed for node1.lab.local, node4.lab.local                .|
|   ``                   | Warning 205179 | rac_fix: iSM and iDRAC fixed for node2.lab.local                                  |

L’opération « ism_fix » s’exécute avant les minions et les commandes de correction sont exécutées à distance à partir de VxRM à l’aide de SSH. Par exemple :

Running VxVerify 3.21.108, pre-upgrade healthcheck on VxRail 7.0.372.
In case of program errors consult article https://www.dell.com/support/kbdoc/000066460.
Step 1: Fixing iSM issue, prior to running health-checks, on node: lab-08-esxi-01.lab.local
Step 1: Fixing iSM issue, prior to running health-checks, on node: lab-08-esxi-02.lab.local
Step 1: Stopping ISM and platform service on lab-08-esxi-01.lab.local
Step 1: Stopping ISM and platform service on lab-08-esxi-02.lab.local
Step 1: Pausing for 266 seconds more after iDRAC restarted on ['lab-08-esxi-01.lab.local', 'lab-08-esxi-02.lab.local'] 
... 
Step 1: Starting iSM on lab-08-esxi-01.lab.local
Step 1: Starting iSM on lab-08-esxi-02.lab.local
Step 1: Pausing for 84 seconds more after Dell iSM started on ['lab-08-esxi-01.lab.local', 'lab-08-esxi-02.lab.local']
...
Step 1: Starting Platform service on lab-08-esxi-01.lab.local
Step 1: Starting Platform service on lab-08-esxi-02.lab.local

La correction automatique est également visible dans la vxv.log avant les événements minion_run :

2022-11-11 09:51:26-INFO     [ism_fix] Fixing phase 1 Dell ISM on node on lab-08-esxi-01.lab.local
2022-11-11 09:51:31-INFO     [ism_fix] lab-08-esxi-01.lab.local Auto-fix continuing with vSAN objecthealth: green
2022-11-11 09:51:32-INFO     [ism_fix] iDRAC restarting on lab-08-esxi-01.lab.local: _
...
2022-11-11 09:58:58-INFO     [ism_fix] Checking hosts for auto-fix success: ['lab-08-esxi-01.lab.local', 'lab-08-esxi-02.lab.local']

Pour corriger le dcism qui n’est pas en cours d’exécution, VxVerify effectue les étapes suivantes si cette fonctionnalité de correction automatique est activée dans le profil de test :

• Arrêtez les services : sfcbd, dcism, PTAgent (le cas échéant) et Platform-service
• Redémarrez l’iDRAC, puis attendez 5 minutes que l’iDRAC revienne en ligne.
• Démarrer les services (énumérés ci-dessus)

Le correctif automatique pour l’iSM signale sa réussite ou son échec en fonction de l’état « dcism » ou « dellism », lorsqu’il est interrogé à distance par VxVerify. Les serviteurs sont ensuite démarrés normalement.
L’état de l’iSM est de nouveau testé à l’aide du bilan de santé « dcism » directement sur ce nœud. Cela peut afficher un résultat différent, car il est interrogé quelques minutes après le correctif automatique. Si le résultat diffère, le test « dcism » doit être considéré comme le résultat le plus précis pour l’état de l’iSM.

Les résultats des commandes de démarrage des services se trouvent dans le vxv.log (voir l’article 66460 : Guide de dépannage VxVerify ).

2022-11-25 09:16:26-DEBUG    [ism_fix] node-04.lab.local iSM start: _
2022-11-25 09:18:26-DEBUG    [ism_fix] node-04.lab.local Platform service start: Starting Platform Service Daemon. Check hostd status. hostd is ready. Platform Service started.
2022-11-25 09:18:26-INFO     [ism_fix] Checking hosts for auto-fix success: ['node-04.lab.local']
2022-11-25 09:18:26-INFO     [ism_check] Querying DC or Dell ISM status on host
2022-11-25 09:18:26-INFO     [ism_check] iSM status on node-04.lab.local : iSM is active (running)

Si l’iSM ne peut pas être corrigé en suivant les étapes ci-dessus, alors que le bilan de santé peut s’exécuter automatiquement, consultez l’article : Dell VxRail : échec du bilan de santé du nœud avec le test « dcism » (en anglais)

Forcer l’utilisation du ism_fix (redémarrage de l’iDRAC)

La correction automatique s’exécute si « dcism » ou « dellism » ne sont pas en cours d’exécution, lorsqu’ils sont interrogés à partir de VxRM. Toutefois, cela ne s’applique que si le profil de test ou l’argument --fix active la correction automatique.
Sinon, un redémarrage de l’iDRAC peut être recommandé pour résoudre d’autres problèmes et permettre l’activation de la correction automatique sur un argument VxVerify. 
Il s’agit d’un moyen plus sûr de restaurer la communication de l’iDRAC qu’un redémarrage directement à partir de l’interface utilisateur de l’iDRAC, car VxVerify arrête l’iSM et les services associés avant de redémarrer l’iDRAC, puis rétablit les services dans l’ordre correct.
L’argument de remplacement peut demander que tous les nœuds aient un redémarrage échelonné de l’iDRAC ou qu’une liste de nœuds spécifiques soit disponible.

Pour appliquer le correctif aux nœuds (même si l’iSM fonctionne normalement), ce qui redémarrera l’iDRAC et les services associés :

• Vous pouvez soit appliquer la procédure de redémarrage de l’iSM et de l’iDRAC (« ism_fix »), à tous les nœuds :

./vxverify.sh -a ism_fix=all​​​

• Vous pouvez également appliquer « ism_fix » aux nœuds spécifiés dans une liste (sans espace) (les noms courts ou complets fonctionneront) :

python vxverify3.pyc <any_other_arguments> -a ism_fix=lab-08-esxi-01,lab-08-esxi-02

Les exemples ci-dessus illustrent les méthodes Shell et Python pour exécuter VxVerify, mais les arguments fonctionnent avec l’une ou l’autre syntaxe.
L’argument -a (--additional-params), permet de spécifier un nombre illimité de paires d’arguments, il doit donc venir après tous les autres arguments standard, tels que --verbose

Lorsque cet argument est utilisé, le remplacement est visible dans le vxv.log comme suit :

INFO [ism_fix] Running fix for Dell ISM on node: lab-08-esxi-01, due to override argument: lab-08-esxi-01.lab.local,lab-08-esxi-02.lab.local
or 
INFO [ism_fix] Running fix for Dell ISM on node: lab-08-esxi-02, due to override argument: all