Dell VxRail: диагностика системы «ism_fix» или «rac_fix» для исправления проблем с iSM и iDRAC

VxVerify в VxRail Manager может попытаться исправить ошибки iDRAC и iSM, перезапустив iDRAC и связанные службы узлов VxRail.
Перед выполнением тестов непосредственно на каждом узле с использованием VxVerify minion VxVerify VxVerify в VxRail Manager сначала запрашивает Dell iSM (dcism или dellism).
В противном случае, если при выполнении диагностики системы были обнаружены проблемы с iDRAC, будет предпринята попытка выполнить это автоматическое исправление перед повторной попыткой диагностики системы.
Если параметр Autofix включен (либо тестовым профилем, либо с аргументом --fix), попытка исправить это занимает около 10 минут.

Результат этой автокоррекции может быть одним из следующих:

Результат теста	Код результата	Интерпретация результатов
Успех	0	Исправление состояния iSM было либо не требуется, либо не включено в профиле теста.
Warning	1.	После перезапуска ISM Dell состояние работало правильно.
Сбой	2.	Dell iSM и iDRAC были перезапущены, но после этого iSM по-прежнему работал неправильно.
Критические	3.	Этот тест не имеет критического результата.

Это исправление также может быть активировано после выполнения проверок VxVerify, если запросы iDRAC завершаются сбоем. В этом случае minion VxVerify будет запущен второй раз после исправления. В ходе повторных тестов проверяется, устранены ли проблемы с iSM и iDRAC.
Для удобства чтения каждый пройденный тест не указан в сводном отчете.
Пример выходных данных диагностики системы показан ниже:

#========================#======#=========#====================================================================#==============#
|  Hostname / Category   |Status  Dell_KB |  Warnings or Failures, unless tests Passed                         ; Product S.N. |
#========================#======#=========#====================================================================#==============#
| _cluster               | Warning 205179 | ism_fix: iSM and iDRAC fixed for node1.lab.local, node4.lab.local                .|
|   ``                   | Warning 205179 | rac_fix: iSM and iDRAC fixed for node2.lab.local                                  |

Операция «ism_fix» выполняется до появления служебных серверов, а команды исправления выполняются удаленно из VxRM с помощью SSH. Пример.

Running VxVerify 3.21.108, pre-upgrade healthcheck on VxRail 7.0.372.
In case of program errors consult article https://www.dell.com/support/kbdoc/000066460.
Step 1: Fixing iSM issue, prior to running health-checks, on node: lab-08-esxi-01.lab.local
Step 1: Fixing iSM issue, prior to running health-checks, on node: lab-08-esxi-02.lab.local
Step 1: Stopping ISM and platform service on lab-08-esxi-01.lab.local
Step 1: Stopping ISM and platform service on lab-08-esxi-02.lab.local
Step 1: Pausing for 266 seconds more after iDRAC restarted on ['lab-08-esxi-01.lab.local', 'lab-08-esxi-02.lab.local'] 
... 
Step 1: Starting iSM on lab-08-esxi-01.lab.local
Step 1: Starting iSM on lab-08-esxi-02.lab.local
Step 1: Pausing for 84 seconds more after Dell iSM started on ['lab-08-esxi-01.lab.local', 'lab-08-esxi-02.lab.local']
...
Step 1: Starting Platform service on lab-08-esxi-01.lab.local
Step 1: Starting Platform service on lab-08-esxi-02.lab.local

Автоисправление также можно увидеть в vxv.log до событий minion_run:

2022-11-11 09:51:26-INFO     [ism_fix] Fixing phase 1 Dell ISM on node on lab-08-esxi-01.lab.local
2022-11-11 09:51:31-INFO     [ism_fix] lab-08-esxi-01.lab.local Auto-fix continuing with vSAN objecthealth: green
2022-11-11 09:51:32-INFO     [ism_fix] iDRAC restarting on lab-08-esxi-01.lab.local: _
...
2022-11-11 09:58:58-INFO     [ism_fix] Checking hosts for auto-fix success: ['lab-08-esxi-01.lab.local', 'lab-08-esxi-02.lab.local']

Чтобы исправить, что dcism не выполняется, выполните следующие действия с помощью VxVerify, если эта функция автоматического восстановления включена в профиле теста:

• Стоп-сервисы: sfcbd, dcism, PTAgent (при наличии) и Platform-service
• Перезапустите iDRAC и подождите 5 минут, пока iDRAC не вернется в оперативный режим
• Запуск служб (указан выше)

Функция автоматического исправления для iSM сообщает об успешном или неудачном выполнении в зависимости от состояния «dcism» или «dellism» при удаленном опросе VxVerify. Затем служебные серверы запускаются в обычном режиме.
Состояние iSM повторно проверяется с помощью диагностики системы dcism непосредственно на этом узле. В этом сообщении может быть указан другой результат, так как он опрашивается через несколько минут после автоматического исправления. Если результат отличается, тест «dcism» следует рассматривать как более точный результат для состояния iSM.

Результаты выполнения команд для запуска служб можно найти в vxv.log (см. артикул 66460: Руководство по поиску и устранению неисправностей VxVerify ).

2022-11-25 09:16:26-DEBUG    [ism_fix] node-04.lab.local iSM start: _
2022-11-25 09:18:26-DEBUG    [ism_fix] node-04.lab.local Platform service start: Starting Platform Service Daemon. Check hostd status. hostd is ready. Platform Service started.
2022-11-25 09:18:26-INFO     [ism_fix] Checking hosts for auto-fix success: ['node-04.lab.local']
2022-11-25 09:18:26-INFO     [ism_check] Querying DC or Dell ISM status on host
2022-11-25 09:18:26-INFO     [ism_check] iSM status on node-04.lab.local : iSM is active (running)

Если не удается исправить iSM с помощью указанных выше действий, и диагностика системы может быть выполнена автоматически, см. статью: Dell VxRail. Сбой диагностики системы узла для теста «dcism»

Принудительное использование ism_fix (перезапуск iDRAC)

Автоисправление запускается, если «dcism» или «dellism» не запущены, когда они запрашиваются из VxRM. Однако это применимо только в том случае, если параметр test profile или --fix включает функцию автоматического исправления.
Кроме того, для устранения других проблем может быть рекомендован перезапуск iDRAC, чтобы автоматически исправить можно было включить с помощью аргумента VxVerify. 
Это более безопасный способ восстановления связи с iDRAC, чем перезапуск непосредственно из пользовательского интерфейса iDRAC, так как VxVerify выключит iSM и связанные службы перед перезапуском iDRAC, а затем возобновит работу служб в правильном порядке.
Аргумент переопределения может запрашивать перезапуск iDRAC на всех узлах в шахматном порядке или список конкретных узлов.

Чтобы применить исправление к узлам (даже если iSM работает нормально), что приведет к перезапуску iDRAC и связанных служб, выполните следующие действия.

• Либо принудительно примените процедуру перезапуска iSM и iDRAC ('ism_fix') ко всем узлам:

./vxverify.sh -a ism_fix=all​​​

• Или примените 'ism_fix' к указанным узлам в списке (без пробелов) (подойдут как короткие, так и полные имена):

python vxverify3.pyc <any_other_arguments> -a ism_fix=lab-08-esxi-01,lab-08-esxi-02

В приведенных выше примерах показаны методы оболочки и Python для запуска VxVerify, но аргументы будут работать с любым синтаксисом.
Аргумент -a (--additional-params) позволяет указывать неограниченное количество пар аргументов, поэтому он должен идти после всех других стандартных аргументов, таких как --verbose

При использовании этого аргумента переопределение можно увидеть в vxv.log следующим образом:

INFO [ism_fix] Running fix for Dell ISM on node: lab-08-esxi-01, due to override argument: lab-08-esxi-01.lab.local,lab-08-esxi-02.lab.local
or 
INFO [ism_fix] Running fix for Dell ISM on node: lab-08-esxi-02, due to override argument: all