ІДПА: PowerProtect DP Rapid Upgrade Checker повідомив про помилку попередньої перевірки оновлення прошивки
Summary: Пристрої серії PowerProtect Data Protection (DP) та IDPA: Система PowerProtect DP Rapid Upgrade Checker (RUCK) повідомила про помилку попередньої перевірки оновлення прошивки. Кешована відповідь зі службою подій Node Event Service вимкнена. Служба подій вузла перебуває в деградованому стані, модуль служби iDRAC наразі недоступний/активний. Перевірте статус сервісного модуля iDRAC/iDRAC. Це може бути викликано застарілою прошивкою карти NVMe PM1735 у слоті PCIe SSD Slot 4. ...
Symptoms
Перевірка швидкого оновлення PowerProtect Data Protection Rapid Upgrade Checker (RUCK) не працює з такою помилкою:
+-----------+--------------------+--------+-----------------------------------------------+-----------------------------------------------+ | Component | Check | Status | Message | Remedy | +-----------+--------------------+--------+-----------------------------------------------+-----------------------------------------------+ | ESXi | firmware_readiness | FAILED | Firmware pre-upgrade checks failed. [ xxx.xxx.| Use KB https://www.dell.com/support/kbdoc/191 | | | | | xxx.xxx ]: The cached response with Node Event| 627 to fix the issue. | | | | | Service is disabled. Node Event Service is in | | | | | | a degraded state,iDRAC Service Module is not | | | | | | available/active at this time. Check iDRAC S | | | | | | ervice Module/iDRAC status. | | +-----------+--------------------+--------+-----------------------------------------------+-----------------------------------------------+
[ERROR] Firmware pre-upgrade checks failed. [ <ESXi IP Address> ]: The cached response with Node Event Service is disabled. Node Event Service is in a degraded state, iDRAC Service Module is not available/active at this time. Check iDRAC Service Module/iDRAC status.
Апаратною моделлю PCIe SSD в слоті 4 є карта Dell Enterprise NVMe AGN MU AIC 1.6 ТБ (NVMe PM1735), а прошивка нижче версії 2.3.0.
Модель карти PCIe SSD та версію прошивки можна знайти на сайті iDRAC. Системні > фізичні диски > Пристрій PCIe - PCIe SSD у слоті 4 Диск 1
У цьому прикладі карта PCIe SSD – це PM1725b. Тому обхідний шлях у цьому випадку не застосовується:
Малюнок 1: Як знайти карту PCIe SSD в інтерфейсі користувача iDRAC.
У журналі звіту про технічну підтримку Dell iDRAC (TSR) карта PCIe SSD має назву «Dell Ent NVMe AGN MU AIC 1.6TB»:
Малюнок 2: З журналу TSR карта NVMe PM1735 має назву Dell Ent NVMe AGN MU AIC 1.6 TB.
Сервісний модуль iDRAC (iSM) відображається як запущений в інтерфейсі користувача iDRAC:
Малюнок 3: Статус iSM запущено.
Dell PT Agent та iSM працюють, і проблема не зникає після їх перезапуску:
[root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/DellPTAgent status DellPTAgent is running [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/DellPTAgent stop Stopping DellPTAgent... watchdog-DellPTAgent: Terminating watchdog process with PID 7447869 DellPTAgent stopped [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/DellPTAgent start Starting DellPTAgent... DellPTAgent started [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/DellPTAgent status DellPTAgent is running [root@ESXi:/opt/dell/DellPTAgent/tools] [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/dcism-netmon-watchdog status iSM is active (running) [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/dcism-netmon-watchdog stop Module dcism_module successfully unloaded [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/dcism-netmon-watchdog start [root@ESXi:/opt/dell/DellPTAgent/tools] /etc/init.d/dcism-netmon-watchdog status iSM is active (running) [root@ESXi:/opt/dell/DellPTAgent/tools]
Cause
З ACM видно, що кеш iDRAC деградував:
ACM:/tmp # dpacli -agentinfo
{"Agent Info": [{"ESXiHost-xxx.xxxx.xxx.xxx": {
"ptagentversion": "2.4.1-3",
"uptime": "54 seconds ( 54 seconds )",
"ism_version": "3.6.0",
"system_uuid": "618axxxx-xxxx-xxxx-xxxx-xxxxxxxxdd70",
"process_id": "7440642",
"host_epoch_time": "1646617738.156490 (secs.usecs)",
"model": "DP4400",
"name": "<ESXi_hostname>",
"mfr": "Dell Inc.",
"domain": "<ESXi FQDN>",
"servicetag": "XXXXXXX",
"os": "VMWare ESXi",
"os_version": "6.7.0 build-17700523",
"rest_endpoints": "https://127.0.0.1:8086,https://192.168.100.101:8086",
"api_blocking_enabled": "false",
"TPM Present": "false",
"MarvellLibraryVersion": "5.0.13.1109",
"libstorelib.so": "07.07",
"libstorelibir-3.so": "15.03-0",
"libstorelibit.so": "07.05",
"idrac_pass_thru_ip": "169.254.0.1",
"idrac_ethernet_ip": "xx.xxx.xxx.x",
"host_pass_thru_ip": "169.254.0.2",
"default_server_cert": "true",
"status": {
"idraccache": "Degraded",
"idracConnection": "OK",
"iSM": "N/A",
"agent": "Degraded"
}
}}]}
ACM:/tmp #
І така ж інформація видно при витягуванні з ESXi:
[root@ESXi:~] /opt/dell/DellPTAgent/tools/pta_call get agent/info
Request sent to DellPTAgent @ https://192.168.100.101:8086
{
"TPM Present": "false",
"MarvellLibraryVersion": "5.0.13.1109",
"uptime": "344 seconds ( 5 minutes 44 seconds )",
"system_uuid": "618axxxx-xxxx-xxxx-xxxx-xxxxxxxxdd70",
"host_pass_thru_ip": "169.254.0.2",
"servicetag": "XXXXXXX",
"domain": "<ESXi FQDN>",
"default_server_cert": "true",
"libstorelibir-3.so": "15.03-0",
"model": "DP4400",
"idrac_ethernet_ip": "xxx.xxx.xxx.xxx",
"os": "VMWare ESXi",
"rest_endpoints": "https://127.0.0.1:8086,https://192.168.100.101:8086",
"mfr": "Dell Inc.",
"api_blocking_enabled": "false",
"libstorelib.so": "07.07",
"ptagentversion": "2.4.1-3",
"ism_version": "3.6.0",
"host_epoch_time": "1646618523.10088 (secs.usecs)",
"os_version": "6.7.0 build-17700523",
"libstorelibit.so": "07.05",
"idrac_pass_thru_ip": "169.254.0.1",
"name": "<ESXi_hostname>",
"process_id": "7441193",
"status": {
"idraccache": "Degraded",
"idracConnection": "OK",
"agent": "Degraded",
"iSM": "N/A"
}
}
Response: status: 200 [OK], size: 1067 bytes, latency: 0.145 seconds.
[root@ESXi:~]
У цьому випадку агенту PT не вдалося знайти компонент 'PhysicalDisk' у hwInventory тому що він має проблеми із запитом даних із карти NVMe PM1735 у слоті 4.
З pta_debug.log ESXi /scratch/log/відображається повідомлення про помилку:
2022/03/07 04:51:03[UTC] [7459005:193227584] WARN - WSManClient::isValidResponse: Http request to host: 169.254.0.1, failed with status code: -5
2022/03/07 04:51:03[UTC] [7459005:193227584] WARN - getComponentFromInventory: Cannot find component 'PhysicalDisk' in hwInventory:
{
"Message": "Read timed out!",
"ReturnValue": -5
}
2022/03/07 04:52:57[UTC] [7459005:189000512] WARN - NvmeDiscoveredDevice::setIntAttrFromDescriptor: Cannot convert string <ie> to int.
2022/03/07 04:52:57[UTC] [7459005:189000512] WARN - NvmeDiscoveredDevice::setIntAttrFromDescriptor: Failed to read <bay> from <PCIe Slot 4>
Тому пропонується оновити прошивку NVMe 1735 до версії 2.3.0, яка входить до комплекту «PowerProtect Data Protection Appliance-IDPA Firmware Gen14 December 2021». Необхідний файл прошивки: Express-Flash-PCIe-SSD_Firmware_RP8RC_WN64_2.3.0_A03.EXE
Resolution
Щоб оновити прошивку NVMe 1735 до версії 2.3.0:
-
Завантажте прошивку PowerProtect Data Protection Series Appliance-IDPA Gen14 December 2021» з веб-версії підтримки Dell , а потім розпакуйте потрібний файл прошивки
Express-Flash-PCIe-SSD_Firmware_RP8RC_WN64_2.3.0_A03.EXE. -
Вимкніть інтегрований пристрій захисту даних у веб-інтерфейсі користувача ACM.
-
Переконавшись, що живлення ESXi вимкнено, увійдіть у інтерфейс користувача iDRAC, а потім вручну завантажте файл прошивки в iDRAC:
Малюнок 4: Як завантажити прошивку в інтерфейс користувача iDRAC -
Натисніть кнопку
Express-Flash-PCIe-SSD_Firmware_RP8RC_WN64_2.3.0_A03.EXEі натисніть Install and Reboot (Встановити і Перезавантажити). Потім iDRAC встановлює прошивку і перезавантажується.
Малюнок 5: Як застосовувати прошивку -
Після перезавантаження версію прошивки можна перевірити в iDRAC >System > Inventory >Firmware Inventory:
Малюнок 6: Як переглянути мікропрограму з інвентаризації прошивки - Моніторинг запуску DP4400 і після успішного запуску всіх віртуальних машин.
- Запустіть команду
dpacliзнову в ACM і підтвердьте, щоidraccacheі статус агента повинен змінитися на OK:
ACM:~ # dpacli -agentinfo
{"Agent Info": [{"ESXiHost-xxx.xxxx.xxx.xxx": {
"ptagentversion": "2.4.1-3",
"uptime": "595 seconds ( 9 minutes 55 seconds )",
"ism_version": "3.6.0",
"system_uuid": "618axxxx-xxxx-xxxx-xxxx-xxxxxxxxdd70",
"process_id": "2100391",
"host_epoch_time": "1646800495.522825 (secs.usecs)",
"model": "DP4400",
"name": "<ESXi_hostname>",
"mfr": "Dell Inc.",
"domain": "<ESXi FQDN>",
"servicetag": "XXXXXXX",
"os": "VMWare ESXi",
"os_version": "6.7.0 build-17700523",
"rest_endpoints": "https://127.0.0.1:8086,https://192.168.100.101:8086",
"api_blocking_enabled": "false",
"TPM Present": "false",
"MarvellLibraryVersion": "5.0.13.1109",
"libstorelib.so": "07.07",
"libstorelibir-3.so": "15.03-0",
"libstorelibit.so": "07.05",
"idrac_pass_thru_ip": "169.254.0.1",
"idrac_ethernet_ip": "xxx.xxx.xxx.xxx",
"host_pass_thru_ip": "169.254.0.2",
"default_server_cert": "true",
"status": {
"idraccache": "OK",
"idracConnection": "OK",
"iSM": "N/A",
"agent": "OK"
}
}}]}
ACM:~ #
-
Знову запустіть інструмент перевірки працездатності RUCK, щоб підтвердити, що проблему вирішено.
Additional Information
Пакет прошивки "PowerProtect DP Series Appliance-IDPA Firmware Gen14 December 2021" можна завантажити з веб-сторінки підтримки Dell:
Малюнок 7: Прошивку «Прошивка PowerProtect серії DP Appliance-IDPA 14 грудня 2021 року» доступна на веб-сторінці підтримки Dell.
Щоб витягнути мікропрограму з IDPA_Firmware_Gen14_Update_Dec_2021_Package.zip, розпакуйте всі файли пакетів: "dpafw-2.312.rpm" > "dpafw-2.312-0.noarch.cpio" > "IDPA-2.312-2.312.tar.gz" > "IDPA-2.312-2.312.tar",> то файл прошивки можна знайти під DUPS > NVME:
Малюнок 8: Приклад видобування мікропрограми NVMe PM1735 із пакета мікропрограм "PowerProtect DP Series Appliance-IDPA Firmware Gen14 December 2021".