PowerFlex: Процедура оновлення прошивки для запобігання проблемі втрати заряду батарей NVDIMM на власних вузлах PowerFlex (R650, R750)

Опис випуску

Системи Dell PowerFlex 15G підтримують конфігурацію, що містить NVDIMM, що забезпечують постійну пам'ять, необхідну для функції Fine Granularity. Ця процедура містить кроки для оновлення версій iDRAC та CPLD до наступного:

• iDRAC 7.10.50.201
• CPLD 1.1.1

Місце завантаження

• Власний вузол PowerFlex: https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (пошук iDRAC та CPLD)

Нова версія iDRAC перевіряє напругу батарейної комірки NVDIMM під час увімкнення. Він фіксує помилку, якщо напруга комірки нижча за визначений поріг. Він фіксує подію з певною серйозністю інформації, коли батарея NVDIMM переходить між станами ГОТОВИЙ і ВВІМКНЕНИЙ.  

Новий дизайн CPLD відстежує стан увімкну батареї NVDIMM і повертається до стану готовності через певний час.

• ПРИМІТКА: Внаслідок наведеної вище проблеми існує ймовірність, що батарея NVDIMM у вузлах може бути пошкоджена і потребує заміни. Ця процедура враховує таку можливість.
• ПРИМІТКА: Це оновлення iDRAC і CPLD має відповідати певній послідовності. Послідовність вимагає спочатку оновлення iDRAC, а потім оновлення CPLD. Це допомагає визначити, чи вийшла з ладу батарея.

Огляд процедури

Щоб повністю вирішити проблему, ми повинні зробити наступне:

• Визначте, які батареї NVDIMM у системі не мають достатнього заряду.
  • Оскільки цей конкретний стан не повідомляється, нам потрібно оновити iDRAC до вказаної вище версії (або вище). Ця нова версія iDRAC повідомлятиме про BAT0021 або BAT0017 помилки, якщо виявляє розряджену батарею NVDIMM.
  • Оновіть iDRAC до версії, вказаної на всіх вузлах системи
• Запитуйте заміну батарей NVDIMM для кожного, що зазначено як розряджене та несправне.
  • Не продовжуйте оновлення CPLD на вузлах із несправними NVDIMM батареями, поки не заміните несправну батарею.
  • Замінні батареї можуть бути не повністю заряджені і можуть потребувати до 75 хвилин для повного заряду після встановлення.
  • Для вузлів із хорошими батареями NVDIMM можна перейти до оновлення CPLD FW.
• Після заміни несправних батарей продовжуйте оновлювати прошивку CPLD за допомогою iDRAC.
  • Вузол має бути переведений у режим обслуговування перед завершенням оновлення
  • Вузол перезавантажується і виконує оновлення CPLD.
• Після перезавантаження вузла після оновлення CPLD виведіть його з режиму обслуговування.
• Після того, як вузол виходить з технічного обслуговування, починається операція з перебудови та перебалансування.  
  • ПРИМІТКА: Дочекайтеся завершення Rebuild і Rebalance, перш ніж оновлювати наступний вузол кластера.

Передумови

• Мінімальна версія BIOS для цього оновлення CPLD — BIOS версія 1.8.2.  (рекомендується 1.10.2 або вище)
• Під час процедури заміни компонента клієнт відповідає за такі завдання:
  • Міграція будь-яких не-PowerFlex додатків на вузлі на інший сервер.
  • Вимкніть сервер плавно, дотримуючись відповідної процедури вимкнення для операційної системи, що використовується.
• Переконайтеся, що доступна така інформація:
  • Тип вузла PowerFlex: Фізичний вузол або вузол HCI (Vmware)
  • Діапазон IP-адрес, підмережа та IP-адреса шлюзу кластера PowerFlex та його вузлів
  • Діапазон IP-адрес, підмережа та шлюзні IP-адреси порту iDRAC на вузлі (визначені під час початкового процесу розгортання)
  • Всі паролі root та адміністратор, встановлені на сервері та iDRAC
  • IP-адреса vCenter та облікові дані для входу, якщо конфігурація HCI

Детальна процедура

Крок 1: Оновіть iDRAC на всіх вузлах кластера PowerFlex.

iDRAC на цих вузлах можна оновлювати без перезавантаження вузлів. Процедура оновлення iDRAC наступна.
Переконайтеся, що образ прошивки завантажений у певне місце локальної системи. Для цієї процедури потрібна версія прошивки iDRAC, а місце завантаження вказане на першій сторінці процедури.
ПРИМІТКА: Переконайтеся, що прошивка iDRAC оновлена на всіх вузлах кластера перед переходом до наступного етапу процедури...

1. Увійдіть у веб-інтерфейс iDRAC9.
2. Перейдіть у Технічне обслуговування, потім натисніть Оновлення системи. Відображається сторінка Ручного оновлення.
3. У вкладці «Ручне оновлення» виберіть «Локальне» як тип локації.

Рисунок 1: Екран оновлення iDRAC9

4. Натисніть «Вибрати файл»,виберіть файл образу прошивки для потрібного компонента, а потім натисніть «Завантажити».
5. Після завершення завантаження розділ Оновлення Деталей відображає кожен файл прошивки, завантажений до iDRAC, та його статус. Якщо файл образу прошивки дійсний і був успішно завантажений, стовпець Contents відображає іконку (+) поруч із назвою файлу образу прошивки. Розгорніть назву, щоб переглянути інформацію про назву пристрою, поточну та доступну версію прошивки.
6. Виберіть необхідний файл прошивки iDRAC.
   • Оновлення прошивки iDRAC не потребує перезавантаження хост-системи. Натисніть «Встановити ініціювати оновлення».

7. Щоб відобразити сторінку черги завдань, натисніть Черга завдань. Використовуйте цю сторінку, щоб переглядати та керувати очікуваними оновленнями прошивки. Ви можете натиснути OK, щоб оновити поточну сторінку і переглянути статус оновлення прошивки.
8. Контролер життєвого циклу перезавантажиться, і підключення до iDRAC скидається. Будь ласка, зачекайте кілька хвилин, щоб увійти в iDRAC.

Примітка: Якщо виявлено збій з'єднання, дивіться HTTP та HTTPS FQDN Connection Failure KB - https://www.dell.com/support/kbdoc/en-us/000193619

Крок 2: Перевірте, чи не несправна батарея NVDIMM у вузла.

iDRAC 7.10.50.201 і вище містять код, який перевіряє заряд у батарейних елементах NVDIMM кожні 5 секунд і повідомляє про таку помилку в журналі подій системи iDRAC (SEL), якщо напруга комірки нижча за поріг 1,5 В.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Якщо одне з наведених вище повідомлень повідомляється, це означає, що у вузла несправна батарея NVDIMM, яку потрібно замінити.

• ПРИМІТКА: Будь ласка, не оновлюйте CPLD на цьому вузлі через несправну батарею NVDIMM. Перезавантаження під час оновлення CPLD зависає і не активує NVDIMM через несправність батареї.
• ПРИМІТКА: Будь ласка, замовте заміну батареї NVDIMM.

 Якщо iDRAC не повідомляє про проблему, батарея на цьому вузлі справна і не потребує заміни. Оновлення CPLD можна виконати на цьому вузлі, і ви зможете перейти до наступного етапу.

• ПРИМІТКА. PowerFlex Engineered Systems повідомляє про попередження про стан вузла для будь-якого вузла, що виражає помилку BAT0021.  Ця поведінка може використовуватися для виявлення несправних батарей NVDIMM після оновлення iDRAC
  

• ПРИМІТКА. Якщо з'являється подія BAT0017 або BAT0021, а потім третя подія BAT0016, то замінювати батарею НЕ потрібно!
  Інженери NVDIMM порадили у разі цієї третьої події (BAT0016) замінити батарею не потрібно.
  BAT0016    The NVDIMM battery is operating normally.
  

Якщо всі три сповіщення про батарею (BAT0021, BAT0020, BAT0016) з'являються послідовно менш ніж за хвилину, це слід вважати хибною тривогою, і батарея вважається здоровою і не повинна замінюватися. 

Крок 3: Підготуйте вузол — переведіть SDS у режим обслуговування.

• Увійдіть у режим обслуговування, дотримуючись відповідної процедури в розділі нижче під PowerFlex версії 4.x або PowerFlex версії 3.x
• Виберіть правильний режим обслуговування PowerFlex
  • Якщо у вузла немає несправної батареї NVDIMM, рекомендується режим миттєвого обслуговування (IMM) для оновлення CPLD. 
    • Пропустіть кроки 4 і 5 (заміна батареї) і переходьте до оновлення BIOS (крок 6) та CPLD (крок 7)
  • Якщо вузол має несправну батарею NVDIMM, його потрібно замінити перед оновленням CPLD.
    • У такому випадку вузол слід перевести в режим захищеного обслуговування (PMM), щоб врахувати час, який заміна батареї заряджається.
• ПРИМІТКА: Ця процедура спричиняє запуск процесу ребалансування, тому рекомендується планувати її з урахуванням запланованого періоду технічного обслуговування.
• ПРИМІТКА: Якщо ви використовуєте PMM до заміни батареї NVDIMM (кроки 4-5), ви можете залишатися в режимі обслуговування PMM для оновлення BIOS та CPLD (кроки 6-7).

PowerFlex версія 4.x, див. «Керівництво з адміністрування Dell Powerflex 4.x».

• Якщо вузол виконує роль основного MDM, виконайте такі кроки для переходу у власність MDM:
  • Переналаштування ролей MDM
• Якщо SDR налаштовано на вузлі, переведіть SDR у режим обслуговування
  • Введіть SDR у режим обслуговування
• Переведіть сервер даних зберігання (SDS) у режим обслуговування
  • Переведіть сервер даних зберігання (SDS) у режим обслуговування
• Якщо це вузол HCI (Vmware), переведіть ESXi у режим обслуговування після вищезазначених кроків
  • Встановіть хост у режим обслуговування

PowerFlex версії 3.x, див. посібник «Оновлення Dell PowerFlex до v3.6.x».

• Введення вузла в режим обслуговування та вимкнення
  • Плавно вимкніть або перезавантажте вузол

Крок 4: Замініть батарею NVDIMM.

Зверніться до документації Solve для вузлів PowerFlex, доступної за посиланням нижче, для отримання інструкцій щодо заміни батареї NVDIMM.

SolVe (dell.com)

Завантажте документацію SolVe для "NVDIMM battery" для відповідного типу вузла R650/R750 на 15G.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• ПРИМІТКА: Будь ласка, пропустіть наступні розділи документації «Заміна батареї NVDIMM».

Remove the storage devices from PowerFlex.

Причини, чому пристрої зберігання не слід видаляти:

• Видалення накопичувальних пристроїв під час цієї процедури призведе до непотрібного перебудови всього вузла, значно подовжуючи термін обслуговування.
• Оскільки це заплановане перезавантаження, а не випадок втрати живлення, підсистема NVDIMM не покладається на живлення від батарей для завершення операції збереження. Живлення надходить від блоків живлення, навіть коли батареї несправні.
• Перезавантаження призведе до повідомлення про помилку з батареєю NVDIMM під час живлення. Але дані в NVDIMM збережені, і втрати даних не відбуваються.

Крок 5: Чекайте, поки замінені батарейки заряджаться

Якщо ви замінили батарею NVDIMM на певному вузлі, будь ласка, увімкніть систему. Система не завантажується повністю. BIOS припинить очікування заряджання акумуляторів, оскільки заміна батареї NVDIMM може не мати достатнього заряду для захисту даних у NVDIMM. Акумулятори можуть заряджатися приблизно за 60-75 хвилин. Можна спробувати перезавантажити систему через 60-75 хвилин, і вузол має увімкнутися та активувати підсистему NVDIMM.

• ПРИМІТКА: Плануйте вікно обслуговування, виходячи з 60-75 хвилин для кожного вузла, який потребує заміни батареї.

Крок 6: За потреби оновіть BIOS

Версія CPLD, яка виправляє основну проблему в цій базі знати, вимагає мінімального BIOS 1.8.2. (рекомендується BIOS 1.10.2 або вище)
Розгортання власних вузлів PowerFlex вимагає конкретних версій драйверів, BIOS та прошивки, які перевірені та кваліфіковані Dell.
Якщо поточна версія BIOS нижча за 1.8.2, оновіть прошивку до останньої версії, опублікованої в PowerFlex Custom Node Driver and Firmware Matrix.

1. Переконайтеся, що вузол перебуває в режимі обслуговування. Якщо ні, дивіться «Крок 3» для інструкцій.
2. Для завантаження версії BIOS дивіться розділ «Місця завантаження» цієї бази знань
   • Примітка: Натисніть «Старі версії», щоб обрати версію, яка відповідає матриці, яку таргетують.
3. Продовжуйте оновлення BIOS до версії 1.8.2 або новішої версії. 

• Процедура оновлення BIOS Dell PowerEdge для 15G:  https://www.dell.com/support/kbdoc/en-us/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Крок 7: Оновлення CPLD до версії 1.1.1

Передумова:

• Переконайтеся, що SDS перебуває в режимі обслуговування PowerFlex. Для вузлів ESXi переконайтеся, що ESXi також перебуває в режимі обслуговування. Якщо ні, дивіться «Крок 3» цієї статті для інструкцій.
• Переконайтеся, що образ прошивки CPLD доступний на вашій локальній системі. Щоб завантажити відповідну версію CPLD, дивіться розділ «Місця завантаження» цієї статті. 
  • Оновлення CPLD запускає перезавантаження вузла.

Примітка: 

• Виконайте оновлення прошивки CPLD після оновлення iDRAC.
• Замініть батарею NVDIMM перед оновленням прошивки CPLD.

Процедура оновлення CPLD виглядає так.

1. Увійдіть у веб-інтерфейс iDRAC9.
2. Перейдіть у Технічне обслуговування, потім натисніть Оновлення системи. Відображається сторінка Ручного оновлення.
3. У вкладці «Ручне оновлення» виберіть «Локальне» як тип локації.Рисунок 1: Екран оновлення iDRAC9
4. Натисніть «Вибрати файл»,виберіть файл образу прошивки для потрібного компонента, а потім натисніть «Завантажити».
5. Після завершення завантаження розділ Оновлення Деталей відображає кожен файл прошивки, завантажений до iDRAC, та його статус. Якщо файл образу прошивки дійсний і був успішно завантажений, стовпець Contents відображає іконку (+) поруч із назвою файлу образу прошивки. Розгорніть назву, щоб переглянути інформацію про назву пристрою, поточну та доступну версію прошивки.
6. Виберіть необхідний CPLD-файл прошивки.
   • Оновлення прошивки CPLD вимагатиме перезавантаження хост-системи. Натисніть «Встановити», щоб ініціювати оновлення.

7. Щоб відобразити сторінку черги завдань, натисніть Черга завдань. Використовуйте цю сторінку, щоб переглядати та керувати очікуваними оновленнями прошивки. Ви можете натиснути OK, щоб оновити поточну сторінку і переглянути статус оновлення прошивки.

Крок 8: Виведіть вузол з режиму обслуговування.

PowerFlex версія 4.x, див. 'Dell Powerflex 4.x Administration Guide'.
Передумови: Переконайтеся, що у вас є IP-адреса та облікові дані для входу адміністратора для доступу до PowerFlex Manager. За потреби клієнт може надати вам необхідну інформацію.

1. Увімкніть вузол, якщо ви ще не зробили цього після оновлення CPLD. Операційна система завантажується, і всі процеси PowerFlex запускаються автоматично.

2. Після завантаження вузла з браузера увійдіть назад у PowerFlex Manager як адміністратор.

3. У меню натисніть «Моніторинг > сповіщень » і переконайтеся, що повідомлення про розрив не з'являється для SDS, SDC-хоста, або для SDR чи SDT, якщо це застосовно.

4. Для вузла ESXi виконайте наступне:
   1. З веб-клієнта vSphere переконайтеся, що вузол відображається як увімкнений і підключений як у режимі хостів і кластерів.
   2. Клацніть правою кнопкою миші по вузлу та виберіть режим виходу з обслуговування.
   3. Розгорніть сервер і виберіть Storage VM (SVM). Якщо SVM не вмикається автоматично, вмикайте його вручну.
5. Вихід з режиму обслуговування SDS: 
   • Вихід із сервера даних зберігання з режиму обслуговування
6. Якщо SDR налаштовано на вузлі, виведіть SDR з режиму обслуговування.
   • Вийди з режиму обслуговування SDR.

PowerFlex версії 3.x, дивіться посібник «Оновити Dell PowerFlex до v3.6.x».
Передумови: Переконайтеся, що користувач має такі облікові дані (доступні у адміністратора): IP-адреса або ім'я хоста презентації PowerFlex, використовується для доступу до графічного інтерфейсу PowerFlex

1. Увімкніть вузол, якщо це ще не зроблено після оновлення CPLD. Операційна система запускається, і всі процеси PowerFlex запускаються автоматично
2. Вихід з режиму обслуговування вузла: Повернути вузол у робоче положення
3. Якщо SDR налаштовано на вузлі, виведіть SDR з режиму обслуговування.

Крок 9: Продовжуйте з наступним вузлом у кластері

Послідовність кроків 2–8 має бути виконана для всіх вузлів кластера по одному.  Після оновлення всіх вузлів процес завершується