PowerFlex. Процедура обновления микропрограммы для устранения проблемы потери заряда аккумуляторов NVDIMM на пользовательских узлах PowerFlex (R650, R750)

Описание проблемы

Системы Dell PowerFlex 15G поддерживают конфигурацию, содержащую модули NVDIMM, которые обеспечивают энергонезависимую память, необходимую для работы функции высокой детализации. Эта процедура содержит действия по обновлению версий iDRAC и CPLD до указанных ниже.

• iDRAC 7.10.50.201
• CPLD 1.1.1

Адрес загрузки

• Пользовательский узел PowerFlex: https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (выполните поиск «iDRAC & CPLD»)

Новая версия iDRAC проверяет напряжение элементов аккумулятора NVDIMM в состоянии включения. Если напряжение элементов ниже определенного порогового значения, регистрируется ошибка. Если аккумулятор NVDIMM переключается между состояниями «READY» и «ENABLED», регистрируется событие с уровнем серьезности «Info».  

Новая конструкция CPLD отслеживает состояние аккумулятора NVDIMM «ENABLED» и возвращается в состояние «READY» через определенное время.

• ПРИМЕЧАНИЕ. В результате указанной выше проблемы существует вероятность того, что аккумулятор NVDIMM может быть поврежден и нуждается в замене. Эта процедура учитывает данную возможность.
• ПРИМЕЧАНИЕ. Это обновление iDRAC и CPLD должно выполняться в определенной последовательности. В соответствии с этой последовательностью сначала требуется выполнить модернизацию iDRAC, а затем обновление CPLD. Это помогает определить, исправен ли аккумулятор.

Обзор процедуры

Чтобы полностью устранить проблему, необходимо выполнить следующие действия.

• Определите, какие аккумуляторы NVDIMM в системе недостаточно заряжены.
  • Поскольку об этом конкретном состоянии не сообщается, необходимо обновить iDRAC до указанной выше версии (или более поздней). Эта новая версия iDRAC сообщает об ошибке BAT0021 или BAT0017, если обнаруживает разряженный аккумулятор NVDIMM.
  • Обновите iDRAC до версии, указанной на всех узлах системы.
• Запросите аккумуляторы NVDIMM для замены каждого аккумулятора, о котором сообщается, что он разряжен и неисправен.
  • Не выполняйте обновление CPLD на узлах с неисправными аккумуляторами NVDIMM до замены неисправного аккумулятора.
  • Сменные аккумуляторы могут быть доставлены не полностью заряженными. Для достижения полного уровня заряда после установки может потребоваться до 75 минут.
  • Для узлов с исправными аккумуляторами NVDIMM можно продолжить обновление микропрограммы CPLD.
• После замены неисправных аккумуляторов перейдите к обновлению микропрограммы CPLD с помощью iDRAC.
  • Перед выполнением обновления узел необходимо перевести в режим «Maintenance Mode».
  • Узел перезагрузится, а затем выполнит обновление CPLD.
• Когда узел перезагрузится после обновления CPLD, выведите узел из режима «Maintenance Mode».
• После выхода узла из режима «Maintenance Mode» будет запущена операция восстановления и повторной балансировки.  
  • ПРИМЕЧАНИЕ. Дождитесь завершения восстановления и повторной балансировки, прежде чем перейти к обновлению следующего узла в кластере.

Предварительные условия

• Минимальная версия BIOS для этого обновления CPLD — BIOS версии 1.8.2  (рекомендуется версия 1.10.2 или более поздняя).
• Во время процедуры замены компонентов заказчик обязан выполнить следующие задачи.
  • Миграция всех не относящихся к PowerFlex приложений на узле на другой сервер.
  • Корректное выключение сервера с помощью соответствующей процедуры завершения работы используемой операционной системы.
• Убедитесь в доступности следующих сведений.
  • Вид узла PowerFlex: физический узел или узел HCI (VMware)
  • Диапазон IP-адресов, подсеть и IP-адрес шлюза для кластера PowerFlex и его узлов
  • Диапазон IP-адресов, подсеть и IP-адреса шлюзов для порта iDRAC на узле (определяются в процессе первоначального развертывания)
  • Все пароли root и администраторов, заданные на сервере и в iDRAC
  • IP-адрес vCenter и учетные данные для входа (при использовании конфигурации HCI)

Подробные сведения о процедуре

Шаг 1. Обновите iDRAC на всех узлах кластера PowerFlex.

IDRAC на этих узлах можно обновлять без перезагрузки узлов. Процедура обновления iDRAC выполняется следующим образом.
Скачайте образ микропрограммы в определенное расположение в локальной системе. Для этой процедуры требуется версия микропрограммы для iDRAC, а расположение для скачивания указано на первой странице описания процедуры.
ПРИМЕЧАНИЕ. Прежде чем перейти к следующему шагу процедуры, убедитесь, что микропрограмма iDRAC обновлена на всех узлах кластера.

1. Выполните вход в веб-интерфейс iDRAC9.
2. Перейдите в раздел Maintenance, затем нажмите System Update. Откроется страница Manual Update.
3. На вкладке Manual Update выберите значение Local для параметра Location Type.

Рис. 1. Экран обновления iDRAC9

4. Нажмите Choose File, выберите файл образа микропрограммы для нужного компонента, а затем нажмите Upload.
5. После завершения загрузки в разделе Update Details отображается каждый файл микропрограммы, загруженный на iDRAC, и его состояние. Если файл образа микропрограммы допустимый и успешно загружен, в столбце Contents рядом с именем файла образа микропрограммы отображается значок (+). Разверните имя, чтобы просмотреть значения параметров Device Name, Current и Available firmware version.
6. Выберите нужный файл микропрограммы iDRAC.
   • Обновление микропрограммы iDRAC не требует перезагрузки хост-системы. Нажмите Install, чтобы начать обновление.

7. Для отображения страницы «Job Queue» нажмите Job Queue. Эта страница используется для просмотра и управления обновлениями микропрограммы в состоянии ожидания. Нажмите OK, чтобы обновить текущую страницу для просмотра состояния обновления микропрограммы.
8. Контроллер жизненного цикла перезагрузится, и соединение с iDRAC будет восстановлено. Подождите несколько минут, прежде чем войти в iDRAC.

Примечание. Если обнаружен сбой подключения, см. статью базы знаний «Сбои подключения HTTP и HTTPS FQDN»: https://www.dell.com/support/kbdoc/en-us/000193619

Шаг 2. Проверьте, исправен ли аккумулятор NVDIMM на узле.

iDRAC 7.10.50.201 и более поздних версий содержит код, который через каждые 5 секунд проверяет заряд в элементах аккумулятора NVDIMM и, если напряжение элемента ниже порогового значения 1,5 В, отображает в журнале системных событий (SEL) iDRAC следующую ошибку.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Если отображается одно из указанных выше сообщений, это означает, что на узле неисправен аккумулятор NVDIMM и его необходимо заменить.

• ПРИМЕЧАНИЕ. Не переходите к обновлению CPLD на узле с неисправным аккумулятором NVDIMM. Из-за неисправного аккумулятора перезагрузка во время обновления CPLD зависнет и не активирует модуль NVDIMM.
• ПРИМЕЧАНИЕ. Запросите сменный аккумулятор NVDIMM.

 Если контроллер iDRAC не сообщает о проблеме, аккумулятор на этом узле исправен и не нуждается в замене. Вы можете выполнить обновление CPLD на этом узле и перейти к следующему шагу.

• ПРИМЕЧАНИЕ. PowerFlex Engineered Systems выдаст предупреждение о состоянии всех узлов, сигнализирующих об ошибке BAT0021.  Это поведение можно использовать для определения неисправных аккумуляторов NVDIMM после обновления iDRAC
  

• ПРИМЕЧАНИЕ. Если появляется событие BAT0017 или BAT0021, но затем происходит 3-е событие BAT0016, то аккумулятор НЕ нуждается в замене!
  Инженерный отдел NVDIMM рекомендует в случае возникновения этого 3-го события (BAT0016) аккумулятор не требует замены.
  BAT0016    The NVDIMM battery is operating normally.
  

Если все три оповещения об аккумуляторе (BAT0021, BAT0020, BAT0016) отображаются последовательно менее чем за минуту, это считается ложным сигналом тревоги, а аккумулятор считается исправным и не подлежит замене. 

Шаг 3. Подготовьте узел: переведите SDS в режим «Maintenance Mode».

• Чтобы войти в режим «Maintenance Mode», выполните процедуру, приведенную в разделе ниже для PowerFlex версии 4.x или PowerFlex версии 3.x.
• Выберите правильный режим обслуживания для PowerFlex.
  • Если на узле нет неисправного аккумулятора NVDIMM, для обновления CPLD рекомендуется использовать режим Instant Maintenance Mode (IMM). 
    • Пропустите шаги 4 и 5 (замена аккумулятора) и перейдите к обновлению BIOS (шаг 6) и CPLD (шаг 7).
  • Если на узле имеется неисправный аккумулятор NVDIMM, перед обновлением CPLD его необходимо заменить.
    • В этом случае узел следует перевести в режим Protected Maintenance Mode (PMM) для принятия во внимание времени зарядки сменного аккумулятора.
• ПРИМЕЧАНИЕ. Эта процедура приводит к запуску процесса повторной балансировки, поэтому рекомендуется проводить эту процедуру во время планового периода обслуживания.
• ПРИМЕЧАНИЕ. При использовании PMM до замены аккумулятора NVDIMM (шаги 4–5) можно оставаться в режиме PMM для обновления BIOS и CPLD (шаги 6–7).

Для версии PowerFlex 4.x: см. руководство по администрированию Dell PowerFlex 4.x.

• Если узел выступает в качестве основного MDM, выполните следующие действия, чтобы переключить право собственности MDM.
  • Перенастройка ролей MDM
• Если на узле настроен SDR, переведите SDR в режим «Maintenance Mode».
  • Переведите SDR в режим «Maintenance Mode»
• Переведите сервер данных хранилища (SDS) в режим «Maintenance Mode»
  • Переведите сервер данных хранилища (SDS) в режим «Maintenance Mode»
• Если это узел HCI (VMware), переведите ESXi в режим «Maintenance Mode» после выполнения указанных выше действий.
  • Переведите хост в режим «Maintenance Mode»

Для версии PowerFlex 3.x: см. руководство по обновлению Dell PowerFlex до версии 3.6.x.

• Переход узла в режим «Maintenance Mode» и его выключение
  • Корректно выключите или перезагрузите узел

Шаг 4. Замените аккумулятор NVDIMM.

Инструкции по замене аккумулятора NVDIMM см. в документации SolVe для узлов PowerFlex, доступной по приведенной ниже ссылке.

SolVe (dell.com)

Скачайте документацию SolVe об аккумуляторах NVDIMM для соответствующего типа узла R650/R750 в системе 15G.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• ПРИМЕЧАНИЕ. Пропустите следующие разделы в документации «Замена аккумулятора NVDIMM».

Remove the storage devices from PowerFlex.

Причины, по которым устройства хранения данных не следует извлекать:

• Удаление устройств хранения данных во время этой процедуры приведет к ненужному восстановлению всего узла, что значительно увеличивает объем обслуживания.
• Поскольку выполняется запланированная перезагрузка, а не событие отключения питания, подсистема NVDIMM не использует питание от аккумуляторов для выполнения операции сохранения. Питание подается от блоков питания, даже если аккумуляторы неисправны.
• В результате перезагрузки система сообщит об ошибке аккумулятора NVDIMM во время включения питания. При этом данные в NVDIMM сохраняются, поэтому потеря данных не происходит.

Шаг 5. Дождитесь зарядки сменных аккумуляторов.

Если вы заменили аккумулятор NVDIMM на определенном узле, включите питание системы. Система загрузится не полностью. BIOS перестанет ожидать зарядки аккумуляторов, так как в системе может быть недостаточно заряда сменного аккумулятора NVDIMM для защиты данных в NVDIMM. Зарядка аккумуляторов может занять около 60–75 минут. Можно попробовать перезапустить систему через 60–75 минут, при этом узел должен включиться и включить подсистему NVDIMM.

• ПРИМЕЧАНИЕ. Запланируйте период обслуживания 60-75 минут для каждого узла, на котором требуется заменить аккумулятор.

Шаг 6. При необходимости обновите BIOS.

Версия CPLD, используемая для устранения проблемы в этой статье базы знаний, требует минимальной версии BIOS 1.8.2. (Рекомендуется использовать BIOS 1.10.2 или более поздней версии.)
Для развертывания пользовательских узлов PowerFlex требуются определенные версии драйверов, BIOS и микропрограммы, проверенные и сертифицированные Dell.
Если текущая версия BIOS ниже 1.8.2, обновите микропрограмму до последней версии, указанной в таблице драйверов и микропрограмм пользовательских узлов PowerFlex.

1. Убедитесь, что устройство находится в режиме «Maintenance Mode». Если это не так, см. инструкции в разделе Шаг 3.
2. Информацию о скачивании версии BIOS см. в разделе «Адреса для скачивания» этой статьи базы знаний.
   • Примечание. Нажмите «Older Versions», чтобы выбрать версию, соответствующую целевой таблице.
3. Перейдите к модернизации BIOS до версии 1.8.2 или более поздней. 

• Процедура модернизации BIOS Dell PowerEdge для систем 15G:  https://www.dell.com/support/kbdoc/en-us/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Шаг 7. Обновите CPLD до версии 1.1.1.

Предварительные требования

• Убедитесь, что SDS находится в режиме обслуживания PowerFlex. Для узлов ESXi: убедитесь, что ESXi также находится в режиме «Maintenance Mode». Если это не так, см. инструкции в разделе Шаг 3 этой статьи.
• Убедитесь, что образ микропрограммы CPLD доступен в локальной системе. Чтобы скачать соответствующую версию CPLD, см. раздел «Адреса для скачивания» этой статьи. 
  • Обновление CPLD запускает перезагрузку узла.

Примечание. 

• Выполните обновление микропрограммы CPLD после обновления микропрограммы iDRAC.
• Замените аккумулятор NVDIMM перед обновлением микропрограммы CPLD.

Процедура обновления CPLD выполняется следующим образом.

1. Выполните вход в веб-интерфейс iDRAC9.
2. Перейдите в раздел Maintenance, затем нажмите System Update. Откроется страница Manual Update.
3. На вкладке Manual Update выберите значение Local для параметра Location Type.Рис. 1. Экран обновления iDRAC9
4. Нажмите Choose File, выберите файл образа микропрограммы для нужного компонента, а затем нажмите Upload.
5. После завершения загрузки в разделе Update Details отображается каждый файл микропрограммы, загруженный на iDRAC, и его состояние. Если файл образа микропрограммы допустимый и успешно загружен, в столбце Contents рядом с именем файла образа микропрограммы отображается значок (+). Разверните имя, чтобы просмотреть значения параметров Device Name, Current и Available firmware version.
6. Если файл образа микропрограммы допустимый и успешно загружен, в столбце Содержимое рядом с именем файла образа микропрограммы отображается значок (+).
   • Обновление микропрограммы CPLD потребует перезагрузки хост-системы. Нажмите Install, чтобы начать процесс обновления.

7. Для отображения страницы «Job Queue» нажмите Job Queue. Эта страница используется для просмотра и управления обновлениями микропрограммы в состоянии ожидания. Нажмите OK, чтобы обновить текущую страницу для просмотра состояния обновления микропрограммы.

Шаг 8: Выведите узел из режима «Maintenance Mode».

Для версии PowerFlex 4.x: см. раздел
Предварительные условия руководства по администрированию Dell PowerFlex 4.x. Убедитесь, что у вас есть IP-адрес и учетные данные администратора для входа в PowerFlex Manager. При необходимости заказчик может предоставить вам необходимую информацию.

1. Включите питание узла, если это еще не сделано после обновления CPLD. Операционная система загрузится, и все процессы PowerFlex будут запущены автоматически.

2. После запуска узла снова войдите в PowerFlex Manager в браузере в качестве пользователя-администратора.

3. В строке меню нажмите Monitoring > Alerts и убедитесь, что сообщение об отключении не отображается для SDS, хоста SDC, SDR или SDT (в соответствующих случаях).

4. Для узла ESXi выполните следующие действия.
   1. В веб-клиенте vSphere Web Client убедитесь, что узел отображается как включенный и подсоединенный в представлениях «Hosts» и «Clusters».
   2. Нажмите правой кнопкой мыши на узел и выберите Exit Maintenance Mode.
   3. Разверните сервер и выберите виртуальную машину хранилища (SVM). Если SVM не включается автоматически, включите ее вручную.
5. Выведите SDS из режима «Maintenance Mode». 
   • Вывод сервера данных хранилища из режима «Maintenance Mode»
6. Если на узле настроен SDR, выведите SDR из режима «Maintenance Mode».
   • Вывод SDR из режима «Maintenance Mode»

Для версии PowerFlex 3.x: см. руководство по обновлению Dell PowerFlex до версии 3.6.x.
Предварительные условия. Убедитесь, что у пользователя есть следующие учетные данные (их может выдать администратор): IP-адрес или имя хоста сервера презентаций PowerFlex, используемые для доступа к графическому интерфейсу пользователя PowerFlex.

1. Включите питание узла, если это еще не сделано после обновления CPLD. Операционная система загрузится, и все процессы PowerFlex будут запущены автоматически.
2. Выведите узел из режима «Maintenance Mode»: верните узел в рабочее состояние
3. Если на узле настроен SDR, выведите SDR из режима «Maintenance Mode».

Шаг 9: Перейдите к следующему узлу в кластере.

Последовательность шагов 2–8 должна быть выполнена для всех узлов в кластере по очереди.  После модернизации всех узлов процесс завершается.