PowerFlex: Postup aktualizace firmwaru za účelem zmírnění problému, kdy se baterie NVDIMM vybíjí ve vlastních uzlech PowerFlex (R650, R750)

Popis problému

Systémy Dell PowerFlex 15G podporují konfiguraci obsahující moduly NVDIMM, jež poskytují trvalou paměť potřebnou pro funkci jemné granularity. Tento postup obsahuje kroky k aktualizaci verzí iDRAC a CPLD na následující:

• iDRAC 7.10.50.201
• CPLD 1.1.1

Odkud stáhnout

• Vlastní uzel PowerFlex: https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (vyhledat iDRAC a CPLD)

Nová verze řadiče iDRAC kontroluje napětí článků baterie NVDIMM, když je povolena. Zaznamená chybu, pokud je napětí článku nižší než definovaná prahová hodnota. Zaprotokoluje událost se závažností informací, když baterie NVDIMM přejde ze stavů READY a ENABLED.  

Nový design CPLD sleduje stav povolení baterie NVDIMM a po pevně stanovené době přejde zpátky do stavu Ready.

• POZNÁMKA: V důsledku výše uvedeného problému může dojít k poškození baterie NVDIMM v uzlech a bude nutné ji vyměnit. Tento postup tuto možnost zohledňuje.
• POZNÁMKA: Aktualizace řadičů iDRAC a CPLD musí probíhat v určitém pořadí. Tato posloupnost vyžaduje nejprve upgrade řadiče iDRAC a následně aktualizaci CPLD. To pomáhá určit, jestli baterie selhala.

Přehled postupu

Abychom mohli problém zcela vyřešit, musíme udělat následující:

• Zjistit, které baterie NVDIMM nejsou v systému dostatečně nabité.
  • Jelikož tento konkrétní stav není hlášen, je nutné aktualizovat řadič iDRAC na výše uvedenou verzi (nebo vyšší). Nová verze řadiče iDRAC hlásí chyby BAT0021 nebo BAT0017, jestliže zjistí, že je baterie NVDIMM vybitá.
  • Aktualizujte řadič iDRAC na uvedenou verzi ve všech uzlech v systému.
• Vyžádejte si náhradní baterie NVDIMM pro všechny vybité a vadné baterie.
  • Nepokračujte v aktualizaci CPLD u uzlů s vadnými bateriemi NVDIMM, dokud vadnou baterii nevyměníte.
  • Náhradní baterie nemusí být plně nabité, přičemž plné nabití po instalaci může trvat až 75 minut.
  • U uzlů bez vadných baterií NVDIMM můžete pokračovat v aktualizaci firmwaru CPLD.
• Po výměně vadných baterií pokračujte v aktualizaci firmwaru CPLD pomocí řadiče iDRAC.
  • Před dokončením aktualizace musí být uzel uveden do režimu údržby.
  • Uzel se restartuje a následně provede aktualizaci CPLD.
• Jakmile se uzel po aktualizaci CPLD restartuje, ukončete režim údržby uzlu.
• Jakmile již uzel není v režimu údržby, spustí se operace opětovného sestavení a vyvážení.  
  • POZNÁMKA: Před aktualizací dalšího uzlu v klastru počkejte na dokončení opětovného sestavení a vyvážení.

Požadavky

• Minimální verze systému BIOS pro tuto aktualizaci CPLD je BIOS ve verzi 1.8.2.  (Doporučuje se verze 1.10.2 nebo vyšší)
• Během výměny komponent je zákazník zodpovědný za následující operace:
  • Migrace všech aplikací v uzlu jiných než PowerFlex na jiný server.
  • Vypnutí serveru řádným způsobem podle příslušného postupu pro daný operační systém.
• Ujistěte se, že jsou k dispozici následující informace:
  • Typ uzlu PowerFlex: Fyzický uzel nebo uzel HCI (VMware)
  • Rozsah IP adres, podsíť a IP adresa brány pro klastr PowerFlex a jeho uzly
  • Rozsah IP adres, IP adresy podsítě a brány pro port iDRAC na uzlu (definované během procesu počátečního nasazení)
  • Všechna hesla uživatele root a správce nastavená na serveru a řadiči iDRAC
  • IP adresa vCenter a přihlašovací údaje, pokud je konfigurace HCI

Podrobný postup

1. krok: Aktualizujte řadič iDRAC na všech uzlech v clusteru PowerFlex.

Řadič iDRAC na těchto uzlech je možné aktualizovat bez restartování uzlů. Postup aktualizace řadiče iDRAC je následující.
Zkontrolujte, jestli byla bitová kopie firmwaru stažena do určitého umístění v místním systému. Pro tento postup je nutná verze firmwaru řadiče iDRAC a umístění pro stažení je uvedeno na první stránce postupu.
POZNÁMKA: Než přejdete k dalšímu kroku postupu, ujistěte se, že je firmware řadiče iDRAC aktualizován na všech uzlech v klastru...

1. Přihlaste se k webovému rozhraní řadiče iDRAC9.
2. Přejděte do části Maintenance a poté klikněte na možnost System Update. Zobrazí se stránka Manual Update.
3. Na kartě Manual Update vyberte v části Location Type možnost Local.

Obrázek 1: Obrazovka Update iDRAC9

4. Klikněte na tlačítko Choose File, vyberte soubor bitové kopie firmwaru pro požadovanou komponentu a potom klikněte na tlačítko Upload.
5. Po odeslání se v části Update Details zobrazí jednotlivé soubory firmwaru odeslané do řadiče iDRAC a jejich stav. Pokud je soubor bitové kopie firmwaru platný a byl úspěšně odeslán, ve sloupci Contents se vedle názvu souboru bitové kopie firmwaru zobrazí ikona (+). Rozbalením názvu zobrazíte informace o názvu zařízení a aktuální a dostupnou verzi firmwaru.
6. Vyberte požadovaný soubor firmwaru řadiče iDRAC.
   • Aktualizace firmwaru řadiče iDRAC nevyžaduje restart hostitelského systému. Kliknutím na tlačítko Install zahájíte aktualizaci.

7. Chcete-li zobrazit stránku Job Queue, klikněte na tlačítko Job Queue. Na této stránce můžete zobrazit a spravovat čekající aktualizace firmwaru. Kliknutím na tlačítko OK můžete aktualizovat aktuální stránku a zobrazit stav aktualizace firmwaru.
8. Řadič životního cyklu se restartuje a resetuje se připojení k řadiči iDRAC. Počkejte několik minut, než se přihlásíte k řadiči iDRAC.

Poznámka: Pokud dojde k selhání připojení, přečtěte si článek znalostní databáze Selhání připojení plně kvalifikovaného názvu domény HTTP a HTTPS – https://www.dell.com/support/kbdoc/en-us/000193619

2. krok: Zkontrolujte, jestli má uzel vadnou baterii NVDIMM.

Řadič iDRAC 7.10.50.201 a vyšší obsahuje kód, který každých 5 sekund kontroluje nabití v článcích baterie NVDIMM a hlásí v protokolu systémových událostí (SEL) řadiče iDRAC následující chybu, jestliže je napětí článku nižší než prahová hodnota 1,5 V.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Pokud je hlášena jedna z výše uvedených zpráv, znamená to, že uzel má vadnou baterii NVDIMM, kterou je třeba vyměnit.

• POZNÁMKA: Nepokračujte v aktualizaci CPLD na tomto uzlu s vadnou baterií NVDIMM. Restartování během aktualizace CPLD zamrzne a neaktivuje NVDIMM kvůli vadné baterii.
• POZNÁMKA: Vyžádejte si náhradní baterii NVDIMM.

 Pokud řadič iDRAC problém nehlásí, baterie v tomto uzlu je v pořádku a není třeba ji vyměňovat. Na tomto uzlu je možné provést aktualizaci CPLD a můžete přejít k dalšímu kroku.

• POZNÁMKA: PowerFlex Engineered Systems nahlásí varování ohledně stavu uzlu pro každý uzel vyjadřující chybu BAT0021.  Toto chování lze použít k identifikaci vadných baterií NVDIMM po aktualizaci řadiče iDRAC
  

• POZNÁMKA: Pokud se zobrazí událost BAT0017 nebo BAT0021, ale pak 3. událost BAT0016, pak NENÍ nutné baterii vyměňovat!
  Technický tým NVDIMM doporučuje, aby v případě této 3. události (BAT0016) nebylo nutné baterii vyměňovat.
  BAT0016    The NVDIMM battery is operating normally.
  

Pokud se všechny tři výstrahy baterie (BAT0021, BAT0020, BAT0016) zobrazí postupně za méně než minutu, mělo by to být považováno za falešný poplach a baterie by měla být považována za zdravou a neměla by být vyměňována. 

3. krok: Připravte uzel – Přepněte SDS do režimu údržby.

• Přejděte do režimu údržby podle příslušného postupu níže v části PowerFlex verze 4.x nebo PowerFlex verze 3.x
• Vyberte správný režim údržby PowerFlex
  • Pokud uzel nemá vadnou baterii NVDIMM, doporučuje se použít k aktualizaci CPLD režim Instant Maintenance Mode (IMM). 
    • Přeskočte kroky 4 a 5 (výměna baterie) a pokračujte upgradem systému BIOS (krok 6) a CPLD (krok 7)
  • Pokud má uzel vadnou baterii NVDIMM, je nutné ji před aktualizací CPLD vyměnit.
    • V takovém případě by se měl uzel přepnout do režimu Protected Maintenance Mode (PMM), aby se zohlednila doba potřebná k nabití náhradní baterie.
• POZNÁMKA: Tento postup způsobí spuštění procesu opětovného vyvážení, proto se doporučuje naplánovat tento postup na plánované časové období údržby.
• POZNÁMKA: Pokud používáte PMM před výměnou baterie NVDIMM (kroky 4–5), můžete zůstat v režimu údržby PMM pro aktualizaci systému BIOS a CPLD (kroky 6–7)

PowerFlex verze 4.x, viz příručka pro správu systému Dell Powerflex 4.x.

• Pokud uzel funguje jako primární uzel MDM, přepněte vlastnictví MDM následujícím způsobem:
  • Změna konfigurace rolí MDM
• Pokud je na uzlu nakonfigurováno SDR, uveďte SDR do režimu údržby
  • Uvedení jednotky SDR do režimu údržby.
• Uvedení datového serveru úložiště (SDS) do režimu údržby
  • Uvedení datového serveru úložiště (SDS) do režimu údržby
• Pokud se jedná o uzel HCI (VMware), přepněte po provedení výše uvedených kroků systém ESXi do režimu údržby
  • Přepnutí hostitele do režimu údržby

PowerFlex verze 3.x, viz příručka Upgrade Dell PowerFlex na verzi v3.6.x.

• Uvedení uzlu do režimu údržby a vypnutí
  • Řádné vypnutí nebo restartování uzlu

4. krok: Vložení baterie NVDIMM zpět na místo.

Pokyny k výměně baterie NVDIMM najdete v dokumentaci Solve pro uzly PowerFlex, dostupné na níže uvedeném odkazu.

SolVe (dell.com)

Stáhněte si dokumentaci SolVe pro „baterii NVDIMM“ pro příslušný typ uzlu R650/R750 v 15G.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• POZNÁMKA: Přeskočte následující části v dokumentaci „Výměna baterie NVDIMM“.

Remove the storage devices from PowerFlex.

Důvody, proč by úložná zařízení neměla být odebrána:

• Odebrání úložných zařízení během tohoto postupu způsobí zbytečné opětovné vytvoření celého uzlu, což výrazně prodlouží údržbu.
• Jelikož se jedná o plánované restartování, a nikoli o výpadek napájení, subsystém NVDIMM není při dokončování úsporné operace závislý na napájení z baterií. Energie se získává z napájecích zdrojů, i když jsou baterie vadné.
• Restart způsobí, že systém bude hlásit chybu baterie NVDIMM během spouštění. Data v modulu NVDIMM byla nicméně uložena, a tak nedošlo ke ztrátě dat.

Krok 5: Počkejte, až se vyměněné baterie nabijí

Jestliže jste vyměnili baterii NVDIMM v konkrétním uzlu, zapněte systém. Systém se nespustí úplně. Systém BIOS přestane čekat na nabití baterií, protože náhradní baterie NVDIMM nemusí být dostatečně nabitá, aby systém ochránil data v modulu NVDIMM. Nabití baterií může trvat přibližně 60–75 minut. Můžete zkusit systém po 60–75 minutách restartovat. Uzel by se měl zapnout a aktivovat také subsystém NVDIMM.

• POZNÁMKA: Naplánujte si interval údržby na základě 60–75 minut pro každý uzel, který potřebuje vyměnit baterii.

Krok 6: V případě potřeby aktualizujte systém BIOS.

Verze CPLD použitá k vyřešení základního problému v tomto článku znalostní databáze vyžaduje minimálně systém BIOS verze 1.8.2. (Doporučujeme systém BIOS verze 1.10.2 nebo vyšší)
Nasazení vlastních uzlů PowerFlex vyžaduje konkrétní verze ovladačů, systému BIOS a firmwaru ověřené a kvalifikované společností Dell.
Pokud je aktuální verze systému BIOS nižší než 1.8.2, aktualizujte firmware na nejnovější verzi publikovanou v matici ovladačů a firmwaru vlastního uzlu PowerFlex.

1. Ujistěte se, že je uzel v režimu údržby. Pokud tomu tak není, postupujte podle pokynů v „kroku 3“.
2. Informace o stažení verze systému BIOS najdete v části „Umístění pro stahování“ tohoto článku znalostní databáze.
   • Poznámka: Klikněte na možnost „Older Versions“ a vyberte verzi, která bude zarovnána s maticí, na kterou cílíte.
3. Pokračujte upgradem systému BIOS na verzi 1.8.2 nebo novější. 

• Postup upgradu systému Dell PowerEdge BIOS pro řadu 15G:  https://www.dell.com/support/kbdoc/en-us/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Krok 7: Aktualizace CPLD na verzi 1.1.1

Přípravné kroky:

• Ujistěte se, že je úložiště SDS v režimu údržby PowerFlex. U uzlů ESXi se ujistěte, že je systém ESXi také v režimu údržby. Pokud ne, vyhledejte pokyny v „kroku 3“ tohoto článku.
• Zkontrolujte, zda je bitová kopie firmwaru CPLD dostupná ve vašem místním systému. Pokud chcete stáhnout příslušnou verzi CPLD, přečtěte si část „Umístění pro stahování“ v tomto článku. 
  • Aktualizace CPLD způsobí restartování uzlu.

Poznámka: 

• Proveďte aktualizaci firmwaru CPLD po aktualizaci firmwaru řadiče iDRAC.
• Před pokračováním v aktualizaci firmwaru CPLD vyměňte baterii NVDIMM.

Postup aktualizace CPLD je následující.

1. Přihlaste se k webovému rozhraní řadiče iDRAC9.
2. Přejděte do části Maintenance a poté klikněte na možnost System Update. Zobrazí se stránka Manual Update.
3. Na kartě Manual Update vyberte možnost Local pro nastavení Location Type.Obrázek 1: Obrazovka iDRAC9 Update
4. Klikněte na tlačítko Choose File, vyberte soubor bitové kopie firmwaru pro požadovanou komponentu a potom klikněte na tlačítko Upload.
5. Po odeslání se v části Update Details zobrazí jednotlivé soubory firmwaru odeslané do řadiče iDRAC a jejich stav. Pokud je soubor bitové kopie firmwaru platný a byl úspěšně odeslán, ve sloupci Contents se vedle názvu souboru bitové kopie firmwaru zobrazí ikona (+). Rozbalením názvu zobrazíte informace o názvu zařízení a aktuální a dostupnou verzi firmwaru.
6. Vyberte požadovaný soubor firmwaru CPLD.
   • Aktualizace firmwaru CPLD bude vyžadovat restartování hostitelského systému. Kliknutím na tlačítko Install zahajte aktualizaci.

7. Chcete-li zobrazit stránku Job Queue, klikněte na tlačítko Job Queue. Na této stránce můžete zobrazit a spravovat čekající aktualizace firmwaru. Kliknutím na tlačítko OK můžete aktualizovat aktuální stránku a zobrazit stav aktualizace firmwaru.

Krok 8: Ukončete režim údržby uzlu.

PowerFlex verze 4.x, viz „Příručka pro správu systému Dell Powerflex 4.x“
.Předpoklady: Pro přístup do nástroje PowerFlex Manager je nutné zadat IP adresu a přihlašovací údaje správce. V případě potřeby vám zákazník může poskytnout potřebné údaje.

1. Zapněte uzel, pokud jste tak ještě neučinili po aktualizaci řadiče CPLD. Spustí se operační systém a všechny procesy PowerFlex se automaticky spustí.

2. Po spuštění uzlu se v prohlížeči přihlaste zpět do nástroje PowerFlex Manager jako uživatel admin.

3. Na panelu nabídek klikněte na položku Monitoring  > Alerts a potvrďte, že se pro SDS nebo hostitele SDC, případně pro SDR nebo SDT (pokud je to možné) nezobrazuje žádná zpráva o odpojení.

4. U uzlu ESXi proveďte následující:
   1. Ve webovém klientovi vSphere se ujistěte, že se uzel zobrazuje jako zapnutý a připojený v zobrazení Hosts i Clusters.
   2. Klikněte pravým tlačítkem na uzel a vyberte možnost Exit Maintenance Mode.
   3. Rozbalte server a vyberte možnost Storage VM (SVM). Pokud se SVM nezapne automaticky, zapněte ho ručně.
5. Ukončete režim údržby u SDS: 
   • Ukončení režimu údržby u datového serveru úložiště
6. Pokud je na uzlu nakonfigurováno SDR, ukončete u SDR režim údržby.
   • Ukončete režim údržby u SDR.

PowerFlex verze 3.x, verze 3.x, viz příručka „Upgrade Dell PowerFlex na verzi v3.6.x“.
Předpoklady: Ujistěte se, že uživatel má následující přihlašovací údaje (k dispozici od správce): IP adresa nebo název hostitele prezentačního serveru PowerFlex používané pro přístup ke grafickému uživatelskému rozhraní PowerFlex

1. Zapněte uzel, pokud jste tak ještě neučinili po aktualizaci řadiče CPLD. Spustí se operační systém a všechny procesy PowerFlex se spustí automaticky.
2. Ukončete u uzlu režim údržby: Vraťte uzel do provozu
3. Pokud je na uzlu nakonfigurováno SDR, ukončete u SDR režim údržby.

Krok 9: Pokračujte dalším uzlem v klastru

Kroky 2 až 8 je nutné postupně dokončit pro všechny uzly v clusteru.  Po upgradu všech uzlů je proces dokončen