PowerFlex: Procedur för att uppdatera fast programvara för att minska problemet med att NVDIMM-batterier förlorar laddningen på PowerFlex anpassade noder (R650, R750)

Problembeskrivning

Dell PowerFlex 15G-system stöder en konfiguration som innehåller NVDIMM:er som ger det beständiga minne som krävs för funktionen för fin granularitet. Den här proceduren innehåller stegen för att uppdatera iDRAC- och CPLD-versionerna till följande:

• iDRAC 7.10.50.201
• CPLD 1.1.1

Nedladdningsplats

• Anpassad PowerFlex-nod: https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (sök i iDRAC och CPLD)

Den nya iDRAC-versionen kontrollerar NVDIMM-battericellernas spänningar när den är aktiverad. Den loggar ett fel om cellspänningarna ligger under ett definierat tröskelvärde. En händelse med allvarlighetsgraden information loggas när NVDIMM-batteriet växlar mellan tillstånden READY och ENABLED.  

Den nya CPLD-designen spårar NVDIMM-batteriets aktiveringstillstånd och återgår till redo-läge efter en viss tid.

• OBS! Som ett resultat av problemet ovan finns det en möjlighet att NVDIMM-batteriet i noderna kan vara skadat och måste bytas ut. Denna procedur tar hänsyn till denna möjlighet.
• OBS! Uppdateringen av iDRAC och CPLD måste följa en specifik sekvens. Sekvensen kräver att iDRAC uppgraderas först, därefter uppdateras CPLD. Detta hjälper till att identifiera om batteriet har slutat att fungera.

Proceduröversikt

För att ta itu med problemet fullt ut måste vi göra följande:

• Identifiera vilka NVDIMM-batterier i systemet som saknar tillräcklig laddning.
  • Eftersom detta specifika tillstånd inte rapporteras måste vi uppdatera iDRAC till den version som anges ovan (eller senare). Den nya versionen av iDRAC rapporterar BAT0021- eller BAT0017 fel om ett NVDIMM-batteri upptäcks som är urladdat.
  • Uppdatera iDRAC till den version som anges på alla noder i systemet
• Begära byte av NVDIMM-batterier för alla som rapporteras som urladdade och dåliga.
  • Fortsätt inte med CPLD-uppdateringen på noder med dåliga NVDIMM-batterier förrän du har bytt ut det dåliga batteriet.
  • Ersättningsbatterier kanske inte är fulladdade och kan ta upp till 75 minuter att nå full laddning efter installationen.
  • För noder med bra NVDIMM-batterier kan du fortsätta med uppdateringen av CPLD FW.
• När du har bytt ut de dåliga batterierna fortsätter du med att uppdatera den fasta CPLD-programvaran med hjälp av iDRAC.
  • Noden måste placeras i underhållsläge innan uppdateringen slutförs
  • Noden startar om och utför sedan CPLD-uppdateringen.
• När noden startas om efter CPLD-uppdateringen tar du noden ur underhållsläge.
• När noden inte längre behöver underhållas startar en åtgärd för att återskapa och balansera om.  
  • OBS! Vänta tills återskapandet och ombalanseringen har slutförts innan du fortsätter att uppdatera nästa nod i klustret.

Förutsättningar

• Lägsta BIOS-version för den här CPLD-uppdateringen är BIOS-version 1.8.2.  (1.10.2 eller senare rekommenderas)
• Under komponentbytesproceduren ansvarar kunden för följande uppgifter:
  • Migrera alla icke-PowerFlex-program på noden till en annan server.
  • Stäng av servern på ett smidigt sätt genom att följa lämplig avstängningsprocedur för det operativsystem som används.
• Kontrollera att följande information är tillgänglig:
  • Typ av PowerFlex-nod: Fysisk nod eller HCI-nod (VMware)
  • IP-adressintervall, undernät och gateway-IP-adress för PowerFlex-klustret och dess noder
  • IP-adressintervall, undernät och gateway-IP-adresser för iDRAC-porten på noden (definieras under den inledande distributionsprocessen)
  • Alla rot- och administratörslösenord som ställs in på servern och iDRAC
  • vCenter IP-adress och inloggningsuppgifter om konfigurationen är HCI

Detaljerad procedur

Steg 1: Uppdatera iDRAC på alla noder i PowerFlex-klustret.

IDRAC på dessa noder kan uppdateras utan att starta om noderna. Proceduren för att uppdatera iDRAC är som följer.
Kontrollera att avbildningen av den fasta programvaran har laddats ner till en specifik plats i det lokala systemet. Versionen av den fasta programvaran för iDRAC behövs för den här proceduren och nedladdningsplatsen visas på första sidan i proceduren.
NOTERA: Kontrollera att den fasta iDRAC-programvaran är uppdaterad på alla noder i klustret innan du går vidare till nästa steg i proceduren....

1. Logga in på iDRAC9-webbgränssnittet.
2. Gå till Maintenance och klicka sedan på System Update. Sidan Manual Update visas.
3. På fliken Manuell uppdatering väljer du Lokal som platstyp.

Bild 1: Uppdateringsskärmen för iDRAC9

4. Klicka på Choose File, välj avbildningsfilen för den fasta programvaran för önskad komponent och klicka sedan på Upload.
5. När uppladdningen är klar visas varje fil med fast programvara som överförs till iDRAC och deras status i avsnittet Uppdateringsinformation. Om avbildningsfilen för den fasta programvaran är giltig och har laddats upp visas en (+) ikon bredvid filnamnet för avbildningen av den fasta programvaran i kolumnen Innehåll. Expandera namnet för att visa information om enhetsnamn, aktuell och tillgänglig version av fast programvara.
6. Välj önskad fil för fast programvara för iDRAC.
   • Uppdateringen av den fasta programvaran för iDRAC kräver ingen omstart av värdsystemet. Klicka på Installera och starta uppdateringen.

7. Om du vill visa sidan Jobbkö klickar du på Jobbkö. Använd den här sidan för att visa och hantera dina väntande uppdateringar av den fasta programvaran. Du kan klicka på OK för att uppdatera den aktuella sidan och visa status för uppdateringen av den fasta programvaran.
8. Livscykelstyrenheten startas om och anslutningen till iDRAC återställs. Vänta några minuter innan du loggar in på iDRAC.

Obs! Om anslutningsfel visas kan du läsa HTTP- och HTTPS FQDN-anslutningsfel KB – https://www.dell.com/support/kbdoc/en-us/000193619

Steg 2: Kontrollera om noden har ett dåligt NVDIMM-batteri.

iDRAC 7.10.50.201 och senare innehåller kod som kontrollerar laddningen i NVDIMM-battericellerna var femte sekund och rapporterar följande fel i iDRAC-systemets händelselogg (SEL) om cellspänningen är under tröskelvärdet 1,5 V.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Om något av ovanstående meddelanden rapporteras betyder det att noden har ett dåligt NVDIMM-batteri som måste bytas ut.

• OBS! Fortsätt inte att uppdatera CPLD på den här noden med ett trasigt NVDIMM-batteri. Omstarten under en CPLD-uppdatering hänger sig och NVDIMM-minnet aktiveras inte på grund av det dåliga batteriet.
• OBS! Begär ett nytt NVDIMM-batteri.

 Om iDRAC inte rapporterar något problem fungerar batteriet i den här noden och behöver inte bytas ut. CPLD-uppdateringen kan utföras på den här noden och du kan gå vidare till nästa steg.

• Obs! PowerFlex Engineered Systems rapporterar en nodhälsovarning för alla noder som uttrycker BAT0021 felet.  Detta beteende kan användas för att identifiera trasiga NVDIMM-batterier efter iDRAC-uppdateringen
  

• Obs! Om händelsen BAT0017 eller BAT0021 dyker upp, men sedan en 3:e händelse BAT0016, behöver batteriet INTE bytas ut!
  NVDIMM-tekniker rekommenderar att batteriet inte behöver bytas ut om denna tredje händelse (BAT0016) inträffar.
  BAT0016    The NVDIMM battery is operating normally.
  

Om alla tre batterivarningar (BAT0021, BAT0020, BAT0016) alla ses i följd på mindre än en minut, bör detta betraktas som ett falsklarm och batteriet anses vara friskt och bör inte bytas ut. 

Steg 3: Förbered noden – sätt SDS i underhållsläge.

• Gå in i underhållsläge genom att följa lämplig procedur i avsnittet nedan under PowerFlex version 4.x eller PowerFlex version 3.x
• Välj rätt PowerFlex underhållsläge
  • Om noden inte har ett dåligt NVDIMM-batteri rekommenderar vi Instant Maintenance Mode (IMM) för att uppdatera CPLD. 
    • Hoppa över steg 4 och 5 (Byta batteri) och fortsätt med BIOS (steg 6) och CPLD-uppgradering (steg 7)
  • Om noden har ett dåligt NVDIMM-batteri måste det bytas ut innan CPLD uppdateras.
    • I det här fallet bör noden försättas i skyddat underhållsläge (PMM) för att ta hänsyn till den tid det tar för ersättningsbatteriet att laddas.
• OBS! Den här proceduren gör att en ombalanseringsprocess startar, därför rekommenderar vi att du planerar den här proceduren för en schemalagd underhållsperiod.
• OBS! Om du använder PMM före bytet av NVDIMM-batteriet (steg 4–5) kan du stanna kvar i PMM-underhållsläge under BIOS- och CPLD-uppdateringen (steg 6–7)

PowerFlex version 4.x, se Administration av Dell PowerFlex 4.x.

• Om noden fungerar som primär MDM följer du dessa steg för att byta MDM-ägarskap:
  • Konfigurera om MDM-roller
• Om en SDR har konfigurerats på noden placerar du SDR i underhållsläge
  • Ange SDR i underhållsläge
• Placera lagringsdataserver (SDS) i underhållsläge
  • Placera lagringsdataserver (SDS) i underhållsläge
• Om det är en HCI-nod (VMware) sätter du ESXi i underhållsläge enligt stegen ovan
  • Placera en värd i underhållsläge

PowerFlex version 3.x, se manualen "Uppgradera Dell PowerFlex till v3.6.x".

• Försätta noden i underhållsläge och stäng av
  • Stäng av eller starta om en nod på ett smidigt sätt

Steg 4: Byt ut NVDIMM-batteriet.

I SolVe-dokumentationen för PowerFlex-noder som finns på länken nedan finns anvisningar om hur du byter ut NVDIMM-batteriet.

SolVe (dell.com)

Ladda ner SolVe-dokumentationen för "NVDIMM battery" för lämplig nodtyp R650/R750 på 15G.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• OBS! Hoppa över följande avsnitt i dokumentationen "Byta NVDIMM-batteri".

Remove the storage devices from PowerFlex.

Anledningar till att lagringsenheter inte ska tas bort:

• Om lagringsenheterna tas bort under den här proceduren krävs onödig ombyggnad av hela noden, vilket förlänger underhållet avsevärt.
• Eftersom detta är en planerad omstart och inte ett strömavbrott är NVDIMM-undersystemet inte beroende av ström från batterier för att slutföra sparåtgärden. Strömmen kommer från nätaggregaten även när batterierna är dåliga.
• Omstarten kommer att få systemet att rapportera ett fel med NVDIMM-batteriet under uppstart. Men data i NVDIMM har sparats och ingen dataförlust upplevs.

Steg 5: Vänta tills de utbytta batterierna har laddats

Om du har bytt ut NVDIMM-batteriet på en viss nod slår du på systemet. Systemet startar inte helt. BIOS slutar vänta på att batterierna ska laddas eftersom ett nytt NVDIMM-batteri kanske inte har tillräckligt med laddning som krävs av systemet för att skydda data i NVDIMM. Det kan ta cirka 60-75 minuter att ladda batterierna. Du kan försöka med att starta om systemet efter 60–75 minuter då noden även bör starta och aktivera NVDIMM-undersystemet.

• OBS! Planera underhållsperioden baserat på 60–75 minuter för varje nod som behöver byta batteri.

Steg 6: Uppdatera BIOS vid behov

Den CPLD-version som används för att åtgärda det underliggande problemet i denna KB kräver minst BIOS 1.8.2. (BIOS 1.10.2 eller senare rekommenderas)
Distribution av anpassade PowerFlex-noder kräver specifika versioner av drivrutiner, BIOS och fast mjukvara som är validerade och kvalificerade av Dell.
Om den aktuella BIOS-versionen är lägre än 1.8.2 ska du uppdatera den fasta programvaran till den senaste versionen som publicerats i PowerFlex Custom Node Driver and Firmware Matrix.

1. Kontrollera att noden är i underhållsläge. Om det inte är det, se steg 3 för instruktioner.
2. Information om hur du laddar ner BIOS-versionen finns i avsnittet "Nedladdningsplatser" i denna KB
   • Obs! Klicka på Older Versions för att välja en version som ska passa in med den matris som är målet.
3. Fortsätt med att uppgradera BIOS till version 1.8.2 eller senare. 

• Dell PowerEdge BIOS-uppgraderingsprocedur för 15G:  https://www.dell.com/support/kbdoc/en-us/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Steg 7: Uppdatera CPLD till version 1.1.1.

Nödvändig förhandsåtgärd:

• Kontrollera att SDS är i PowerFlex underhållsläge. För ESXi-noder kontrollerar du att ESXi också är i underhållsläge. Om inte, se steg 3 i den här artikeln för instruktioner.
• Kontrollera att CPLD-avbildningen för den fasta programvaran är tillgänglig i det lokala systemet. Information om hur du laddar ner rätt CPLD-version finns i avsnittet "Download Locations" i den här artikeln. 
  • CPLD-uppdateringen utlöser en nodomstart.

Obs! 

• Utför uppdateringen av den fasta CPLD-programvaran efter uppdateringen av den fasta iDRAC-programvaran.
• Byt ut NVDIMM-batteriet innan du fortsätter med uppdateringen av den fasta CPLD-programvaran.

CPLD uppdateringsproceduren är som följer.

1. Logga in på iDRAC9-webbgränssnittet.
2. Gå till Maintenance och klicka sedan på System Update. Sidan Manual Update visas.
3. På fliken Manuell uppdatering väljer du Lokal som platstyp.Bild 1: Uppdateringsskärmen för iDRAC9
4. Klicka på Choose File, välj avbildningsfilen för den fasta programvaran för önskad komponent och klicka sedan på Upload.
5. När uppladdningen är klar visas varje fil med fast programvara som överförs till iDRAC och deras status i avsnittet Uppdateringsinformation. Om avbildningsfilen för den fasta programvaran är giltig och har laddats upp visas en (+) ikon bredvid filnamnet för avbildningen av den fasta programvaran i kolumnen Innehåll. Expandera namnet för att visa information om enhetsnamn, aktuell och tillgänglig version av fast programvara.
6. Välj önskad fil för fast CPLD-programvara.
   • En uppdatering av den fasta CPLD-programvaran kräver en omstart av värdsystemet. Klicka på Installera för att starta uppdateringen.

7. Om du vill visa sidan Jobbkö klickar du på Jobbkö. Använd den här sidan för att visa och hantera dina väntande uppdateringar av den fasta programvaran. Du kan klicka på OK för att uppdatera den aktuella sidan och visa status för uppdateringen av den fasta programvaran.

Steg 8: Ta nod ur underhållsläge.

PowerFlex version 4.x, se "Administrationsmanual för Dell Powerflex 4.x".
Förutsättningar: Se till att du har IP-adressen och administratörens inloggningsuppgifter för att komma åt PowerFlex Manager. Vid behov kan kunden ge dig nödvändig information.

1. Slå på noden om du inte redan har gjort det efter CPLD-uppdateringen. Operativsystemet startas och alla PowerFlex-processer startas automatiskt.

2. När noden är aktiverad loggar du in på PowerFlex Manager igen som administratörsanvändare via webbläsaren.

3. Klicka på Monitoring > Alerts på menyraden och bekräfta att inget meddelande om frånkoppling visas för en SDS- eller SDC-värd, eller för en SDR eller SDT, om tillämpligt.

4. För en ESXi-nod gör du följande:
   1. Från vSphere-webbklienten kontrollerar du att noden visas som påslagen och ansluten i både värd- och klustervyn.
   2. Högerklicka på noden och välj Avsluta underhållsläge.
   3. Expandera servern och välj den virtuella lagringsdatorn (SVM). Om SVM inte slås på automatiskt slår du på den manuellt.
5. Avsluta SDS från underhållsläge: 
   • Avsluta lagringsdataservern från underhållsläge
6. Om en SDR har konfigurerats på noden tar du bort SDR från underhållsläge.
   • Avsluta SDR från underhållsläge.

PowerFlex version 3.x, se manualen "Uppgradera Dell PowerFlex till v3.6.x".
Förutsättningar: Kontrollera att användaren har följande inloggningsuppgifter (tillgängliga från administratören): IP-adress eller värdnamn för PowerFlex-presentationsserver som används för åtkomst till PowerFlex-gränssnittet

1. Slå på noden om det inte redan har gjorts efter CPLD-uppdateringen. Operativsystemet startar och alla PowerFlex-processer startar automatiskt
2. Avsluta noden från underhållsläge: Återställa noden till drift
3. Om en SDR har konfigurerats på noden tar du bort SDR från underhållsläge.

Steg 9: Fortsätt med nästa nod i klustret

Sekvensen med steg 2 till och med steg 8 bör slutföras för alla noder i klustret, en i taget.  När alla noder har uppgraderats är processen klar