PowerFlex: Procedura aktualizacji oprogramowania wewnętrznego w celu złagodzenia problemu z rozładowywaniem baterii NVDIMM w niestandardowych węzłach PowerFlex (R650, R750)

Opis problemu

Systemy Dell PowerFlex piętnastej generacji obsługują konfigurację zawierającą moduły NVDIMM, które zapewniają pamięć trwałą wymaganą do obsługi funkcji drobnej ziarnistości. Ta procedura obejmuje czynności mające na celu zaktualizowanie kontrolera iDRAC i CPLD do następujących wersji:

• iDRAC 7.10.50.201
• CPLD 1.1.1

Miejsce pobierania

• Węzeł niestandardowy PowerFlex: https://www.dell.com/support/home/en-us/product-support/product/powerflex-custom-node/drivers
  • (wyszukaj iDRAC i CPLD)

Kontroler iDRAC w nowej wersji sprawdza napięcia ogniw baterii NVDIMM, gdy jest włączony. Rejestruje błąd, jeśli napięcie ogniw spadnie poniżej zdefiniowanego progu. Rejestruje zdarzenie z istotnością „Info”, gdy bateria NVDIMM zmienia status pomiędzy READY i ENABLED.  

Nowa konstrukcja CPLD śledzi stan włączenia baterii NVDIMM i po określonym czasie powraca do stanu gotowości.

• UWAGA: w wyniku powyższego problemu istnieje możliwość, że bateria NVDIMM w węzłach może być uszkodzona i konieczna jest jej wymiana. Ta procedura uwzględnia tę możliwość.
• UWAGA: aktualizacja kontrolerów iDRAC i CPLD musi przebiegać zgodnie z określoną sekwencją. Ta sekwencja wymaga uaktualnienia kontrolera iDRAC, a następnie aktualizacji CPLD. Pomaga to określić, czy bateria uległa awarii.

Przegląd procedury

Aby w pełni rozwiązać ten problem, musimy wykonać następujące czynności:

• Zidentyfikuj baterie NVDIMM w systemie, które nie są wystarczająco naładowane.
  • Ponieważ ten konkretny stan nie jest zgłaszany, należy zaktualizować kontroler iDRAC do wersji wskazanej powyżej (lub nowszej). Ta nowa wersja kontrolera iDRAC będzie zgłaszać błędy BAT0021 lub BAT0017, jeśli wykryje rozładowaną baterię NVDIMM.
  • Zaktualizuj kontroler iDRAC do wersji wskazanej na wszystkich węzłach w systemie
• Poproś o wymianę baterii NVDIMM dla każdej baterii zgłoszonej jako rozładowana i uszkodzona.
  • Nie kontynuuj aktualizacji CPLD w węzłach z uszkodzonymi bateriami NVDIMM, dopóki nie wymienisz uszkodzonej baterii.
  • Baterie zamienne mogą nie być w pełni naładowane, a pełne naładowanie po instalacji może trwać do 75 minut.
  • W przypadku węzłów z dobrymi bateriami NVDIMM można kontynuować aktualizację oprogramowania wewnętrznego CPLD.
• Po wymianie uszkodzonych baterii przejdź do aktualizacji oprogramowania wewnętrznego CPLD za pomocą kontrolera iDRAC.
  • Przed zakończeniem aktualizacji należy uruchomić tryb konserwacji węzła
  • Węzeł uruchomi się ponownie, a następnie przeprowadzi aktualizację CPLD.
• Po ponownym uruchomieniu węzła po aktualizacji CPLD wyłącz tryb konserwacji.
• Gdy węzeł zakończy konserwację, rozpocznie się operacja odbudowy i ponownego równoważenia.  
  • UWAGA: przed kontynuowaniem aktualizacji następnego węzła w klastrze poczekaj na zakończenie odbudowy i ponownego równoważenia.

Wymagania wstępne

• Minimalna wersja systemu BIOS dla tej aktualizacji CPLD to 1.8.2.  (zalecana wersja 1.10.2 lub nowsza)
• Podczas procedury wymiany podzespołów klient jest zobowiązany do wykonania następujących zadań:
  • Migracja wszystkich aplikacji innych niż PowerFlex w węźle na inny serwer.
  • Bezpiecznie wyłącz serwer, wykonując procedurę zamykania odpowiednią dla używanego systemu operacyjnego.
• Upewnij się, że dostępne są następujące informacje:
  • Typ węzła PowerFlex: Węzeł fizyczny lub węzeł HCI (VMware)
  • Zakres adresów IP, podsieć i adres IP bramy dla klastra PowerFlex i jego węzłów
  • Zakres adresów IP, podsieć i adresy IP bramy dla portu iDRAC w węźle (zdefiniowane podczas początkowego procesu wdrażania)
  • Wszystkie hasła użytkownika root i administratora ustawione na serwerze i kontrolerze iDRAC
  • Adres IP vCenter i poświadczenia logowania, jeśli konfiguracja to HCI

Szczegółowa procedura

Krok 1: Zaktualizuj kontroler iDRAC na wszystkich węzłach w klastrze PowerFlex.

Kontroler iDRAC na tych węzłach można aktualizować bez ponownego uruchamiania węzłów. Procedura aktualizacji kontrolera iDRAC jest następująca.
Upewnij się, że obraz oprogramowania wewnętrznego został pobrany do określonej lokalizacji w systemie lokalnym. Do przeprowadzenia tej procedury potrzebna jest wersja oprogramowania wewnętrznego kontrolera iDRAC, a lokalizacja pobierania jest podana na pierwszej stronie procedury.
UWAGA: przed przejściem do następnego kroku procedury upewnij się, że oprogramowanie wewnętrzne kontrolera iDRAC jest zaktualizowane na wszystkich węzłach w klastrze...

1. Zaloguj się do interfejsu sieciowego kontrolera iDRAC9.
2. Przejdź do sekcji Maintenance, a następnie kliknij opcję System Update. Zostanie wyświetlona strona Manual Update.
3. Na karcie Manual Update należy wybrać opcję Local jako ustawienie typu lokalizacji.

Rysunek 1. Ekran aktualizacji kontrolera iDRAC9

4. Kliknij opcję Choose File i wybierz plik obrazu oprogramowania wewnętrznego dla wymaganego podzespołu, a następnie kliknij przycisk Upload.
5. Po zakończeniu przesyłania w sekcji Update Details wyświetlane są informacje na temat każdego pliku oprogramowania sprzętowego przesłanego do kontrolera iDRAC oraz jego stan. Jeśli plik obrazu oprogramowania układowego został przesłany pomyślnie, w kolumnie Contents wyświetlona zostanie ikona (+) obok nazwy pliku obrazu oprogramowania sprzętowego. Rozwiń nazwę, aby wyświetlić informacje, takie jak Nazwa urządzenia, Bieżące i Dostępna wersja oprogramowania sprzętowego.
6. Wybierz odpowiedni plik oprogramowania wewnętrznego kontrolera iDRAC.
   • Aktualizacja oprogramowania wewnętrznego kontrolera iDRAC nie wymaga ponownego uruchomienia systemu hosta. Kliknij przycisk Install, aby rozpocząć aktualizację.

7. Aby wyświetlić stronę Job Queue, kliknij opcję Job Queue. Ta strona służy do wyświetlania oczekujących aktualizacji oprogramowania wewnętrznego. Możesz kliknąć przycisk OK, aby odświeżyć bieżącą stronę i wyświetlić stan aktualizacji oprogramowania wewnętrznego.
8. Kontroler cyklu eksploatacji zostanie uruchomiony ponownie, a połączenie z kontrolerem iDRAC zostanie zresetowane. Poczekaj kilka minut, aby zalogować się do kontrolera iDRAC.

Uwaga: jeśli wyświetli się błąd połączenia, zobacz artykuł bazy wiedzy Awarie połączenia FQDN HTTP i HTTPS — https://www.dell.com/support/kbdoc/pl-pl/000193619

Krok 2: Sprawdź, czy węzeł nie ma uszkodzonej baterii NVDIMM.

Kontroler iDRAC w wersji 7.10.50.201 i nowszych zawiera kod, który sprawdza poziom naładowania ogniw baterii NVDIMM co 5 sekund i zgłasza następujący błąd w dzienniku zdarzeń systemu iDRAC (SEL), jeśli napięcie ogniwa jest poniżej progu 1,5 V.

• “BAT0021: The NVDIMM battery has reached the end of its usable life or has failed”
• “BAT0017: The NVDIMM battery has failed.”

Jeśli zostanie zgłoszony jeden z powyższych komunikatów, oznacza to, że węzeł ma problemy z baterią NVDIMM, którą należy wymienić.

• UWAGA: nie kontynuuj aktualizacji CPLD w tym węźle z uszkodzoną baterią NVDIMM. Ponowne uruchomienie podczas aktualizacji CPLD zawiesi się i nie uzbroi NVDIMM z powodu uszkodzonej baterii.
• UWAGA: poproś o wymianę baterii NVDIMM.

 Jeśli kontroler iDRAC nie zgłosi problemu, to znaczy, że bateria tego węzła jest w dobrym stanie i nie wymaga wymiany. Można przeprowadzić aktualizację CPLD w tym węźle, a następnie przejść do następnego kroku.

• UWAGA: zoptymalizowane systemy PowerFlex zgłoszą ostrzeżenie o kondycji każdego węzła zgłaszającego błąd BAT0021.  To zachowanie może służyć do identyfikowania uszkodzonych baterii NVDIMM po aktualizacji kontrolera iDRAC
  

• UWAGA: Jeśli pojawi się zdarzenie BAT0017 lub BAT0021, ale potem wystąpi 3. zdarzenie BAT0016, to NIE trzeba wymieniać baterii!
  Inżynierowie NVDIMM zalecają, że w przypadku napotkania tego trzeciego zdarzenia (BAT0016) nie trzeba wymieniać baterii.
  BAT0016    The NVDIMM battery is operating normally.
  

Jeśli wszystkie trzy alerty baterii (BAT0021, BAT0020 BAT0016) zostaną wyświetlone kolejno w czasie krótszym niż minuta, należy to uznać za fałszywy alarm, a bateria zostanie uznana za sprawną i nie należy jej wymieniać. 

Krok 3: Przygotowanie węzła — przełącz SDS w tryb konserwacji.

• Przejdź do trybu konserwacji, wykonując odpowiednią procedurę opisaną poniżej w sekcji PowerFlex w wersji 4.x lub PowerFlex w wersji 3.x
• Wybierz prawidłowy tryb konserwacji PowerFlex
  • Jeśli węzeł nie ma uszkodzonej baterii NVDIMM, zaleca się tryb natychmiastowej konserwacji (IMM) w celu zaktualizowania CPLD. 
    • Pomiń kroki 4 i 5 (wymiana baterii) i przejdź do aktualizacji systemu BIOS (krok 6) oraz CPLD (krok 7)
  • Jeśli węzeł ma uszkodzoną baterię NVDIMM, należy ją wymienić przed aktualizacją CPLD.
    • W takim przypadku węzeł należy przełączyć w chroniony tryb konserwacji (PMM), aby uwzględnić czas ładowania wymiennej baterii.
• UWAGA: ta procedura powoduje rozpoczęcie procesu ponownego równoważenia, dlatego zaleca się zaplanowanie tej procedury w przerwie konserwacyjnej.
• UWAGA: w przypadku korzystania z PMM przed wymianą baterii NVDIMM (kroki 4–5) można pozostać w trybie konserwacji PMM na potrzeby aktualizacji systemu BIOS i CPLD (kroki 6–7)

PowerFlex w wersji 4.x, patrz „Podręcznik administratora Dell PowerFlex 4.x”.

• Jeśli węzeł działa jako główny MDM, wykonaj następujące czynności, aby zmienić właściciela MDM:
  • Ponowne konfigurowanie ról MDM
• Jeśli w węźle skonfigurowano SDR, przełącz go w tryb konserwacji
  • Wprowadź SDR w tryb konserwacji
• Przełącz serwer danych pamięci masowej (SDS) w tryb konserwacji
  • Przełącz serwer danych pamięci masowej (SDS) w tryb konserwacji
• Jeśli jest to węzeł HCI (Vmware), po wykonaniu powyższych czynności przełącz ESXi w tryb konserwacji
  • Przełącz hosta w tryb konserwacji

PowerFlex w wersji 3.x, patrz przewodnik „Uaktualnianie Dell PowerFlex do wersji 3.6.x”.

• Przechodzenie węzła w tryb konserwacji i zamykanie
  • Bezpieczne wyłączanie lub ponowne uruchamianie węzła

Krok 4: Wymień baterię NVDIMM.

Instrukcje wymiany baterii NVDIMM można znaleźć w dokumentacji SolVe dla węzłów PowerFlex, dostępnej pod poniższym łączem.

SolVe (dell.com)

Pobierz dokumentację SolVe dotyczącą „baterii NVDIMM” dla odpowiedniego typu węzła R650/R750 na 15G.
PowerFlex Custom Node > Replacement > 15G > [R650 or R750] > [PowerFlex 3.6 or 4.0] > NVDIMM battery - Linux-based

• UWAGA: pomiń następujące sekcje w dokumentacji „Wymiana baterii NVDIMM”.

Remove the storage devices from PowerFlex.

Powody, dla których nie należy usuwać urządzeń pamięci masowej:

• Usunięcie urządzeń pamięci masowej podczas tej procedury spowoduje niepotrzebną odbudowę całego węzła, co znacznie wydłuży konserwację.
• Ponieważ jest to planowane ponowne uruchomienie, a nie utrata zasilania, podsystem NVDIMM nie korzysta z zasilania z baterii w celu ukończenia operacji zapisywania. Zasilanie jest dostarczane z zasilaczy nawet wtedy, gdy baterie są niesprawne.
• Ponowne uruchomienie spowoduje, że system zgłosi błąd baterii NVDIMM podczas włączania. Jednak dane w pamięci NVDIMM zostały zapisane i nie wystąpiła utrata danych.

Krok 5: Poczekaj, aż włożone baterie się naładują

Jeśli wymieniono baterię NVDIMM w określonym węźle, włącz system. System nie uruchomi się całkowicie. System BIOS przestanie czekać na naładowanie baterii, ponieważ wymienna bateria NVDIMM może nie mieć wystarczającego poziomu naładowania wymaganego przez system do ochrony danych w modułach NVDIMM. Ładowanie baterii może zająć około 60–75 minut. Możesz spróbować ponownie uruchomić system po 60–75 minutach, a węzeł powinien również zasilić i uzbroić podsystem NVDIMM.

• UWAGA: zaplanuj przerwę konserwacyjną na 60–75 minut dla każdego węzła, który wymaga wymiany baterii.

Krok 6: W razie potrzeby zaktualizuj system BIOS

Wersja CPLD użyta do rozwiązania podstawowego problemu opisanego w tej bazie wiedzy wymaga systemu BIOS co najmniej w wersji 1.8.2. (Zalecany system BIOS w wersji 1.10.2 lub nowszej)
Wdrożenia niestandardowych węzłów PowerFlex wymagają określonych wersji sterowników, systemu BIOS i oprogramowania wewnętrznego, które zostały zatwierdzone i zakwalifikowane przez firmę Dell.
Jeśli bieżąca wersja systemu BIOS jest niższa niż 1.8.2, zaktualizuj oprogramowanie wewnętrzne do najnowszej wersji opublikowanej w Tabeli sterowników i oprogramowania wewnętrznego niestandardowego węzła PowerFlex.

1. Upewnij się, że węzeł jest w trybie konserwacji. Jeśli tak nie jest, zapoznaj się z instrukcjami w „kroku 3”.
2. Aby pobrać wersję systemu BIOS, zapoznaj się z sekcją „Lokalizacje pobierania” w tej bazie wiedzy
   • Uwaga: kliknij opcję „Starsze wersje”, aby wybrać wersję, która ma być zgodna z tabelą, która jest docelowa.
3. Kontynuuj aktualizację systemu BIOS do wersji 1.8.2 lub nowszej. 

• Procedura uaktualniania systemu BIOS serwera Dell PowerEdge dla 15G:  https://www.dell.com/support/kbdoc/pl-pl/000222827/dell-technologies-recommends-upgrading-bios-and-idrac9-for-15th-generation-poweredge-servers

Krok 7: Zaktualizuj urządzenie CPLD do wersji 1.1.1

Wymagania wstępne:

• upewnij się, że serwer SDS jest w trybie konserwacji PowerFlex. W przypadku węzłów ESXi upewnij się, że ESXi jest również w trybie konserwacji. Jeśli nie, zapoznaj się z „krokiem 3” tego artykułu, aby uzyskać instrukcje.
• Upewnij się, że obraz oprogramowania wewnętrznego CPLD jest dostępny w systemie lokalnym. Aby pobrać odpowiednią wersję CPLD, zapoznaj się z sekcją „Lokalizacje pobierania” tego artykułu. 
  • Aktualizacja CPLD wyzwala ponowne uruchomienie węzła.

Uwaga: 

• wykonaj aktualizację oprogramowania wewnętrznego CPLD po aktualizacji oprogramowania wewnętrznego kontrolera iDRAC.
• Przed rozpoczęciem aktualizacji oprogramowania wewnętrznego CPLD wymień baterię NVDIMM.

Procedura aktualizacji CPLD jest następująca.

1. Zaloguj się do interfejsu sieciowego kontrolera iDRAC9.
2. Przejdź do sekcji Maintenance, a następnie kliknij opcję System Update. Zostanie wyświetlona strona Manual Update.
3. Na karcie Manual Update należy wybrać opcję Local jako ustawienie typu lokalizacji.Rysunek 1. Ekran aktualizacji kontrolera iDRAC9
4. Kliknij opcję Choose File i wybierz plik obrazu oprogramowania wewnętrznego dla wymaganego podzespołu, a następnie kliknij przycisk Upload.
5. Po zakończeniu przesyłania w sekcji Update Details wyświetlane są informacje na temat każdego pliku oprogramowania sprzętowego przesłanego do kontrolera iDRAC oraz jego stan. Jeśli plik obrazu oprogramowania układowego został przesłany pomyślnie, w kolumnie Contents wyświetlona zostanie ikona (+) obok nazwy pliku obrazu oprogramowania sprzętowego. Rozwiń nazwę, aby wyświetlić informacje, takie jak Nazwa urządzenia, Bieżące i Dostępna wersja oprogramowania sprzętowego.
6. Wybierz odpowiedni plik oprogramowania wewnętrznego CPLD.
   • Aktualizacja oprogramowania wewnętrznego CPLD wymaga ponownego uruchomienia systemu hosta. Kliknij przycisk Install, aby rozpocząć aktualizację.

7. Aby wyświetlić stronę Job Queue, kliknij opcję Job Queue. Ta strona służy do wyświetlania oczekujących aktualizacji oprogramowania wewnętrznego. Możesz kliknąć przycisk OK, aby odświeżyć bieżącą stronę i wyświetlić stan aktualizacji oprogramowania wewnętrznego.

Krok 8: Wyłącz tryb konserwacji węzła.

PowerFlex 4.x, patrz „Podręcznik administracyjny Dell PowerFlex 4.x”.
Wymagania wstępne: Upewnij się, że masz adres IP i poświadczenia logowania administratora wymagane do uzyskania dostępu do aplikacji PowerFlex Manager. W razie potrzeby klient może udzielić Ci niezbędnych informacji.

1. Po aktualizacji CPLD włącz węzeł, jeśli jeszcze nie jest włączony. Nastąpi rozruch systemu operacyjnego, a wszystkie procesy PowerFlex zostaną uruchomione automatycznie.

2. Po uruchomieniu węzła zaloguj się ponownie do programu PowerFlex Manager w przeglądarce jako administrator.

3. Na pasku menu kliknij pozycję Monitoring > Alerts i upewnij się, że nie jest wyświetlany żaden komunikat o rozłączeniu dla hosta SDS lub SDC ani dla SDR lub SDT, jeśli dotyczy.

4. W przypadku węzła ESXi wykonaj następujące czynności:
   1. W kliencie vSphere Web Client upewnij się, że węzeł wyświetla się jako włączony i połączony zarówno w widoku hostów, jak i klastrów.
   2. Kliknij węzeł prawym przyciskiem myszy i wybierz polecenie Exit Maintenance Mode.
   3. Rozwiń serwer i wybierz maszynę wirtualną pamięci masowej (SVM). Jeśli SVM nie włączy się automatycznie, włącz ją ręcznie.
5. Wyjdź z trybu konserwacji SDS: 
   • Wyjdź z trybu konserwacji serwera danych pamięci masowej
6. Jeśli w węźle skonfigurowano SDR, wyłącz tryb konserwacji.
   • Wyjdź z trybu konserwacji SDR.

PowerFlex w wersji 3.x, patrz przewodnik „Uaktualnianie Dell PowerFlex do wersji 3.6.x”.
Wymagania wstępne: upewnij się, że użytkownik ma następujące poświadczenia (dostępne u administratora): Adres IP lub nazwa hosta serwera prezentacji PowerFlex, używane do uzyskiwania dostępu do graficznego interfejsu użytkownika PowerFlex

1. Po aktualizacji CPLD włącz węzeł, jeśli jeszcze nie jest włączony. Nastąpi rozruch systemu operacyjnego, a wszystkie procesy PowerFlex zostaną uruchomione automatycznie
2. Wyjdź z trybu konserwacji węzła: Przywróć węzeł do pracy
3. Jeśli w węźle skonfigurowano SDR, wyłącz tryb konserwacji.

Krok 9: Kontynuuj z następnym węzłem w klastrze

Sekwencja kroków od 2 do 8 powinna być wykonana dla wszystkich węzłów w klastrze, po jednym na raz.  Po uaktualnieniu wszystkich węzłów proces zostanie zakończony