PowerProtect DD: System plików jest wyłączony, jeśli na DD ustawiono krytyczny alert środowiskowy

PowerProtect DDOS zawiera zabezpieczenie, które wyłącza system plików DD (DDFS), jeśli

1: Czas systemowy przeskakuje do tyłu o ponad 60 sekund. W przypadku wystąpienia takiej zmiany czasu systemowego i/lub 

2: Jeśli jakiekolwiek inne komponenty sprzętowe ulegną awarii i system ustawi krytyczny alert środowiskowy dla obudowy 1

Ma to miejsce:   

• DDFS jest wyłączony i nie uruchamia się automatycznie ponownie
• Alert (EVT-ENVIRONMENT-00052) jest publikowany, czyli:    

Event posted: p0-32 -EVT-ENVIRONMENT-00052: File system is disabled due to a critical condition.EVT-OBJ::Enclosure=1 EVT-INFO::Cause=System Time backward jumped
Event posted: p0-32 -EVT-ENVIRONMENT-00052: File system is disabled due to a critical condition.EVT-OBJ::Enclosure=1 EVT-INFO::Cause=System has Critical alert

Po wystąpieniu tego problemu:    

• DDFS nie może ręcznie uruchomić się ponownie (ulega awarii podczas rozruchu)
• Przywrócenie daty i godziny (w celu odwrócenia skoku wstecz) nie pozwala na uruchomienie DDFS
• Rozwiązanie problemu sprzętowego nie pozwala na uruchomienie DDFS

Nie można włączyć systemu plików Data Domain, dopóki nie naprawimy krytycznego stanu środowiska tylko w celu ochrony DD i innych aplikacji zintegrowanych z DD

Zabezpieczenie to zostało wdrożone, ponieważ skok wstecz w czasie systemowym może niekorzystnie wpłynąć na niektóre aplikacje do tworzenia kopii zapasowych, które przechowują dane w DDR. W związku z tym zaprojektowano go w taki sposób, że administrator DDR musi zezwolić na zmianę czasu systemowego przed ponownym włączeniem DDFS.

Uwaga: Po napotkaniu tego problemu nie można włączyć DDFS, ponieważ nie chce się uruchomić, na przykład:    

# filesys enable
Please wait...
01/01 20:32:10.217 (tid 0xxxxxxx): INFO: Event posted: m0-28 (2100001c:553648156): EVT-FILESYS-00008: Filesystem has encountered an error and is restarting.
**** There was a problem bringing up the filesystem. Status: The filesystem is aborting due to a problem.

Ponadto odwrócenie skoku wstecz w czasie systemowym nie pozwala na ponowne włączenie DDFS (problem nadal występuje).

Aby włączyć DDFS, wykonaj następujące kroki. Jeśli DD, którego dotyczy problem, jest aktywnym węzłem w parze DD HA, wykonaj te czynności do obu węzłów przed włączeniem systemu plików (FS).

Z poziomu interfejsu użytkownika:

1. Upewnij się, że data i godzina w systemie są prawidłowe. Jeśli strefa czasowa zostanie zmieniona, system DDR może poprosić o ponowne uruchomienie.
    Natychmiast wykonaj ponowne uruchomienie, aby upewnić się, że wszystkie procesy rozpoznają nową strefę czasową. Przejdź do ustawień administracyjnych >>GODZINA I DATA

• Jeśli masz włączoną usługę NTP, wyłącz ją tymczasowo, aby skorygować zegar. Przejdź do WIĘCEJ ZADAŃ>Konfiguruj ustawienia czasu

• Następnie ponownie skonfiguruj ustawienia czasu, aby w razie potrzeby ponownie włączyć NTP

2. Usuń alert awaryjny odpowiadający błędowi "filesystem disabled due a critical condition". Przejdź do alertów > kondycji > BIEŻĄCE ALERTY

• Poczekaj minutę na anulowanie alertu i aktualizację stanu systemu. W przeciwnym razie stan systemu może nie zostać w pełni zaktualizowany przed rozpoczęciem procesu DDFS, co może spowodować jednorazową awarię i alert FS.

3. Po anulowaniu alertu włącz system plików, jeśli nie jest jeszcze włączony. Przejdź do podsumowania > systemu > plików zarządzania > danymi Kliknij przycisk Włącz w dolnej części strony.

• DDFS powinien się teraz uruchomić/uruchomić normalnie. Jeśli nie odczekałeś wystarczająco dużo czasu po usunięciu alertu przed uruchomieniem procesu FS, w interfejsie CLI może pojawić się alert o napotkaniu problemu przez FS, jednak FS będzie kontynuował próbę uruchomienia, a jeśli problem był taki, jak opisano w tej bazie wiedzy, proces FS ostatecznie się włączy.

Z wiersza poleceń:

1a. Upewnij się, że data i godzina w systemie są prawidłowe. Jeśli strefa czasowa zostanie zmieniona, system DDR może poprosić o ponowne uruchomienie.
    Natychmiast wykonaj ponowne uruchomienie, aby upewnić się, że wszystkie procesy rozpoznają nową strefę czasową.

ust. 1b. Upewnij się, że wszystkie komponenty sprzętowe w DD są w dobrym stanie

2. Usuń alert awaryjny odpowiadający błędowi "filesystem disabled due a critical condition":    

# alert clear alert-id [alert id]

     Na przykład, jeśli byłby to alert p0-32 (jak pokazano powyżej):    
 

# alert clear alert-id p0-32

3. Poczekaj minutę na anulowanie alertu i aktualizację stanu systemu. W przeciwnym razie stan systemu może nie zostać w pełni zaktualizowany przed rozpoczęciem procesu FS, co może spowodować jednorazową awarię i alert FS.

4. Teraz DDFS powinien automatycznie przejść do trybu online, możesz sprawdzić stan systemu plików za pomocą polecenia "# filesys status". jeśli nie, włącz DDFS:    

# filesys enable

• DDFS powinien się teraz uruchomić/uruchomić normalnie. Jeśli nie odczekałeś wystarczająco dużo czasu po usunięciu alertu przed uruchomieniem procesu FS, w interfejsie CLI może pojawić się alert o napotkaniu problemu przez FS, jednak FS będzie kontynuował próbę uruchomienia, a jeśli problem był taki, jak opisano w tej bazie wiedzy, proces FS ostatecznie się włączy.

Aby uzyskać więcej informacji na temat tego zabezpieczenia lub informacje zawarte w tym artykule, należy skontaktować się z działem pomocy technicznej firmy Dell.

Poniżej przedstawiono przykład problemu:    

• Początkowo program DDFS działa normalnie:    

# filesys status
The filesystem is enabled and running.

• Data i godzina systemowa DDR to 7 marca 2017 r. o godzinie 13:28:    

# date
Sun Mar  7 13:28:24 PST 2017

• Data jest ręcznie ustawiana wstecz na 1 stycznia 2017 r. (sieciowy protokół czasu/NTP musi być wyłączony, aby ta zmiana była możliwa):    

# system set date 01012017

• Logowanie do DDR (messages.engineering) wskazuje, że data lub godzina systemu zostały zmienione wstecz i że DDFS jest wyłączany:

Mar  7 13:28:24 rtp-ddr30 ddsh: NOTICE: MSG-DDSH-00009: (tty=ttyS0, session=15703) root: command "system set date 01012017"
...
Jan  1 20:17:04 rtp-ddr30 ddr_stated: Availability stats: Invalid time interval -5591476. Probably the system clock was changed.
Jan  1 20:17:51 rtp-ddr30 platmon: INFO: Found a system time jump: -5591485
Jan  1 20:17:51 rtp-ddr30 platmon: INFO: Before Jump: system time: Tue Mar  7 13:28:15 2017 , rtc time: Tue Mar  7 13:28:16 2017 , ntp last sync time: Unknown
Jan  1 20:17:51 rtp-ddr30 platmon: INFO: After  Jump: system time: Sun Jan  1 20:17:51 2017 , rtc time: Sun Jan  1 20:17:51 2017 , ntp last sync time: Unknown
...
Jan  1 20:17:51 rtp-ddr30 platmon: NOTICE: post_alert: Generating alert EVT-ENVIRONMENT-00052
Jan  1 20:17:52 rtp-ddr30 platmon: INFO: Event posted: p0-32 (11000020:285212704): EVT-ENVIRONMENT-00052: File system is disabled due to a critical condition.EVT-OBJ::Enclosure=1 EVT-INFO::Cause=System Time backward jumped
Jan  1 20:17:52 rtp-ddr30 platmon: NOTICE: evaluate_symbol_node: taking action(s) on error_indict(1)
Jan  1 20:17:52 rtp-ddr30 platmon: INFO: System time jumped, needs service now
Jan  1 20:17:52 rtp-ddr30 platmon: ERROR: Fatal error in platform monitor, DDFS shall be disabled
...
Jan  1 20:17:55 rtp-ddr30 ddr_procmon: ERROR: Critical error is detected by platform monitoring, filesystem is shutdown.
...
Jan  1 20:17:55 rtp-ddr30 ddr_stated: INFO: change_state(): shutdown requested
Jan  1 20:17:55 rtp-ddr30 ddfs[3761]: NOTICE: MSG-DDR-00003: Shutting down ddfs

• Opublikowany zostanie alert awaryjny informujący, że DDFS został wyłączony "z powodu stanu krytycznego":    

Gdy DD jest częścią usługi Windows Active Directory lub jest do niej przyłączona, używa kontrolera domeny (DC) jako źródła czasu systemowego. DD okresowo synchronizuje swoją datę i godzinę z kontrolerem domeny. Jeśli data i godzina kontrolera domeny systemu Windows ulegną zmianie, aktualizacje są wypychane do DD przez CIFS. Taki skok w czasie o ponad 60 s wyzwala to zachowanie.

Aby dowiedzieć się, czy tak może być, zacznij od sprawdzenia, czy DD jest skonfigurowany dla CIFS i powiązany lub przyłączony do określonego obszaru Active Directory:   

# cifs show config
Mode                 Active-Directory
Realm                realm.example.com
Domain Controllers   *
WINS Server          not specified
NB Hostname          DD9300
Max Connections      Not Available
Max Open Files       Not Available

• Jeśli tak, sprawdź w pliku "cifs.log" wpisy takie jak te poniżej:   

# log view debug/cifs/cifs.log
Mar 28 22:03:16 DD9300 lsass: ALWAYS: [24497/1585429396.001947087] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sat Mar 28 22:03:16 2020 ] to [Sat Mar 28 22:54:38 2020 ]
Mar 28 23:44:38 DD9300 lsass: ALWAYS: [24497/1585435478.001799190] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sat Mar 28 23:44:38 2020 ] to [Sat Mar 28 22:53:15 2020 ]
Mar 29 22:04:38 DD9300 lsass: ALWAYS: [24497/1585512278.002014016] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sun Mar 29 22:04:38 2020 ] to [Sun Mar 29 22:55:53 2020 ]
Mar 29 23:25:53 DD9300 lsass: ALWAYS: [24499/1585517153.001946740] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sun Mar 29 23:25:53 2020 ] to [Sun Mar 29 22:34:37 2020 ]
Mar 29 23:25:53 DD9300 lsass: ALWAYS: [24497/1585517153.001946645] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sun Mar 29 23:25:53 2020 ] to [Sun Mar 29 22:34:37 2020 ]
Mar 30 22:00:53 DD9300 lsass: ALWAYS: [24497/1585598453.002161373] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Mon Mar 30 22:00:53 2020 ] to [Mon Mar 30 22:52:01 2020 ]
Mar 30 23:12:01 DD9300 lsass: ALWAYS: [24497/1585602721.002275775] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Mon Mar 30 23:12:01 2020 ] to [Mon Mar 30 22:20:52 2020 ]