PowerProtect DD: Il file system viene disabilitato se su DD è impostato un avviso ambientale critico

PowerProtect DDOS include una protezione che disabilita DD File System (DDFS) se:

1. L'ora di sistema salta indietro di oltre 60 secondi. Se si verifica tale modifica dell'ora di sistema,, E/O 

2. Se si guasta un qualsiasi altro componente hardware e il sistema imposta un avviso ambientale critico per l'enclosure 1

Si verifica quanto segue:   

• DDFS è disabilitato e non si riavvia automaticamente
• Viene pubblicato un avviso (EVT-ENVIRONMENT-00052), ovvero:    

Event posted: p0-32 -EVT-ENVIRONMENT-00052: File system is disabled due to a critical condition.EVT-OBJ::Enclosure=1 EVT-INFO::Cause=System Time backward jumped
Event posted: p0-32 -EVT-ENVIRONMENT-00052: File system is disabled due to a critical condition.EVT-OBJ::Enclosure=1 EVT-INFO::Cause=System has Critical alert

Una volta riscontrato questo problema:    

• DDFS non è in grado di riavviare manualmente (errore irreversibile durante l'avvio)
• Il ripristino della data e dell'ora (per invertire il salto all'indietro) non consente l'avvio di DDFS
• La risoluzione del problema hardware non consente l'avvio di DDFS

Il file system di Data Domain non può essere abilitato fino a quando non viene risolta la condizione ambientale critica solo per salvaguardare DD e altre applicazioni integrate in DD

Questa protezione è stata implementata in quanto un salto indietro nel tempo di sistema può influire negativamente su alcune applicazioni di backup che memorizzano dati sul DDR. Di conseguenza, è progettato in modo tale che l'amministratore del DDR debba consentire la modifica dell'ora di sistema prima che DDFS possa essere riattivato.

Nota: Una volta riscontrato questo problema, DDFS non può essere abilitato perché si rifiuta di avviarsi, ad esempio:    

# filesys enable
Please wait...
01/01 20:32:10.217 (tid 0xxxxxxx): INFO: Event posted: m0-28 (2100001c:553648156): EVT-FILESYS-00008: Filesystem has encountered an error and is restarting.
**** There was a problem bringing up the filesystem. Status: The filesystem is aborting due to a problem.

Inoltre, l'inversione del salto indietro nell'ora di sistema non consente di riabilitare DDFS (il problema persiste).

Per abilitare DDFS, attenersi alla seguente procedura. Se il DD interessato è il nodo attivo in una coppia DD HA, applicare questi passaggi a entrambi i nodi prima di abilitare il file system (FS).

Dall'interfaccia utente:

1. Verificare che la data e l'ora del sistema siano corrette. Se si modifica il fuso orario, DDR potrebbe richiedere un riavvio.
    Eseguire immediatamente questo riavvio per garantire che tutti i processi riconoscano il nuovo fuso orario. Vai alle impostazioni >di amministrazione>ORA E DATA

• Se NTP è abilitato, disabilitarlo temporaneamente per correggere l'orologio. Vai a ALTRE ATTIVITÀ>Configurare le impostazioni dell'ora

• Quindi configurare nuovamente le impostazioni dell'ora per riabilitare NTP, se necessario

2. Cancellare l'avviso di emergenza corrispondente all'errore "filesystem disabled due to a critical condition". Vai a Avvisi di > integrità > AVVISI CORRENTI

• Attendere un minuto affinché l'avviso scompaia e lo stato del sistema si aggiorni. In caso contrario, lo stato del sistema potrebbe non aggiornarsi completamente prima dell'avvio del processo DDFS, causando potenzialmente un arresto anomalo e un avviso FS una tantum.

3. Abilitare il file system se non è già abilitato dopo la cancellazione dell'avviso. Andare a Data Management > File System > Summary > Cliccare su Enable, verso la fine della pagina.

• DDFS dovrebbe ora avviarsi/funzionare normalmente. Se non è stato possibile attendere un tempo sufficiente dopo la cancellazione dell'avviso prima di avviare il processo FS, è possibile che venga visualizzato un avviso nella CLI relativo al problema riscontrato da FS, tuttavia, FS continuerà a tentare di avviarsi e, se il problema era come descritto in questo articolo della KB, il processo FS alla fine lo abiliterà.

Dalla CLI:

1a. Verificare che la data e l'ora del sistema siano corrette. Se si modifica il fuso orario, DDR potrebbe richiedere un riavvio.
    Eseguire immediatamente questo riavvio per garantire che tutti i processi riconoscano il nuovo fuso orario.

1 ter. Assicurarsi che tutti i componenti hardware in DD siano in buono stato

2. Cancellare l'avviso di emergenza corrispondente all'errore "filesystem disabled due to a critical condition":    

# alert clear alert-id [alert id]

     Ad esempio, se si trattasse dell'avviso p0-32 (come mostrato sopra):    
 

# alert clear alert-id p0-32

3. Attendere un minuto affinché l'avviso scompaia e lo stato del sistema si aggiorni. In caso contrario, lo stato del sistema potrebbe non aggiornarsi completamente prima dell'avvio del processo FS, causando potenzialmente un arresto anomalo e un avviso una tantum di FS.

4. Ora DDFS dovrebbe andare automaticamente online, è possibile controllare lo stato del file system con "# filesys status". in caso contrario, abilitare DDFS:    

# filesys enable

• DDFS dovrebbe ora avviarsi/funzionare normalmente. Se non è stato possibile attendere un tempo sufficiente dopo la cancellazione dell'avviso prima di avviare il processo FS, è possibile che venga visualizzato un avviso nella CLI relativo al problema riscontrato da FS, tuttavia, FS continuerà a tentare di avviarsi e, se il problema era come descritto in questo articolo della KB, il processo FS alla fine lo abiliterà.

Per ulteriori informazioni su questa protezione o su tutte le informazioni contenute in questo articolo, contattare il supporto tecnico Dell.

Di seguito è riportato un esempio del problema:    

• Inizialmente, DDFS viene eseguito normalmente:    

# filesys status
The filesystem is enabled and running.

• Il DDR ha una data di sistema, le 13:28 del 7 marzo 2017:    

# date
Sun Mar  7 13:28:24 PST 2017

• La data viene impostata manualmente al 1° gennaio 2017 (il protocollo NTP/Network Time deve essere disabilitato prima che questa modifica sia possibile):    

# system set date 01012017

• I registri in DDR (messages.engineering) indicano che la data o l'ora del sistema è stata modificata in modo inverso e che DDFS è in fase di disabilitazione:

Mar  7 13:28:24 rtp-ddr30 ddsh: NOTICE: MSG-DDSH-00009: (tty=ttyS0, session=15703) root: command "system set date 01012017"
...
Jan  1 20:17:04 rtp-ddr30 ddr_stated: Availability stats: Invalid time interval -5591476. Probably the system clock was changed.
Jan  1 20:17:51 rtp-ddr30 platmon: INFO: Found a system time jump: -5591485
Jan  1 20:17:51 rtp-ddr30 platmon: INFO: Before Jump: system time: Tue Mar  7 13:28:15 2017 , rtc time: Tue Mar  7 13:28:16 2017 , ntp last sync time: Unknown
Jan  1 20:17:51 rtp-ddr30 platmon: INFO: After  Jump: system time: Sun Jan  1 20:17:51 2017 , rtc time: Sun Jan  1 20:17:51 2017 , ntp last sync time: Unknown
...
Jan  1 20:17:51 rtp-ddr30 platmon: NOTICE: post_alert: Generating alert EVT-ENVIRONMENT-00052
Jan  1 20:17:52 rtp-ddr30 platmon: INFO: Event posted: p0-32 (11000020:285212704): EVT-ENVIRONMENT-00052: File system is disabled due to a critical condition.EVT-OBJ::Enclosure=1 EVT-INFO::Cause=System Time backward jumped
Jan  1 20:17:52 rtp-ddr30 platmon: NOTICE: evaluate_symbol_node: taking action(s) on error_indict(1)
Jan  1 20:17:52 rtp-ddr30 platmon: INFO: System time jumped, needs service now
Jan  1 20:17:52 rtp-ddr30 platmon: ERROR: Fatal error in platform monitor, DDFS shall be disabled
...
Jan  1 20:17:55 rtp-ddr30 ddr_procmon: ERROR: Critical error is detected by platform monitoring, filesystem is shutdown.
...
Jan  1 20:17:55 rtp-ddr30 ddr_stated: INFO: change_state(): shutdown requested
Jan  1 20:17:55 rtp-ddr30 ddfs[3761]: NOTICE: MSG-DDR-00003: Shutting down ddfs

• Viene pubblicato un avviso di emergenza che indica che DDFS è stato disattivato "a causa di una condizione critica":    

Quando DD fa parte di o è aggiunto a Windows Active Directory, utilizza il controller di dominio (DC) come origine ora di sistema. DD sincronizza periodicamente la data e l'ora con il controller di dominio. Se la data e l'ora del DC Windows cambiano, gli aggiornamenti vengono inviati a DD tramite CIFS. Un salto temporale all'indietro di oltre 60 s attiva questo comportamento.

Per sapere se questo potrebbe essere il caso, iniziare con il verificare se DD è configurato per CIFS e associato o aggiunto a una particolare area di autenticazione Active Directory:   

# cifs show config
Mode                 Active-Directory
Realm                realm.example.com
Domain Controllers   *
WINS Server          not specified
NB Hostname          DD9300
Max Connections      Not Available
Max Open Files       Not Available

• In tal caso, controllare se sono presenti voci come quelle riportate di seguito nel file "cifs.log":   

# log view debug/cifs/cifs.log
Mar 28 22:03:16 DD9300 lsass: ALWAYS: [24497/1585429396.001947087] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sat Mar 28 22:03:16 2020 ] to [Sat Mar 28 22:54:38 2020 ]
Mar 28 23:44:38 DD9300 lsass: ALWAYS: [24497/1585435478.001799190] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sat Mar 28 23:44:38 2020 ] to [Sat Mar 28 22:53:15 2020 ]
Mar 29 22:04:38 DD9300 lsass: ALWAYS: [24497/1585512278.002014016] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sun Mar 29 22:04:38 2020 ] to [Sun Mar 29 22:55:53 2020 ]
Mar 29 23:25:53 DD9300 lsass: ALWAYS: [24499/1585517153.001946740] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sun Mar 29 23:25:53 2020 ] to [Sun Mar 29 22:34:37 2020 ]
Mar 29 23:25:53 DD9300 lsass: ALWAYS: [24497/1585517153.001946645] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Sun Mar 29 23:25:53 2020 ] to [Sun Mar 29 22:34:37 2020 ]
Mar 30 22:00:53 DD9300 lsass: ALWAYS: [24497/1585598453.002161373] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Mon Mar 30 22:00:53 2020 ] to [Mon Mar 30 22:52:01 2020 ]
Mar 30 23:12:01 DD9300 lsass: ALWAYS: [24497/1585602721.002275775] [lsass] ADSyncTimeToDC: Attempting to change System Time, from [Mon Mar 30 23:12:01 2020 ] to [Mon Mar 30 22:20:52 2020 ]