Data Domain: Errore irreversibile di BoostFS o mount point che non risponde

Sintomi:

• BoostFS si arresta in modo anomalo e si verifica un errore irreversibile in modo casuale. Ciò si verifica quando il carico di lavoro è elevato.
• L'applicazione di backup esegue READ e WRITE operazioni sul mount point BoostFS.
• In caso di ritardi in READ e WRITE operazioni dall'applicazione di backup, i registri BoostFS mostrano quanto segue error 5057 File handle is stale from Data Domain server.

BoostFS Logs:

###### WRITE operation FAILED due to STALE FILE HANDLE error ######
Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddcl_ddcp_send_file_loop: Call to recv
refs2 failed. [ERR=5057] Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddcl_ddcp_pwrite: Call to send file loop2 failed. [ERR=5057]
Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddcl_ddcp_pwrite: Error in ddcl ddcp
pwrite. [ERR=5057] Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddp_write() failed Offset 11010048, BytesToWrite 1048576, BytesWritten 0 Err: 5057-File handle is stale
Sep 11 00:36:29.635 7884 10740 [E] bfs_cache_flush: failed: 5057 File handle is stale (0 bytes written)
Sep 11 00:36:29.651 7884 11292 [E] [ddp log] [1ECC:2C1C] ddcl_ddcp_send_file_loop: Call to recv
refs2 failed. [ERR=5057]
####### PANIC occurred HERE #######
Sep 11 00:36:29.667 7884 11292 [E] [ddp log] [1ECC:2C1C] PANIC: ..\ddcl\ddcl_ddcp.c:
ddcl_ddcp_commit: 4541: !(c->send_offset == c->write_offset)

Valutazione:

1. Controllare i registri BoostFS e DDFS (Data Domain File System) lato server per l'errore segnalato in precedenza.
2. Osservare il ritardo in READ e WRITE operazioni dall'applicazione di backup. Prendere in considerazione i registri di ingresso e uscita dell'API BoostFS.
3. Controllare il valore impostato per OST_ABANDON_TIMEOUT (impostazione predefinita: tre ore).
4. Verificare che il timeout di RPC sia maggiore del valore impostato per OST_ABANDON_TIMEOUT.

1. Il problema è dovuto a un ritardo nella READ e WRITE operazioni da parte dell'applicazione di backup. In questo modo il DDFS ignora il timeout. Ciò comporta la chiusura dell'handle di file corrispondente dopo tre ore (valore predefinito)
2. Si tratta del periodo di timeout di eliminazione predefinito utilizzato da DDFS per identificare l'handle di file inattivo. Alla fine, le nuove scritture potrebbero riscontrare un errore irreversibile sul lato client.

Contattare il supporto Dell per aumentare il timeout che richiede l'accesso a bash.

Modificare la OST_ABANDON_TIMEOUT sul lato server utilizzando la procedura riportata di seguito. Il suo valore può essere impostato su un valore maggiore con un massimo di 12 ore.

1. Accedere a Data Domain con il ruolo di amministratore . Il supporto passa alla modalità bash e quindi accede se modalità con ddsh -s
2. Controllare il valore OST_ABANDON_TIMEOUT originale. Nota: Il valore predefinito è 10.800 secondi (3 ore). Il valore minimo è 1800 secondi (30 minuti) e il valore massimo è 259.200 secondi (72 ore).

SE@DD## se sysparam show OST_ABANDON_TIMEOUT
Name                  Description                         Current   Default   Override
-------------------   ---------------------------------   -------   -------   --------
OST_ABANDON_TIMEOUT   DDCP abandon context timeout(sec)   10800     10800     none
-------------------   ---------------------------------   -------   -------   --------

3. Aumentare il OST_ABANDON_TIMEOUT Dal valore al valore massimo = 259200 secondi (72 ore).

SE@DD## se sysparam set OST_ABANDON_TIMEOUT=259200
SE@DD## se sysparam show OST_ABANDON_TIMEOUT
Name                  Description                         Current   Default   Override
-------------------   ---------------------------------   -------   -------   --------
OST_ABANDON_TIMEOUT   DDCP abandon context timeout(sec)   259200    10800     rpc
-------------------   ---------------------------------   -------   -------   --------
SE@DD##

4. Riavviare il file system dopo la modifica del parametro precedente. Verificare con il cliente se questo riavvio è consentito. In caso contrario, pianificare un periodo di manutenzione per eseguire il seguente comando:

SE@dd## filesys disable
SE@dd## filesys enable