Data Domain: BoostFS — błędy lub punkt montowania przestaje odpowiadać

Objawy:

• BoostFS ulega awarii i wpada w panikę losowo. Dzieje się tak, gdy obciążenie jest duże.
• Aplikacja do tworzenia kopii zapasowych wykonuje z opóźnieniem READ i WRITE operacje w punkcie montowania BoostFS.
• W przypadku opóźnień w READ i WRITE operacji z aplikacji do tworzenia kopii zapasowych, dzienniki BoostFS pokazują to error 5057 File handle is stale from Data Domain server.

BoostFS Logs:

###### WRITE operation FAILED due to STALE FILE HANDLE error ######
Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddcl_ddcp_send_file_loop: Call to recv
refs2 failed. [ERR=5057] Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddcl_ddcp_pwrite: Call to send file loop2 failed. [ERR=5057]
Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddcl_ddcp_pwrite: Error in ddcl ddcp
pwrite. [ERR=5057] Sep 11 00:36:29.635 7884 10740 [E] [ddp log] [1ECC:29F4] ddp_write() failed Offset 11010048, BytesToWrite 1048576, BytesWritten 0 Err: 5057-File handle is stale
Sep 11 00:36:29.635 7884 10740 [E] bfs_cache_flush: failed: 5057 File handle is stale (0 bytes written)
Sep 11 00:36:29.651 7884 11292 [E] [ddp log] [1ECC:2C1C] ddcl_ddcp_send_file_loop: Call to recv
refs2 failed. [ERR=5057]
####### PANIC occurred HERE #######
Sep 11 00:36:29.667 7884 11292 [E] [ddp log] [1ECC:2C1C] PANIC: ..\ddcl\ddcl_ddcp.c:
ddcl_ddcp_commit: 4541: !(c->send_offset == c->write_offset)

Klasyfikacja:

1. Sprawdź dzienniki BoostFS i DDFS (Data Domain File System) po stronie serwera pod kątem zgłoszonego powyżej błędu.
2. Obserwuj opóźnienie w READ i WRITE operacje z poziomu aplikacji do tworzenia kopii zapasowych. Weź pod uwagę dzienniki wpisów i wyjść interfejsu API BoostFS.
3. Sprawdź wartość ustawioną dla OST_ABANDON_TIMEOUT (domyślnie trzy godziny).
4. Sprawdź, czy limit czasu RPC jest większy niż wartość ustawiona dla OST_ABANDON_TIMEOUT.

1. Problem jest spowodowany opóźnieniem READ i WRITE operacje wykonywane przez aplikację do tworzenia kopii zapasowych. Spowoduje to wyzwolenie przekroczenia limitu czasu odrzucenia przez DDFS. Prowadzi to do zamknięcia odpowiedniego uchwytu pliku po trzech godzinach (wartość domyślna)
2. Jest to domyślny limit czasu odrzucenia, używany przez DDFS do identyfikacji nieaktywnego dojścia do pliku. W końcu nowe zapisy mogą ulec awarii po stronie klienta.

Skontaktuj się z działem pomocy technicznej firmy Dell , aby wydłużyć limit czasu wymagany do dostępu do bash.

Zmień parametr OST_ABANDON_TIMEOUT po stronie serwera, wykonując poniższe czynności. Jego wartość można ustawić na większą wartość z maksymalnie 12 godzinami.

1. Zaloguj się do Data Domain z uprawnieniami administratora . Pomoc techniczna przechodzi w tryb bash, a następnie w se tryb z ddsh -s
2. Sprawdź pierwotną wartość OST_ABANDON_TIMEOUT . Uwaga: Wartość domyślna to 10800 sekund (3 godziny). Wartość minimalna to 1800 sekund (30 minut), a wartość maksymalnato 259200 sekund (72 godziny).

SE@DD## se sysparam show OST_ABANDON_TIMEOUT
Name                  Description                         Current   Default   Override
-------------------   ---------------------------------   -------   -------   --------
OST_ABANDON_TIMEOUT   DDCP abandon context timeout(sec)   10800     10800     none
-------------------   ---------------------------------   -------   -------   --------

3. Zwiększ OST_ABANDON_TIMEOUT wartość do wartości maksymalnej = 259200 sekund (72 godziny).

SE@DD## se sysparam set OST_ABANDON_TIMEOUT=259200
SE@DD## se sysparam show OST_ABANDON_TIMEOUT
Name                  Description                         Current   Default   Override
-------------------   ---------------------------------   -------   -------   --------
OST_ABANDON_TIMEOUT   DDCP abandon context timeout(sec)   259200    10800     rpc
-------------------   ---------------------------------   -------   -------   --------
SE@DD##

4. Uruchom ponownie system plików po zmianie powyższego parametru. Potwierdź z klientem, czy to ponowne uruchomienie jest dozwolone. Jeśli nie, zaplanuj okres konserwacji, aby uruchomić następujące polecenie:

SE@dd## filesys disable
SE@dd## filesys enable