VNX: Klienci odłączeni od serwera CIFS podczas odświeżania wewnętrznego punktu kontrolnego

Duże katalogi
Nasdirtool potwierdza, że produkcyjne systemy plików, których dotyczy problem, zawierają wiele katalogów z ponad 500 000 plików w jednym katalogu

Z danych wyjściowych nasdirtool:.....

/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95 MB rozmiaru i 1,4 miliona plików
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150 MB i 2,1 miliona plików



Niektórzy klienci CIFS są odłączeni od serwera VNX CIFS podczas aktualizacji wewnętrznych punktów kontrolnych używanych do replikacji w macierzy źródłowej.

Inni klienci CIFS i NFS na innych udziałach działają normalnie.

Często można zaobserwować wysokie wykorzystanie procesora w module przenoszenia danych, w zależności od wielkości zawartości katalogów, wykorzystanie procesora może osiągnąć 100%.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Sieć sieciowa dVol dVol
Timestamp Util In Out Zapis
% KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Przechwytywanie sieci wykonane podczas incydentu wykazało, że komunikacja TCP między klientem a serwerem działała prawidłowo, ale serwer CIFS nie odpowiedział konkretnemu klientowi, u którego wystąpił problem na poziomie protokołu SMB, co spowodowało przekroczenie limitu czasu klienta.

System plików po stronie źródłowej używany do replikacji zawiera katalogi, które przekraczają 500 000 plików w jednym katalogu. Jak opisano w EMC VNX OE dla informacji dotyczących wydania pliku, przekroczenie 500 000 plików w jednym katalogu spowoduje problemy z wydajnością.

W dzienniku modułu przenoszenia danych podczas problemu są rejestrowane następujące zdarzenia:

2016-08-12 12:58:40: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB415 przerwane (klient WINCLIENT01 odłączony)
2016-08-12 12:58:49: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB034 przerwane (klient WINCLIENT02 odłączony)

2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB356 przerwane (klient WINCLIENT03 odłączony)
2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB358 przerwane (klient WINCLIENT04 odłączony)



W dzienniku modułu przenoszenia danych widać, że problem odpowiada odświeżeniu

punktu kontrolnego replikacji wewnętrznej Przykład normalnej szybkiej pauzy FS w celu odświeżenia punktu kontrolnego w tej macierzy
po stronie źródłowej 2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() zgłoszone na fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: pauza zrobione na fsid:1103
   
W tym przypadku jakaś operacja opóźnia pauzę
2016-08-19 12:42:36: 26042826752: SVFS: 6: pause() żądane na fsid:1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB396 przerwane (klient WINCLIENT01 odłączony)
2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB478 przerwany (klient WINCLIENT02 odłączony)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock dla wątku 1SMB298 przerwane (klient WINCLIENT03 odłączony)
2016-08-19 13:00:52: 26042826752: SVFS: 6: pauza zrobiona na fsid:1103

Powyższa pauza odświeżania wewnętrznego punktu kontrolnego po stronie źródłowej pokazuje nienormalne zachowanie. Przeprowadzono wymuszoną panikę, aby potwierdzić, co powoduje, że pauza trwa tak długo, a analiza pliku zrzutu awaryjnego potwierdziła, że system plików zawiera katalogi z milionami plików w jednym katalogu.

W produkcyjnym systemie plików należy wprowadzić nową strukturę podkatalogów. Pliki w problematycznych katalogach muszą być rozproszone w nowych katalogach, tak aby nie przekroczyć 500 000 plików w jednym katalogu. Oryginalne problematyczne katalogi powinny zostać usunięte przez administratora VNX.

   

Wytyczne/specyfikacja	Maksymalna badana wartość	Komentarz
Liczba plików na katalog	500,000	Przekroczenie tej liczby spowoduje problemy z wydajnością.