VNX: Klienti odpojeni od serveru CIFS během obnovení interního kontrolního bodu

Velké adresáře
Nástroj Nasdirtool potvrzuje, že dotčené produkční systémy souborů obsahují více adresářů s více než 500 000 soubory v jednom adresáři

Z výstupu nasdirtool:
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== Velikost 95 MB a 1,4 milionu souborů
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== Velikost 150 MB a 2,1 milionu souborů



Někteří klienti CIFS jsou odpojeni od serveru VNX CIFS během aktualizace interních kontrolních bodů používaných pro replikaci ve zdrojovém poli.

Ostatní klienti CIFS a klienti NFS na ostatních sdílených složkách fungují normálně.

V závislosti na tom, jak velký je obsah adresářů, může využití procesoru přenašeče dat dosáhnout 100 %.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Network Network dVol dVol
Timestamp Util In Out Read %
KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Síťový záznam provedený během incidentu ukázal, že komunikace TCP mezi klientem a serverem funguje správně, ale server CIFS nereagoval na konkrétního klienta, u kterého došlo k problému na úrovni protokolu SMB, což vedlo k vypršení časového limitu klienta.

Systém souborů na zdrojové straně používaný pro replikaci obsahuje adresáře, které v jednom adresáři překračují 500 000 souborů. Jak je zdokumentováno v prostředí EMC VNX OE pro poznámky k verzi souborů, překročení 500 000 souborů v jednom adresáři bude mít za následek problémy s výkonem.

Z protokolu přesouvání dat se během problému zaznamenávají následující události:

2016-08-12 12:58:40: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB415 aborted (klient WINCLIENT01 odpojen
)2016-08-12 12:58:49: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB034 aborted (klient WINCLIENT02 odpojen

) 2016-08-12 13:09:29: SMB: 6:[VDM2] Kvóta:getFsAndLock pro vlákno 1SMB356 přerušena (klient WINCLIENT03 odpojen
)2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock pro vlákno 1SMB358 přerušeno (klient WINCLIENT04 odpojen



) Protokol Data mover ukazuje, že problém odpovídá obnovení

kontrolního bodu interní replikace Příklad normálního rychlého pozastavení FS pro obnovení kontrolního bodu na tomto poli
na straně zdroje 2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() požadováno na fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: pauza provedená na fsid:1103
   
V tomto případě nějaká operace zpožďuje pauzu
2016-08-19 12:42:36: 26042826752: SVFS: 6: pause() požadováno na fsid:1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB396 aborted (klient WINCLIENT01 odpojen
)2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB478 zrušen (klient WINCLIENT02 odpojen
)...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB298 aborted (klient WINCLIENT03 odpojen
)2016-08-19 13:00:52: 26042826752: SVFS: 6: pauza se provádí na fsid: 1103

Interní pozastavení kontrolního bodu na straně zdroje výše uvedená pauza ukazuje nenormální chování. Byla provedena vynucená panika, aby se potvrdilo, proč pauza trvá tak dlouho, a analýza souboru výpisu paniky potvrdila, že souborový systém obsahuje adresáře s miliony souborů v jednom adresáři.

V produkčním systému souborů by měla být zavedena nová struktura podadresářů. Soubory v problematických adresářích musí být distribuovány napříč novými adresáři tak, aby nepřekročily 500,00 souborů v jednom adresáři. Původní problematické adresáře by pak měl správce VNX odstranit.

   

Pokyny/specifikace	Maximální testovaná hodnota	Komentář
Počet souborů na adresář	500,000	Překročení tohoto počtu způsobí problémy s výkonem.