VNX: Klienter afbrudt fra CIFS-serveren under intern opdatering af kontrolpunkt

Store mapper
Nasdirtool bekræfter, at påvirkede produktionsfilsystemer indeholder flere mapper med over 500,00 filer i en enkelt mappe

Fra nasdirtool output:.....

/root_vdm_5/Programmer/Appstorage/Images,95616,1458761 <=== 95MB i størrelse og 1,4 millioner filer
/root_vdm_6/Produktion/Undermappe2/REP,150731,2104554 <=== 150MB i størrelse og 2,1 millioner filer



Nogle CIFS-klienter frakobles VNX CIFS-serveren under opdateringen af de interne kontrolpunkter, der bruges til replikering på kildesiden.

Andre CIFS-kunder og NFS-kunder på andre aktier fungerer normalt.

Høj CPU-udnyttelse på data mover kan ses ofte, afhængigt af hvor stort katalogindholdet er, kan data mover CPU-udnyttelsen nå 100%.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Network Network dVol dVol
Timestamp Util In Out Read Write
% KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


En netværksoptagelse taget under hændelsen viste, at TCP-kommunikation fra klient til server fungerede ok, men CIFS-serveren reagerede ikke på den specifikke klient, der oplevede problemet på SMB-protokolniveau, hvilket resulterede i en klienttimeout.

Filsystemet på kildesiden, der bruges til replikering, indeholder mapper, der overstiger 500.000 filer i en enkelt mappe. Som dokumenteret i produktbemærkningerne til EMC VNX OE for File vil mere end 500.000 filer i en enkelt mappe medføre problemer med ydeevnen.

Fra datamoverloggen logges følgende hændelser under problemet:

2016-08-12 12:58:40: SMB: 6:[VDM2] Kvote:getFsAndLock til gevind 1SMB415 afbrudt (klient WINCLIENT01 afbrudt)
2016-08-12 12:58:49: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB034 afbrudt (klient WINCLIENT02 afbrudt)

2016-08-12 13:09:29: SMB: 6:[VDM2] Kvote:getFsAndLock til gevind 1SMB356 afbrudt (klient WINCLIENT03 afbrudt)
2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB358 afbrudt (klient WINCLIENT04 afbrudt)



Data mover-loggen viser, at problemet svarer til en intern opdatering af replikeringskontrolpunkt

Eksempel på normal hurtig FS-pause for opdatering af kontrolpunkt på dette kildesidesystem
2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() anmodet om fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: Pause udført på FSID:1103
   
I dette tilfælde forsinker en handling pausen
2016-08-19 12:42:36: 26042826752: SVFS: 6: pause () anmodet om fsid: 1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Kvote:getFsAndLock til gevind 1SMB396 afbrudt (klient WINCLIENT01 afbrudt)
2016-08-19 12:45:26: 26041909248: SMB: 6: [VDM2] Kvote: getFsAndLock til tråd 1SMB478 afbrudt (klient WINCLIENT02 afbrudt)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Kvote:getFsAndLock til gevind 1SMB298 afbrudt (klient WINCLIENT03 afbrudt)
2016-08-19 13:00:52: 26042826752: SVFS: 6: Pause udført på FSID:1103

Opdatering af internt kontrolpunkt på kildesiden Pause ovenfor viser ikke-normal adfærd. Der blev gjort en tvungen panik for at bekræfte, hvad der fik pausen til at tage så lang tid, og analysen af panikdumpfilen bekræftede, at filsystemet indeholder mapper med millioner af filer i en enkelt mappe.

Der skal indføres en ny undermappestruktur på produktionsfilsystemet. Filerne i de problematiske mapper skal distribueres på tværs af de nye mapper for ikke at overstige 500,00 filer i en enkelt mappe. De oprindelige problematiske mapper skal derefter slettes af VNX-administratoren.

   

Retningslinje/specifikation	Maksimal testet værdi	Kommentar
Antal filer pr. mappe	500,000	Overskridelse af dette tal vil medføre problemer med ydeevnen.