VNX: Klienter koblet fra CIFS-serveren under intern oppdatering av kontrollpunkt

Store kataloger
Nasdirtool bekrefter påvirket produksjon filsystemer inneholder flere kataloger med over 500,00 filer i en enkelt katalog

Fra nasdirtool utgang:.....

/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95 MB i størrelse og 1,4 millioner filer
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150 MB i størrelse og 2,1 millioner filer



Noen CIFS-klienter kobles fra VNX CIFS-serveren under oppdateringen av de interne kontrollpunktene som brukes til replikering på kildesidematrisen.

Andre CIFS-klienter og NFS-kunder på andre aksjer opererer normalt.

Høy CPU-utnyttelse på dataflytteren kan sees ofte, avhengig av hvor stort kataloginnholdet er, data mover-CPU-utnyttelsen kan nå 100%.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2-i 60
server_2 CPU Network Network dVol dVol
tidsstempel Util In Out Les Skrive
% KiB / s KiB / s KiB / s KiB / s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Et nettverksopptak tatt under hendelsen viste at TCP-kommunikasjon fra klient til server fungerte ok, men CIFS-serveren reagerte ikke på den bestemte klienten som opplevde problemet på SMB-protokollnivå, noe som resulterte i et tidsavbrudd for klienten.

Filsystemet på kildesiden som brukes til replikering, inneholder kataloger som overstiger 500 000 filer i én enkelt mappe. Som dokumentert i produktmerknadene for EMC VNX OE for fil, vil overskridelse av 500 000 filer i én enkelt katalog føre til ytelsesproblemer.

Fra dataflytterloggen logges følgende hendelser under problemet:

2016-08-12 12:58:40: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB415 aborted (client WINCLIENT01 disconnected)
2016-08-12 12:58:49: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB034 aborted (client WINCLIENT02 disconnected)

2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB356 aborted (client WINCLIENT03 disconnected)
2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB358 aborted (client WINCLIENT04 disconnected)



Dataflytterloggen viser at problemet samsvarer med en intern oppdatering

av replikeringskontrollpunkt Eksempel på normal rask FS-pause for kontrollpunktoppdatering på denne kildesiden
2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() forespurt på FSID:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: pause gjort på fsid:1103
   
I dette tilfellet forsinker noen operasjoner pausen
19.08.2016 12:42:36: 26042826752: SVFS: 6: pause () forespurt på FSID: 1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB396 aborted (client WINCLIENT01 disconnected)
2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB478 aborted (client WINCLIENT02 disconnected)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB298 aborted (client WINCLIENT03 disconnected)
2016-08-19 13:00:52: 26042826752: SVFS: 6: pause gjort på fsid:1103

Oppdatering av internt sjekkpunkt på kildesiden Pause ovenfor viser ikke-normal atferd. En kraftpanikk ble gjort for å bekrefte hva som forårsaket at pausen tok så mye tid, og analysen av panikkdumpfilen bekreftet at filsystemet inneholder kataloger med millioner av filer i en enkelt katalog.

En ny underkatalogstruktur bør på plass på produksjonsfilsystemet. Filene i de problematiske katalogene må distribueres over de nye katalogene for ikke å overstige 500,00 filer i en enkelt katalog. De opprinnelige problematiske katalogene skal deretter slettes av VNX-administratoren.

   

Retningslinje/spesifikasjon	Maksimal testet verdi	Kommentar
Antall filer per katalog	500,000	Hvis dette tallet overskrides, kan det føre til ytelsesproblemer.