VNX: Klienter kopplades bort från CIFS-servern under intern kontrollpunktsuppdatering

Stora kataloger
Nasdirtool bekräftar att påverkade produktionsfilsystem innehåller flera kataloger med över 500 000 filer i en enda katalog

Från nasdirtool-utdata:.....

/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95 MB stort och 1,4 miljoner filer
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150 MB stort och 2,1 miljoner filer



Vissa CIFS-klienter kopplas bort från VNX CIFS-servern under uppdateringen av de interna kontrollpunkter som används för replikering på källdisksystemet.

Andra CIFS-klienter och NFS-klienter på andra resurser fungerar normalt.

Hög CPU-användning på dataöverföraren kan ses ofta, beroende på hur stort kataloginnehållet är kan dataöverförarens CPU-användning nå 100 %.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Network Network dVol dVol
Timestamp Util In Out Read Write
% KiB/s KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


En nätverksfångst som togs under incidenten visade att TCP-kommunikationen från klient till server fungerade ok men att CIFS-servern inte svarade på den specifika klienten som upplevde problemet på SMB-protokollnivå, vilket resulterade i en klienttimeout.

Filsystemet på källsidan som används för replikering innehåller kataloger som överskrider 500 000 filer i en enda katalog. Som dokumenterats i versionskommentarerna för EMC VNX OE för filer leder överskridande av 500 000 filer i en enda katalog till prestandaproblem.

Från dataöverföringsloggen loggas följande händelser under problemet:

2016-08-12 12:58:40: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB415 avbröts (klienten WINCLIENT01 frånkopplad)
2016-08-12 12:58:49: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB034 avbröts (klienten WINCLIENT02 frånkopplad)

2016-08-12 13:09:29: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB356 avbröts (klienten WINCLIENT03 frånkopplad)
2016-08-12 13:09:29: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB358 avbröts (klienten WINCLIENT04 frånkopplad)



Dataöverflyttningsloggen visar att problemet motsvarar en uppdatering av en intern kontrollpunkt

för replikering Exempel på normal snabb FS-paus för uppdatering av kontrollpunkter på det här källdisksystemet
2016-08-19 12:33:39: 26042826752: SVFS: 6: paus() begärd den fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: paus gjord på fsid:1103
   
I det här fallet är det någon operation som försenar pausen
2016-08-19 12:42:36: 26042826752: SVFS: 6: paus() begärd på fsid:1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB396 avbröts (klienten WINCLIENT01 frånkopplad)
2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB478 avbröts (klienten WINCLIENT02 frånkopplad)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Kvot:getFsAndLock för tråd 1SMB298 avbröts (klienten WINCLIENT03 frånkopplad)
2016-08-19 13:00:52: 26042826752: SVFS: 6: Paus gjord på fsid:1103

Källsidans uppdatering av intern kontrollpunkt Pausen ovan visar icke-normalt beteende. En forcerad panik gjordes för att bekräfta vad som orsakade att pausen tog så lång tid och analysen av panikdumpfilen bekräftade att filsystemet innehåller kataloger med miljontals filer i en enda katalog.

En ny underkatalogstruktur bör införas i produktionsfilsystemet. Filerna i de problematiska katalogerna måste distribueras över de nya katalogerna för att inte överskrida 500 000 filer i en enda katalog. De ursprungliga problematiska katalogerna bör sedan tas bort av VNX-administratören.

   

Riktlinje/specifikation	Högsta testade värde	Kommentar
Antal filer per katalog	500,000	Om det här antalet överskrids uppstår prestandaproblem.