VNX : Clients déconnectés du serveur CIFS lors de l’actualisation des points de contrôle internes

Répertoires
de grande tailleNasdirtool confirme que les systèmes de fichiers de production concernés contiennent plusieurs répertoires contenant plus de 500 000 fichiers dans un seul répertoire

. À partir de la sortie nasdirtool :
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== Taille de 95 Mo et 1,4 million de fichiers
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== Taille de 150 Mo et 2,1 millions de fichiers



Certains clients CIFS sont déconnectés du serveur CIFS VNX lors de la mise à jour des points de contrôle internes utilisés pour la réplication sur la baie côté source.

Les autres clients CIFS et les clients NFS sur d’autres partages fonctionnent normalement.

Une utilisation élevée du processeur sur le logiciel de transfert de données peut être observée fréquemment. En fonction de la taille du contenu des répertoires, l’utilisation du processeur du logiciel de transfert de données peut atteindre 100 %.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Network Network dVol dVol
Timestamp Util In Out Read Write
% KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Une capture réseau effectuée au cours de l’incident a montré que les communications TCP entre le client et le serveur fonctionnaient correctement, mais que le serveur CIFS ne répondait pas au client spécifique rencontrant le problème au niveau du protocole SMB, ce qui entraînait l’expiration du délai du client.

Le système de fichiers côté source utilisé pour la réplication contient des répertoires qui dépassent 500 000 fichiers dans un seul répertoire. Comme indiqué dans les notes de mise à jour d’EMC VNX OE for File, le dépassement de 500 000 fichiers dans un seul répertoire entraînera des problèmes de performance.

À partir du journal du logiciel de transfert de données, les événements suivants sont consignés au cours du problème :

2016-08-12 12:58:40 : SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB415 aborted (client WINCLIENT01 disconnected)
2016-08-12 12:58:49 : SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB034 aborted (client WINCLIENT02 disconnected)

2016-08-12 13:09:29 : SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB356 aborted (client WINCLIENT03 disconnected)
2016-08-12 13:09:29 : SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB358 aborted (client WINCLIENT04 disconnected)



Le journal du logiciel de transfert de données indique que le problème correspond à une actualisation

du point de contrôle de réplication interne Exemple de pause rapide normale du système de fichiers pour l’actualisation du point de contrôle sur cette baie
côté source 2016-08-19 12:33:39 : 26042826752: SVFS : 6 : pause() requested on fsid :1103
2016-08-19 12:33:39 : 26042826752: SVFS : 6 : pause done on fsid :1103
   
In this case some operation has delay the pause
2016-08-19 12:42:36 : 26042826752: SVFS : 6 : pause() demandée sur fsid :1103
...
2016-08-19 12:45:17: 26041909248: SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB396 aborted (client WINCLIENT01 disconnected)
2016-08-19 12:45:26 : 26041909248: SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB478 aborted (client WINCLIENT02 disconnected)
...
2016-08-19 13:00:47: 26041909248: SM : 6 :[VDM2] Quota :getFsAndLock for Thread 1SMB298 aborted (client WINCLIENT03 disconnected)
2016-08-19 13:00:52 : 26042826752: SVFS : 6 : pause effectuée sur fsid :1103

L’actualisation des points de contrôle internes côté source Pause ci-dessus indique un comportement anormal. Un fonctionnement inattendu forcé a été effectué pour confirmer la cause de la pause et l’analyse du fichier de vidage de panique a confirmé que le système de fichiers contient des répertoires contenant des millions de fichiers dans un seul répertoire.

Une nouvelle structure de sous-répertoires doit être mise en place sur le système de fichiers de production. Les fichiers des répertoires problématiques doivent être répartis sur les nouveaux répertoires afin de ne pas dépasser 500 000 fichiers dans un seul répertoire. Les répertoires problématiques d’origine doivent ensuite être supprimés par l’administrateur VNX.

   

Lignes directrices/caractéristiques	Valeur maximale testée	Commentaire
Nombre de fichiers par répertoire	500,000	Le dépassement de ce nombre entraînera des problèmes de performance.