VNX: Clients werden während der internen Prüfpunktaktualisierung vom CIFS-Server getrennt.

Große Verzeichnisse
Nasdirtool bestätigt, dass betroffene Produktionsdateisysteme mehrere Verzeichnisse mit mehr als 500.000 Dateien in einem einzigen Verzeichnis

enthalten. Aus der nasdirtool-Ausgabe:
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95 MB groß und 1,4 Millionen Dateien
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150 MB groß und 2,1 Millionen Dateien



Einige CIFS-Clients werden während der Aktualisierung der internen Prüfpunkte, die für die Replikation auf dem quellseitigen Array verwendet werden, vom VNX-CIFS-Server getrennt.

Andere CIFS-Clients und NFS-Clients auf anderen Freigaben funktionieren normal.

Auf dem Data Mover ist häufig eine hohe CPU-Auslastung zu beobachten. Je nachdem, wie groß der Inhalt der Verzeichnisse ist, kann die CPU-Auslastung des Data Mover 100 % erreichen.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Netzwerk Netzwerk dVol dVol
Zeitstempel Util Out Read Write
% KiB/s KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Eine Netzwerkerfassung, die während des Vorfalls durchgeführt wurde, zeigte, dass die TCP-Kommunikation von Client zu Server funktionierte, aber der CIFS-Server reagierte nicht auf den spezifischen Client, bei dem das Problem auf der SMB-Protokollebene auftrat, was zu einem Client-Timeout führte.

Das quellseitige Dateisystem, das für die Replikation verwendet wird, enthält Verzeichnisse mit mehr als 500.000 Dateien in einem einzigen Verzeichnis. Wie in den Versionshinweisen zu EMC VNX OE for File dokumentiert, führt eine Überschreitung von 500.000 Dateien in einem einzigen Verzeichnis zu Performanceproblemen.

Im Data Mover-Protokoll werden die folgenden Ereignisse während des Problems protokolliert:

2016-08-12 12:58:40: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB415 abgebrochen (Client WINCLIENT01 getrennt)
2016-08-12 12:58:49: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB034 abgebrochen (Client WINCLIENT02 getrennt)

2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB356 abgebrochen (Client WINCLIENT03 getrennt)
2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB358 abgebrochen (Client WINCLIENT04 getrennt)



Das Data Mover-Protokoll zeigt, dass das Problem einer internen Replikationskontrollpunktaktualisierung

entspricht. Beispiel für eine normale schnelle FS-Pause für die Prüfpunktaktualisierung auf diesem quellseitigen Array
2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() angefordert auf fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: Pause auf fsid:1103
   
In diesem Fall verzögert ein Vorgang die Pause
2016-08-19 12:42:36: 26042826752: SVFS: 6: pause() angefordert auf fsid:1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB396 abgebrochen (Client WINCLIENT01 getrennt)
2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB478 abgebrochen (Client WINCLIENT02 getrennt)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock für Thread 1SMB298 abgebrochen (Client WINCLIENT03 getrennt)
2016-08-19 13:00:52: 26042826752: SVFS: 6: Pause für FSID:1103

Die oben genannte Pause für die interne Prüfpunktaktualisierung auf der Quellseite zeigt ein nicht normales Verhalten. Es wurde eine erzwungene Panik durchgeführt, um zu bestätigen, warum die Pause so lange dauerte, und die Analyse der Panik-Dump-Datei bestätigte, dass das Dateisystem Verzeichnisse mit Millionen von Dateien in einem einzigen Verzeichnis enthält.

Eine neue Unterverzeichnisstruktur sollte auf dem Produktionsdateisystem eingerichtet werden. Die Dateien in den problematischen Verzeichnissen müssen über die neuen Verzeichnisse verteilt werden, damit 500.000 Dateien in einem einzigen Verzeichnis nicht überschritten werden. Die ursprünglichen problematischen Verzeichnisse sollten dann vom VNX-Administrator gelöscht werden.

   

Richtlinie/Spezifikation	Maximaler getesteter Wert	Kommentar
Anzahl der Dateien pro Verzeichnis	500,000	Eine Überschreitung dieser Zahl führt zu Leistungsproblemen.