VNX: Clients losgekoppeld van CIFS-server tijdens interne checkpoint refresh

Grote mappen
Nasdirtool bevestigt dat getroffen productiebestandssystemen meerdere mappen bevatten met meer dan 500.000 bestanden in één map

Van nasdirtool-uitvoer:.....

/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95MB groot en 1,4 miljoen bestanden
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150MB groot en 2,1 miljoen bestanden



Sommige CIFS-clients worden losgekoppeld van de VNX CIFS-server tijdens de update van de interne controlepunten die worden gebruikt voor replicatie op de arrays aan de bronzijde.

Andere CIFS-clients en NFS-clients op andere aandelen werken normaal.

Er is vaak een hoog CPU-gebruik op de data mover. Afhankelijk van hoe groot de inhoud van de map is, kan het CPU-gebruik van de data mover oplopen tot 100%.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Network Network dVol dVol
Timestamp Util In Out Read Write
% KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Een netwerkopname die tijdens het incident werd gemaakt, toonde aan dat TCP-communicatie van client naar server goed werkte, maar dat de CIFS-server niet reageerde op de specifieke client die het probleem ondervond op het SMB-protocolniveau, wat resulteerde in een time-out van de client.

Het bestandssysteem aan de bronzijde dat wordt gebruikt voor replicatie bevat mappen met meer dan 500.000 bestanden in één map. Zoals beschreven in de releaseopmerkingen van de EMC VNX OE voor bestanden, leiden meer dan 500.000 bestanden in één map tot prestatieproblemen.

In het logboek van de datamover worden de volgende gebeurtenissen geregistreerd tijdens het probleem:

2016-08-12 12:58:40: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB415 aborted (client WINCLIENT01 disconnected)
2016-08-12 12:58:49: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB034 aborted (client WINCLIENT02 disconnected)

2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB356 aborted (client WINCLIENT03 disconnected)
2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock voor thread 1SMB358 afgebroken (client WINCLIENT04 losgekoppeld)



In het Data mover-logboek wordt weergegeven dat het probleem overeenkomt met een vernieuwing

van een intern replicatiecontrolepunt Voorbeeld van normale snelle FS-pauze voor checkpointvernieuwing op deze array
aan de bronzijde 2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() requested on fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: pauze gedaan op fsid:1103
   
In dit geval is een bewerking het vertragen van de pauze
2016-08-19 12:42:36: 26042826752: SVFS: 6: pause() aangevraagd op fsid:1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB396 aborted (client WINCLIENT01 disconnected)
2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock voor thread 1SMB478 afgebroken (client WINCLIENT02 losgekoppeld)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock for Thread 1SMB298 aborted (client WINCLIENT03 disconnected)
2016-08-19 13:00:52: 26042826752: SVFS: 6: pauze gedaan op FSID:1103

De bronzijde Interne controlepuntvernieuwing Pauze hierboven toont niet-normaal gedrag. Er werd een force panic gedaan om te bevestigen wat de oorzaak was van het feit dat de pauze zoveel tijd in beslag nam en de analyse van het panic dump-bestand bevestigde dat het bestandssysteem mappen bevat met miljoenen bestanden in een enkele map.

Er moet een nieuwe submapstructuur worden ingevoerd op het productiebestandssysteem. De bestanden in de problematische mappen moeten worden verdeeld over de nieuwe mappen om niet meer dan 500.000 bestanden in één map te bevatten. De oorspronkelijke problematische mappen moeten dan worden verwijderd door de VNX-beheerder.

   

Richtlijn/Specificatie	Maximale geteste waarde	Commentaar
Aantal bestanden per map	500,000	Overschrijding van dit aantal leidt tot prestatieproblemen.