VNX: Asiakkaat, joiden yhteys CIFS-palvelimeen katkesi sisäisen tarkistuspisteen päivityksen aikana

Suuret hakemistot
Nasdirtool vahvistaa, että tuotantotiedostojärjestelmät, joihin ongelma vaikuttaa, sisältävät useita hakemistoja, joissa on yli 500,00 tiedostoa yhdessä hakemistossa

Alkaen nasdirtool ulostulo:
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== kooltaan 95 Mt ja 1,4 miljoonaa tiedostoa
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== Koko 150 Mt ja 2,1 miljoonaa tiedostoa



Jotkin CIFS-työasemat katkaisevat yhteyden VNX CIFS -palvelimeen lähdepuolen replikointiin käytettävien sisäisten tarkistuspisteiden päivityksen aikana.

Muut CIFS-asiakkaat ja muiden osakkeiden NFS-asiakkaat toimivat normaalisti.

Data Moverin korkea suorittimen käyttö näkyy usein, riippuen siitä, kuinka suuri hakemistojen sisältö on Data Mover CPU: n käyttöaste voi nousta 100%: iin.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Verkkoverkko dVol dVol
Aikaleima Util In Out Lue Write
% KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Tapahtuman aikana tehty verkkokaappaus osoitti, että TCP-tietoliikenne asiakkaasta palvelimeen toimi ok, mutta CIFS-palvelin ei vastannut tiettyyn asiakkaaseen, joka koki ongelman SMB-protokollatasolla, mikä johti asiakkaan aikakatkaisuun.

Replikointiin käytettävä lähdepuolen tiedostojärjestelmä sisältää hakemistoja, jotka yhdessä hakemistossa on yli 500 000 tiedostoa. Kuten EMC VNX OE for File Release -tiedoissa on dokumentoitu, 500 000 tiedoston ylitys yhdessä hakemistossa aiheuttaa suorituskykyongelmia.

Data Mover -lokista kirjataan seuraavat tapahtumat ongelman aikana:

2016-08-12 12:58:40: PK: 6:[VDM2] Kiintiö:getFsAndLock säikeelle 1SMB415 keskeytetty (asiakas WINCLIENT01 katkaistu)
2016-08-12 12:58:49: PK: 6:[VDM2] Kiintiö:getFsAndLock säikeelle 1SMB034 keskeytetty (asiakas WINCLIENT02 katkaistu)

2016-08-12 13:09:29: PK: 6:[VDM2] Kiintiö:getFsAndLock säikeelle 1SMB356 keskeytetty (asiakas WINCLIENT03 katkaistu)
2016-08-12 13:09:29: PK: 6:[VDM2] Kiintiö:getFsAndLock säikeelle 1SMB358 keskeytetty (asiakas WINCLIENT04 katkaistu)



Data mover -lokissa näkyy, että ongelma vastaa sisäisen replikoinnin tarkistuspisteen päivitystä

Esimerkki normaalista pika-FS-keskeytyksestä tarkistuspisteen päivittämiseksi tässä lähdepuolen matriisissa
2016-08-19 12:33:39: 26042826752: SVFS: 6: Pause() pyydetty FSID:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: tauko tehty fsid:1103
   
:lla Tässä tapauksessa jokin toimenpide viivästyttää taukoa
2016-08-19 12:42:36: 26042826752: SVFS: 6: Pause() pyydetty FSID:1103
...
2016-08-19 12:45:17: 26041909248: PK: 6:[VDM2] Kiintiö:getFsAndLock säikeelle 1SMB396 keskeytetty (asiakas WINCLIENT01 katkaistu)
2016-08-19 12:45:26: 26041909248: PK: 6: [VDM2] Kiintiö: getFsAndLock säikeelle 1SMB478 keskeytetty (asiakas WINCLIENT02 irrotettu)
...
2016-08-19 13:00:47: 26041909248: PK: 6:[VDM2] Kiintiö:getFsAndLock säikeelle 1SMB298 keskeytetty (asiakas WINCLIENT03 katkaistu)
2016-08-19 13:00:52: 26042826752: SVFS: 6: Tauko tehty fsid:1103

:lla Lähdepuolen sisäisen tarkistuspisteen päivitys Yllä oleva tauko näyttää epänormaalin käyttäytymisen. Voimapaniikki tehtiin sen vahvistamiseksi, mikä aiheutti tauon viemisen niin paljon aikaa, ja paniikkidumppitiedoston analyysi vahvisti, että tiedostojärjestelmä sisältää hakemistoja, joissa on miljoonia tiedostoja yhdessä hakemistossa.

Tuotantotiedostojärjestelmään on asennettava uusi alihakemistorakenne. Ongelmallisten hakemistojen tiedostot on jaettava uusiin hakemistoihin, jotta yhdessä hakemistossa ei ylitä 500,00 tiedostoa. VNX-järjestelmänvalvojan pitäisi sitten poistaa alkuperäiset ongelmalliset hakemistot.

   

Ohjeet/eritelmät	Suurin testattu arvo	Kommentti
Tiedostojen määrä hakemistoa kohden	500,000	Tämän luvun ylittäminen aiheuttaa suorituskykyongelmia.