VNX: Клієнти від'єднані від сервера CIFS під час внутрішнього оновлення контрольних точок

Великі довідники
Nasdirtool підтверджує, що впливові виробничі файлові системи містять кілька каталогів з понад 500 000 файлів в одному каталогу

. З результату nasdirtool:
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95MB розміром і 1,4 мільйона файлів
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150MB розміром і 2,1 мільйона файлів



Деякі CIFS-клієнти відключаються від сервера VNX CIFS під час оновлення внутрішніх контрольних точок, що використовуються для реплікації на вихідному масиві.

Інші клієнти CIFS та NFS клієнти на інших акціях працюють нормально.

Висока завантаженість процесора на переміщувачі даних часто спостерігається, залежно від розміру вмісту каталогів, завантаженість процесора для переміщення даних може досягати 100%.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 CPU Мережа dVol dVol
Timestamp Util In Out Читання
% KiB/s KiB/s KiB/s KiB/s KiB/s KiB/s
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Мережевий захоплення, зроблене під час інциденту, показало, що TCP-комунікації між клієнтом працюють нормально, але сервер CIFS не відреагував на проблему конкретного клієнта на рівні протоколу SMB, що призвело до тайм-ауту клієнта.

Вихідна файлова система, що використовується для реплікації, містить каталоги, що перевищують 500 000 файлів в одному каталозі. Як зазначено в нотатках EMC VNX OE для випуску файлів, перевищення 500 000 файлів в одному каталозі призведе до проблем із продуктивністю.

У журналі переміщення даних під час випуску фіксуються такі події:

12.08.2016 12:58:40: SMB: 6:[VDM2] Quota:getFsAndLock для потоку 1SMB415 скасовано (клієнт WINCLIENT01 відключено)
2016-08-12 12:58:49: SMB: 6:[VDM2] Квота:getFsAndLock для потоку 1SMB034 скасовано (клієнт WINCLIENT02 відключено)

2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock для потоку 1SMB356 скасовано (клієнт WINCLIENT03 відключено)
2016-08-12 13:09:29: SMB: 6:[VDM2] Quota:getFsAndLock для потоку 1SMB358 скасовано (клієнт WINCLIENT04 відключено)



Журнал переміщення даних показує, що проблема відповідає внутрішньому

оновленню контрольної точки реплікації Приклад звичайної швидкої паузи FS для оновлення контрольної точки на цьому масиві
з боку джерела 2016-08-19 12:33:39: 26042826752: SVFS: 6: Пауза() запитано на FSID:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: пауза виконана на fsid:1103
   
У цьому випадку якась операція затримує паузу
2016-08-19 12:42:36: 26042826752: SVFS: 6: пауза() запитана на fsid:1103
...
2016-08-19 12:45:17: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock для потоку 1SMB396 скасовано (клієнт WINCLIENT01 відключено)
2016-08-19 12:45:26: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock для потоку 1SMB478 скасовано (клієнт WINCLIENT02 відключено)
...
2016-08-19 13:00:47: 26041909248: SMB: 6:[VDM2] Quota:getFsAndLock для потоку 1SMB298 скасовано (клієнт WINCLIENT03 відключено)
2016-08-19 13:00:52: 26042826752: SVFS: 6: пауза виконана на fsid:1103

Оновлення внутрішньої контрольної точки на стороні джерела Пауза вище показує ненормальну поведінку. Було влаштовано силову паніку, щоб підтвердити, чому пауза займає так багато часу, а аналіз файлу панічного дампу підтвердив, що файлова система містить каталоги з мільйонами файлів в одному каталозі.

У виробничій файловій системі слід впровадити нову структуру підкаталогів. Файли у проблемних каталогах мають бути розподілені між новими каталогами, щоб не перевищувати 500 000 файлів в одному каталозі. Оригінальні проблемні каталоги слід видаляти адміністратором VNX.

   

Керівництво/Специфікація	Максимальне тестове значення	Коментар
Кількість файлів у кожному каталогу	500,000	Перевищення цього показника призведе до проблем із продуктивністю.