VNX. Клиенты, отключенные от сервера CIFS во время обновления внутренних контрольных точек

Большие каталоги
Nasdirtool подтверждает, что затронутые производственные файловые системы содержат несколько каталогов с более чем 500 000 файлов в одном каталоге

Из выходных данных nasdirtool:
.....
/root_vdm_5/Applications/Appstorage/Images,95616,1458761 <=== 95 МБ и 1,4 миллиона файлов
/root_vdm_6/Production/SubDirectory2/REP,150731,2104554 <=== 150 МБ и 2,1 млн файлов



Некоторые клиенты CIFS отключаются от сервера CIFS VNX во время обновления внутренних контрольных точек, используемых для репликации в исходном дисковом массиве.

Другие клиенты CIFS и NFS на других общих ресурсах работают нормально.

Часто наблюдается высокая загрузка ЦП модулем переноса данных. В зависимости от размера содержимого каталогов загрузка ЦП модуля переноса данных может достигать 100%.  


[nasadmin@VNX-CS0 tmp]$ server_stats server_2 -i 60
server_2 ЦП Сеть dVol dVol
Timestamp Util In Out Чтение Запись
% КиБ/с КиБ/с
10:41:25 99 16123 62578 61912 28048
10:42:25 98 4242 63170 62433 9793
10:43:25 99 2935 46987 48618 8918
10:44:25 99 7499 45901 46373 13019
10:45:25 99 4564 47836 48018 9625
10:46:25 98 3973 52316 52167 9035
10:47:25 98 9777 60167 55127 16238
10:48:25 97 18513 76583 70269 26258
10:49:25 98 11885 43789 43595 17238
10:50:25 99 17868 55491 52966 21029
10:51:25 99 8171 43491 43013 11961
10:52:25 99 8835 50947 50328 13369


Захват сети, сделанный во время инцидента, показал, что TCP-соединения между клиентом и сервером работают нормально, но сервер CIFS не отвечает на запрос конкретного клиента, у которого возникла проблема на уровне протокола SMB, что приводит к истечению времени ожидания клиента.

Файловая система исходной стороны, используемая для репликации, содержит каталоги, содержащие более 500 000 файлов в одном каталоге. Как указано в примечаниях к выпуску операционной среды EMC VNX для файлов, превышение 500 000 файлов в одном каталоге приведет к проблемам производительности.

В журнале модуля переноса данных во время проблемы регистрируются следующие события:

2016-08-12 12:58:40: Малые и средние предприятия 6:[VDM2] Quota:getFsAndLock для потока 1SMB415 прервано (клиент WINCLIENT01 отключен)
2016-08-12 12:58:49: Малые и средние предприятия 6:[VDM2] Quota:getFsAndLock для потока 1SMB034 прервано (клиент WINCLIENT02 отключен)

2016-08-12 13:09:29: Малые и средние предприятия 6:[VDM2] Quota:getFsAndLock для потока 1SMB356 прервано (клиент WINCLIENT03 отключен)
2016-08-12 13:09:29: Малые и средние предприятия 6:[VDM2] Quota:getFsAndLock для потока 1SMB358 прервано (клиент WINCLIENT04 отключен



) Журнал модуля переноса данных показывает, что проблема связана с обновлением

контрольной точки внутренней репликации Пример обычной быстрой приостановки файловой системы для обновления контрольной точки на массиве
исходной стороны 2016-08-19 12:33:39: 26042826752: SVFS: 6: pause() запрошен на fsid:1103
2016-08-19 12:33:39: 26042826752: SVFS: 6: пауза выполнена на fsid:1103
   
В этом случае какая-то операция задерживает приостановку
2016-08-19 12:42:36: 26042826752: SVFS: 6: pause() запрошен на fsid:1103
...
2016-08-19 12:45:17: 26041909248: Малые и средние предприятия 6:[VDM2] Quota:getFsAndLock для потока 1SMB396 прервано (клиент WINCLIENT01 отключен)
2016-08-19 12:45:26: 26041909248: Малые и средние предприятия 6:[VDM2] Квота:getFsAndLock для потока 1SMB478 прервана (клиент WINCLIENT02 отключен)
...
2016-08-19 13:00:47: 26041909248: Малые и средние предприятия 6:[VDM2] Quota:getFsAndLock для потока 1SMB298 прервано (клиент WINCLIENT03 отключен)
2016-08-19 13:00:52: 26042826752: SVFS: 6: приостановка выполнена по указанному выше профилю fsid:1103

Приостановка обновления внутренней контрольной точки на исходной стороне указывает на ненормальное поведение. Была выполнена принудительная паника, чтобы выяснить причину такой длительной приостановки. Анализ файла аварийного дампа подтвердил, что файловая система содержит каталоги с миллионами файлов в одном каталоге.

В производственной файловой системе должна быть создана новая структура подкаталогов. Файлы в проблемных каталогах должны быть распределены по новым каталогам таким образом, чтобы количество файлов в одном каталоге не превышало 500 000. После этого администратор VNX должен удалить исходные проблемные каталоги.

   

Руководящие принципы/технические характеристики	Максимальное протестированное значение	Комментарий
Количество файлов в каталоге	500,000	Превышение этого числа приведет к проблемам с производительностью.