Data Domain: высокая загрузка ЦП, вызванная чрезмерным количеством операций BoostFS READDIR

Коэффициент использования ЦП остается стабильно высоким, часто превышающим 80%, даже в периоды низкой пропускной способности и минимального количества активных потоков.
В статистике SAR наблюдается повышенное использование системного (%system) процессора.
Высокая средняя нагрузка на систему, которая не коррелирует с рабочей нагрузкой резервного копирования или репликации.
Процессы DDFS потребляют значительно больше ресурсов ЦП, чем ожидалось.
Анализ производительности показывает значительную активность в путях кода, связанных с READDIRPLUS.
Большое количество OSTREADDIRPLUS или ddp_readdir операций, наблюдаемых в данных Autosupport.
Операции резервного копирования, восстановления или доступа к файлам могут выполняться медленнее, чем ожидалось.
Увеличение количества активных TCP-подключений и оповещений об отказе в подключении.
Частые "5006-end of directory" сообщения могут отображаться в журналах BoostFS или DDFS.
Один dd_guts Поток планировщика может казаться интенсивно используемым, в то время как другие потоки планировщика остаются относительно неактивными.
Статистика уровня NFS RPC может показывать повышенную data_wait и svc_func Значение

Анализ показал, что чрезмерно READDIR и READDIRPLUS Операции, происходящие из файловых систем, подключенных к BoostFS, способствовали повышенному использованию ЦП.

Исторические исследования показали, что автоматизированное индексирование, сканирование безопасности, утилиты мониторинга и процессы обхода файловой системы могут генерировать большие объемы запросов на перечисление каталогов, что приводит к увеличению загрузки DDFS и ЦП ядра, даже если рабочие нагрузки резервного копирования остаются относительно низкими.

Распространенные источники чрезмерного READDIR Мероприятия включают:

mlocate/updatedb процессов индексирования сканирования точек монтирования BoostFS.
Приложения для обеспечения безопасности и антивирусного сканирования.
Инструменты мониторинга и диагностики системы, опрашивающие смонтированные файловые системы.
Частые операции перечисления файловых систем, такие как рекурсивные списки каталогов и операции статистики.
Приложения, использующие интерфейсы BoostFS или SDK, которые многократно обходят большие структуры каталогов.
Автоматизированные сценарии, выполняющие непрерывное обнаружение файловой системы или сбор данных инвентаризации.

Эти мероприятия могут генерировать миллионы READDIR операций в день, что приводит к значительным издержкам на обработку в DDFS и базовой файловой системе.

Проверка систем с монтированием BoostFS для приложений, которые выполняют частые операции перечисления, индексирования, мониторинга или сканирования каталогов.

Рекомендуемые действия:

Выявление приложений, генерирующих чрезмерные READDIR с файловыми системами, смонтированными BoostFS.
Исключите точки монтирования BoostFS из mlocate/updatedb индексация путем обновления конфигурации PRUNEFS.
Проверьте и ограничьте количество ненужных антивирусных проверок, проверок безопасности, средств мониторинга, процессов диагностики системы и действий по опросу файловой системы, нацеленных на монтирование BoostFS.
По возможности сократите или исключите частые рекурсивные операции обхода каталогов.
Монитор OSTREADDIRPLUS, ddp_readdir, использование ЦП и средняя нагрузка после внедрения изменений.
Следуйте передовым практикам Data Domain и BoostFS, чтобы предотвратить непрерывный обход смонтированных файловых систем резервных копий приложениями сканера и индексирования.

Исторические исследования показали существенное снижение использования ЦП после исключения точек монтирования BoostFS из автоматизированного cron задания, выполняющие операции индексирования и сканирования.

Такое поведение указывает на то, что чрезмерно READDIR Активность, создаваемая этими процессами, может вносить существенный вклад в повышение загрузки ЦП DDFS.

Кроме того, частые "5006-end of directory" Сообщения могут указывать на повторяющиеся операции чтения каталога. Объем этих сообщений может быть использован в качестве показателя количества READDIR действия, связанные с системой Data Domain. Операции чтения в файловых системах, смонтированных на BoostFS, обычно дороже, чем операции записи, поэтому важно избежать ненужного сканирования или обхода смонтированных пространств имен резервных копий.

Проверить cron Задания на клиентах BoostFS:

ls -l /etc/cron.daily

Data Domain: проблемы BoostFS с программным обеспечением или приложениями сканера безопасности

Data Domain: поиск и устранение неисправностей с подключением, монтированием и производительностью BoostFS