PowerScale. Как повысить производительность экспорта syslog для эффективности аудита PowerScale Isilon

Очередь экспорта аудита syslog не сокращается. Это невозможно увидеть простым способом из-за распределенности баз данных аудита и рабочих нагрузок OneFS. 

Это можно сделать следующим образом.

1. Просмотрите последние метки времени в полученных сообщениях аудита syslog.
2. Если даты записей аудита отстают от текущей даты, то аудит отстает.
3. Если каждый день записи отстают на одинаковое количество времени, или иногда отстают а иногда нет, это означает, что настройки кластера и syslog имеют относительную четность. Обычно это приемлемо. Насколько «отставание» приемлемо зависит от среды.
4. Если каждый день производительность снижается еще сильнее и никогда не повышается, возможно, необходимо снизить локальные рабочие нагрузки аудита на стороне Isilon. 

Аудит выполняется в порядке очереди FIFO (первый пришел, первый ушел) на всех узлах.
Если данные аудита экспортируются быстрее, чем принимаются, очередь актуальна.

Если узел № 1 принимает и записывает 1000 событий аудита в секунду, но может экспортировать из этого узла только 500 событий в секунду, и эта частота поддерживается постоянно, это означает, что для этого одного узла Isilon:

• Через 1 с формируется очередь из 500 элементов
• Через 1 минуту — 30 000 элементов
• Через 1 час — 1 800 000 элементов
• Через 1 день — 43 200 000 элементов

Однако, если хотя бы половину для система может принимать данные с вдвое меньшей скоростью или экспортировать их с вдвое большей скоростью, очередь сократится вдвое.

Если используется развертывание syslog до версии 9.4, случаи, когда у клиентов формируются значительные очереди аудита, довольно редки.

Даже при использовании альтернативы CEE, которая более эффективна, чем syslog до 9.4, иногда поступают сообщения об очередях из-за локального «дизайна аудита» и скорости приема.

До выполнения аудита может быть трудно определить объем. \Благодаря более эффективной CEE можно также развертывать дополнительные целевые машины CEE, а затем работать со сторонним поставщиком, который собирает эти данные для внимательной проверки аудиторских записей.

Дополнительные CEE позволяют экспортировать данные со стороны Isilon более эффективно. Каждый отдельный узел Isilon может одновременно подключаться к 3 (трем) уникальным машинам CEE.

Syslog работает по-другому. Каждый заданный целевой объект syslog в настройках аудита получает каждое экспортируемое событие аудита журнала.
Представьте, что из очереди отправляется одно событие аудита. Если бы был один целевой сервер syslog, узел Isilon с этим элементом очереди передал бы эту запись через порт UDP 514 в соотношении 1:1 на один целевой syslog.
Если было добавлено другой целевой syslog, то вместо этого узел Isilon должен отправить один и тот же элемент очереди в оба уникальных целевых объекта syslog. Это удваивает часть рабочей нагрузки в узле Isilon. Три целевых syslog увеличат часть работы втрое, и т. д.

Кроме того, отсутствуют актуальные настраиваемые конфигурации syslog для OneFS версии до 9.4, относящиеся к аудиту.

CEE позволяет сократить очередь за счет меньшего аудита и/или добавления новых целевых CEE и дополнительной емкости сторонних поставщиков за пределами этих CEE.

С помощью syslog можно сократить объем очереди только за счет выполнения меньшего объема операций аудита за единицу времени.

Выполните модернизацию до OneFS 9.4 или более поздней версии.

В оптимальных и контролируемых лабораторных тестах использование Syslog для экспорта аудита в OneFS 9.4 продемонстрировало повышение производительности приблизительно на 300%.

Модернизация до версии OneFS 9.4+, скорее всего, приведет к повышению производительности экспорта аудита с помощью syslog.

Производительность зависит от среды, развертывания, дизайна, сетей, рабочих процессов и действий пользователя, влияющих на создание аудита. 
 

Если производительность syslog для экспорта даже в OneFS 9.4+ не может справиться постоянной или, казалось бы, непреодолимой очередью через несколько недель после модернизации, обратитесь в службу поддержки для проверки.
Единственный способ сократить количество событий аудита в секунду и на узел — это настроить способ и объект аудита.

Если экспорты syslog из кластера Isilon выполняются стабильно, дальнейшая оптимизация выходит за рамки поддержки Isilon.

• Рассмотрите дизайн своего процесса аудита с системными инженерами Dell. В первую очередь подумайте о том, как конечные пользователи (сотрудники или автоматизированные процессы) входят в кластер для выполнения аудита операций в журнале.
• Распределите рабочие процессы и объем записываемых в журнал операций на всех узлах Isilon более равномерно. Все записываемые в журнал действия фиксируются только для аудита и экспортируются из узла, к которому подключен пользователь.
• Если в кластере Isilon двадцать узлов, но только пять из них используют подключения по протоколам, то 100% операций аудита будут выполняться только на этих пяти узлах.
• Рассмотрите все развертывание, чтобы убедиться в том, что весь объем операций по всем протоколам распределен по максимально возможному количеству физических узлов. Таким образом общая рабочая нагрузка аудита распределяется по максимально возможному количеству узлов.
• В качестве альтернативы можно рассмотреть решение на основе CEE.
• Рассмотрите возможность уменьшения объема и области аудита. Не выходите за рамки требований организации или законодательства. 
• Для дальнейшего обсуждения обратитесь к системным инженерам Dell.