PowerScale OneFS. Поиск и устранение проблем производительности

Клиентские компьютеры работают медленно. Определенные задания, особенно те, которые выполняются в кластере, либо не выполняются, либо занимают больше времени, чем ожидалось.

Проблемы производительности обычно возникают из-за сетевого трафика, проблем конфигурации сети, нагрузки на клиентские или кластерные системы или сочетания этих факторов. В этой статье описано несколько эффективных способов устранения проблем производительности.

Поиск и устранение неисправностей с помощью InsightIQ

Содержание

• Использование Isilon InsightIQ
• Поиск и устранение неисправностей без InsightIQ
• Пропускная способность сети
• Распределение клиентских подключений
• Пропускная способность кластера
• Обработка кластера
• Операции в очереди
• ЦП

Использование Isilon InsightIQ

Использование Isilon InsightIQ — это лучший способ мониторинга производительности и устранения проблем, связанных с производительностью.

Виртуальное устройство Isilon InsightIQ позволяет отслеживать и анализировать работу кластера Isilon с помощью гибких настраиваемых представлений диаграмм в веб-приложении InsightIQ. Эти диаграммы содержат подробную информацию об оборудовании кластера, программном обеспечении, файловой системе и операциях с протоколами. InsightIQ преобразует данные в визуальную информацию, которая подчеркивает любые отклонения производительности, позволяя быстро диагностировать узкие места или оптимизировать рабочие процессы.

Подробнее об использовании InsightIQ см. в информационном центре PowerScale InsightIQ. 

Поиск и устранение неисправностей без InsightIQ

Если вы не используете InsightIQ, вы можете выполнить различные команды для изучения проблем производительности. Сначала выполните поиск и устранение проблем с производительностью, проверив пропускную способность сети и кластера, затем исследуйте обработку кластера и, наконец, проанализируйте частоту ЦП отдельных узлов.

Пропускная способность сети

Используйте инструменты тестирования сети, например Iperf или Iperf3 Для определения пропускной способности кластера и клиентских компьютеров в сети.

Используя Iperfвыполните следующие команды на кластере и клиенте. Эти команды определяют размер окна, достаточны для определения, является ли сетевое соединение потенциальной причиной проблем с задержкой.

• Кластера: iperf -s -w 262144
• Клиент. iperf -c <cluster IP> -w 262144

Использование Iperf3выполните следующие команды на кластере и клиенте. Эти команды определяют размер окна, достаточны для определения, является ли сетевое соединение потенциальной причиной проблем с задержкой.

• Кластера: iperf3 -s -w 262144
• Клиент. iperf3 -c <cluster IP> -w 262144

Распределение клиентских подключений

Проверьте, сколько клиентов сетевой файловой системы (NFS) и SMB (Server Message Block) подключено к кластеру, чтобы убедиться, что они подключены не к одному узлу.

1. Подключитесь по протоколу SSH на любом узле в кластере и войдите в систему с помощью команды root Учетной записи.
2. Выполните команду isi statistics query current list --nodes=all --keys=node.clientstats.connected.nfs,node.clientstats.active.nfs -d для проверки клиентов NFS. 
   В выходных данных отображается количество клиентов, подключенных к каждому узлу, и количество этих клиентов активно на каждом узле.
3. Выполните команду isi statistics query current list --keys=node.clientstats.connected.smb,node.clientstats.active.smb1,node.clientstats.active.smb2 -n all -d для проверки SMB-клиентов.
   В выходных данных отображается количество клиентов, подключенных к каждому узлу, и количество этих клиентов активно на каждом узле.

Пропускная способность кластера

Оценка пропускной способности кластера путем проведения тестов записи и чтения, которые измеряют время, необходимое для чтения и записи в файл. Выполните хотя бы один тест записи и один тест чтения, как описано ниже.

Напишите тест.

1. Подключитесьпо протоколу SSH на любом узле в кластере и войдите в систему с помощью команды root Учетной записи.
2. Измените на /ifs Каталог: cd /ifs
3. В интерфейсе командной строки (CLI) кластера или на клиентском компьютере под управлением UNIX или Linux используйте команду dd для записи нового файла в кластер.
   Выполните следующую команду: dd if=/dev/zero of=1GBfile bs=1024k count=1024
   Эта команда создает образец файла размером 1 Гбайт и сообщает о времени, затраченном на его запись на диск.
4. На основе выходных данных этой команды экстраполируйте количество Мбайт в секунду, которое можно записать на диск в однопотоковых рабочих процессах.
5. Если у вас есть MAC-клиент и вы хотите провести дальнейший анализ,
   1. Запустите Activity Monitor.
   2. Выполните команду cat /dev/zero > /pathToFile команда, где pathToFile — путь к целевому файлу.
      Эта команда помогает измерить пропускную способность операций записи в кластере Isilon. (Хотя можно запустить команду dd MAC-клиента, результаты могут быть противоречивыми.)
   3. Следите за результатами команды на вкладке Network в Activity Monitor.

Ознакомьтесь с тестом.
При измерении пропускной способности операций чтения не следует выполнять тесты чтения файла, созданного во время теста записи. Поскольку этот файл был кэширован, результаты тестов чтения будут неточными. Вместо этого проверьте операцию чтения файла, который не был кэширован. Найдите в кластере файл, размер которого превышает 1 Гбайт, и укажите его в тесте чтения.

1. Подключитесь по протоколу SSH на любом узле в кластере и войдите в систему с помощью команды root Учетной записи.
2. В интерфейсе командной строки (CLI) или на клиентском компьютере под управлением UNIX или Linux используйте команду dd для чтения файла в кластере.
   Запуститекоманду dd if=/pathToLargeFile of=/dev/null bs=1024k команда, где pathToFile — путь к целевому файлу.
   Эта команда считывает целевой файл и сообщает о времени, затраченном на его чтение.
3. Если у вас есть MAC-клиент и вы хотите провести дальнейший анализ,
   1. Запустите Activity Monitor.
   2. Выполните команду time cp /pathToLargeFile > /dev/null команда, где pathToFile — путь к целевому файлу.
      Эта команда помогает измерить пропускную способность операций чтения в кластере Isilon. (Хотя можно запустить команду dd MAC-клиента, результаты могут быть противоречивыми.)
   3. Следите за результатами команды на вкладке Network в Activity Monitor.

Обработка кластера

Задания перераспределения.
Перед проверкой операций ввода-вывода (I/O) кластера выполните следующие действия:

• Определите, какие задания выполняются в кластере. Если выполняются задания перераспределения, такие как Auto-Balance, Collect или MultiScan, подумайте, почему эти задания выполняются и должны ли они продолжать выполняться.
• Учитывайте тип используемых данных. Если клиентские компьютеры работают с большими видеофайлами или виртуальными машинами (ВМ), для задания перераспределения требуется больше операций ввода-вывода с диска, чем обычно.
• Рассмотрите возможность временной приостановки задания перераспределения. Это может повысить производительность и стать эффективным краткосрочным решением проблемы производительности.

Дисковые системы ввода-вывода
Проверка операций ввода-вывода диска может помочь определить, используются ли определенные диски слишком часто.

По кластеру

1. Установите соединение по протоколу SSH с узлом и войдите в систему с помощью учетной записи root.
2. Выполните команду isi statistics pstat для определения дискового ввода-вывода.
3. В выходных данных этой команды разделите количество операций ввода-вывода в секунду на общее количество дисков в кластере. Например, для кластера из 8 узлов Isilon IQ 12000x, в каждом из которых размещается 12 дисков, количество операций ввода-вывода в секунду на диск разделить на 96.
   Для узлов серии X и узлов серии NL следует ожидать, что количество операций ввода-вывода в секунду на диске составит 70 или менее для 100% произвольных рабочих процессов или 140 или менее для 100% последовательных рабочих процессов. Поскольку узлы серии NL имеют меньше ОЗУ и меньше тактовой частоты ЦП, чем узлы серии X, узлы серии X могут обрабатывать большее количество операций ввода-вывода в секунду на диске.

По узлу и по диску

1. Установите соединение по протоколу SSH с узлом и войдите в систему с помощью учетной записи root.
2. Запуститекоманду isi statistics query current --nodes=all --stats=node.disk.xfers.rate.sum --format=top для определения количества операций ввода-вывода в секунду для каждого узла, что может помочь обнаружить диски, которые используются слишком часто.
3. Выполните команду isi_stats_tool -a get_key_info|grep node.disk.xfer для определения способа запроса статистики для каждого диска.

Операции в очереди

Еще один способ определить, используются ли диски слишком часто, — определить, сколько операций находится в очереди для каждого диска в кластере. Для однопоточного рабочего процесса на основе SMB очередь из четырех человек может указывать на проблему, а для операций с большим пространством имен NFS в параллельных группах очередь больше.

1. Подключитесь по протоколу SSH на любом узле в кластере и войдите в систему с помощью команды root Учетной записи.
2. Запуститекоманду isi statistics drive list --nodes=all --sort=queued -d , чтобы определить, сколько операций поставлено в очередь для каждого диска в кластере.
3. Определите, как долго операция находилась в очереди: isi statistics drive list --nodes=all --sort=queued -d 

ЦП

Проблемы с ЦП часто связаны с операциями, выполняемыми клиентами в кластере. С помощью команды isi statistics можно определить операции, выполняемые в кластере, каталогизированные по сетевому протоколу или клиентскому компьютеру.

1. Подключитесь по протоколу SSH на любом узле в кластере и войдите в систему с помощью команды root Учетной записи.
2. Выполните команду isi statistics protocol list --long --totalby Op,proto -d --sort TimeAvg --format top для определения операций, выполняемых по сети, и оценки того, какие из этих операций занимают больше всего времени.
   Эти выходные данные команды предоставляют подробную статистику по всем сетевым протоколам, упорядоченную по времени ответа кластеру на запросы клиентов. Хотя результаты этой команды могут не определять, какая операция является самой медленной, они могут указывать правильное направление.
3. Выполните команду isi statistics system --nodes all --format top , чтобы получить дополнительную информацию об обработке ЦП, например, о том, ЦП каких узлов наиболее интенсивно используются.
4. Выполните команду isi_for_array -sX 'top -u -n |grep PID -A4' , чтобы получить четыре процесса на каждом узле, которые потребляют больше всего ресурсов ЦП.

• Информационные центры для PowerScale OneFS
• Текущие исправления для PowerScale OneFS