Data Domain. Поиск и устранение проблем с производительностью Data Domain Virtual Edition

Устройство размещения виртуальных машин: сеть и подключение.

Ввод-вывод Ethernet.

При использовании агрегирования Ethernet в подключениях для передачи данных на устройство хоста нельзя рассчитывать на то, что самого наличия конфигурации агрегирования Ethernet достаточно для должной балансировки нагрузки. Надлежащие методы балансировки нагрузки и пропускная способность необходимы, чтобы обеспечить неограниченный ввод-вывод для устройства хоста виртуальной машины.

Подключение устройства размещения ВМ к дисковому хранилищу.

Тип подключения и протокол оказывают огромное влияние на производительность виртуальной машины DDVE. Ниже перечислены наиболее часто используемые типы подключения между устройством, использующим виртуальную машину, и дисковым хранилищем. Вариант 1 обеспечивает наилучший уровень производительности, а вариант 5 — наихудший вариант подключения. Настройки кэша записи HBA могут значительно повлиять на производительность между виртуальным устройством-хостом и дисковым хранилищем. Рекомендуется включить функцию кэша записи на адаптере HBA для обеспечения оптимальной производительности при передаче данных от устройства хоста к дисковому хранилищу.

1. Система хранения данных с прямым подключением — диски SAS/SSD в RAID 5 или RAID 6 + включенный кэш записи HBA (предпочтительно для наилучшей производительности).
2. Система хранения данных с прямым подключением — JBOD без RAID + включенный кэш записи HBA (приемлемая производительность, но без рекомендованной защиты RAID)
3. Внешнее хранилище RAID, подключенное через FC (active/active, 16 Гбайт/c или быстрее) (производительность удовлетворительная, но может быть ограничена возможностями FC).
4. iSCSI 10 Гбит/с (внешнее дисковое хранилище) (не рекомендуется)
5. NFS 10 Гбит/с (внешнее дисковое хранилище) (не рекомендуется)

Проверка физических массивов хранения данных, статистики и производительности.

Сравнение качества дисков, размера дисков и количества дисков:

Накопители с более высокой плотностью, например 4 Тбайт и более, имеют меньше IOPS на Тбайт, чем накопители меньшего размера. По этой причине устройство DDVE, развернутое на большем количестве накопителей меньшей емкости, имеет более высокую производительность, чем устройство DDVE, развернутое на нескольких накопителях большой емкости. Это связано с высокой зависимостью DDVE от производительности произвольного чтения. Обычная рабочая нагрузка DDVE может сделать эту проблему отношения между размером физических дисков и количеством физических дисков еще более выраженной, поэтому постарайтесь обеспечить сбалансированность системы хранения и следуйте указаниям, изложенным в соответствующем руководстве по передовым практикам для DDVE. В этой статье мы не будем фокусироваться на типах отдельных физических жестких дисков и SSD, а также на их производительности. Эту информацию можно получить у производителя диска. В целом можно сказать, что более высокопроизводительные физические диски обеспечивают лучшую производительность виртуальной машины DDVE.

Поиск и устранение неисправностей хранилища.

Проверьте задержку на физических дисках, связанных с вашей виртуальной машиной DDVE.

Для VMware это можно сделать следующим образом: выберите виртуальную машину, затем перейдите на вкладку Performance и выберите Datastore в раскрывающемся списке. Здесь отображаются все актуальные хранилища данных для конкретной виртуальной машины DDVE. Наконец, нажмите кнопку Advanced, чтобы получить детальное графическое отображение задержки для хранилищ данных, связанных с вашей виртуальной машиной DDVE.

Рис. 1. Производительность хранилища данных

Чтобы определить нагрузку ввода-вывода для хранилища данных, рассчитайте количество операций ввода-вывода в секунду, обрабатываемое вашим хранилищем данных.

Начните с того же графика, что мы использовали ранее, но выберите Chart Options, снимите флажки «Write latency» и «Read latency», а затем выберите два значения: Average read requests per second и Average write requests per second. На полученном графике отображается, сколько IOPS выполняет хранилище данных, что может дать представление об общей нагрузке, которую устройство DDVE «dev» накладывает на хранилище данных. Этот вывод также можно использовать, чтобы определить, используется ли хранилище данных совместно с рабочей нагрузкой приложения, не относящегося к DDVE.

Рис. 2. Chart Options

Для более детального представления IOPS проверьте соотношение операций чтения и записи.

В силу своих особенностей DDVE обычно выполняет в 2–4 раза больше операций чтения из дисковой системы хранения, чем записи. Исключением является этап gen-0 (заполнение) во время резервного копирования, когда записываются совершенно новые данные, которые нельзя дедуплицировать. По вышеупомянутым причинам физическое хранилище, используемое DDVE, должно быть способно эффективно обрабатывать смешанные произвольные рабочие нагрузки файловой системы Data Domain с преобладанием операций чтения.

Физические массивы хранения данных на физических носителях (SSD, магнитные диски и т.д.) могут отличаться в значительной степени в способности эффективно обрабатывать операции чтения по сравнению с операциями записи. Способность системы хранения данных на физических дисках обеспечивать исключительную производительность IOPS при произвольном чтении, а также низкая задержка (менее 40 миллисекунд) являются наиболее важными факторами при определении того, соответствует ли хранилище данных приемлемым характеристикам производительности для виртуальной машины DDVE.

Если требуется более глубокое исследование производительности массивов хранения данных или хранилищ данных, будет использоваться инструмент командной строки под названием vscsiStats. Обратитесь в службу поддержки VMware за дополнительными сведениями о том, как с помощью vscisistats получать информацию о размере блоков и задержках и более подробную статистику производительности чтения/записи.

Проверка соответствия выделения ресурсов требованиям для DDVE.

Часто причина проблемы производительности виртуальной машины DDVE может быть связана с некоторыми настроенными параметрами, которые ограничивают ресурсы, доступные для виртуальной машины DDVE. В целом, пулы ресурсов с ограничениями могут лишь ограничить общую производительность виртуальной машины DDVE, поэтому их использование не рекомендуется. И наоборот, в некоторых случаях резервирование ресурсов повышает общую производительность виртуальной машины DDVE. Всегда обращайтесь к руководствам по передовым практикам и администрированию для DDVE вашей конфигурации при развертывании и настройке виртуальной машины DDVE и поиске и устранении неполадок в ней для обеспечения оптимальной производительности.

Начните проверку выделения ресурсов, выбрав вкладку Resource Allocation. Затем из пула виртуальных машин выберите виртуальную машину DDVE, для которой вы проводите поиск и устранение неполадок. В разделе View выберите CPU и проверьте все виртуальные машины в этом пуле (при условии, что виртуальная машина с неполадкой в него входит). Убедитесь, что для параметра «Limit MHz» установлено значение Unlimited. Ограничение ресурсов ЦП для виртуальной машины DDVE не рекомендуется и приводит к снижению производительности.

Рис. 3. Resource Allocation

Перейдите к проверке ресурсов памяти, выделенных для виртуальной машины DDVE. Убедитесь, что ресурсы памяти правильно «зарезервированы», и для них установлено значение Unlimited, чтобы обеспечить максимальную производительность. Установка ограничений на выделение памяти для DDVE не рекомендуется и приводит к снижению производительности.

Рис. 4. Ресурсы памяти

На вкладке «Storage» проверьте, что нет ограничений на количество операций ввода-вывода (IOPS) для хранилища. Нажмите кнопку Storage и просмотрите диски/хранилища данных. Для параметра «Limit-IOPS» каждого диска, связанного с виртуальной машиной DDVE, должно быть установлено значение Unlimited.

Рис. 5. Ресурсы хранилища

Для трех уже упомянутых категорий ресурсов обратите внимание на значения % Shares. Значения «% Shares» указывают, какой процент общих ресурсов конкретная виртуальная машина получает из всего пула ресурсов. «Shares values» являются относительными, а не абсолютными. Однако убедитесь, что между значениями для всех устройств в пуле нет значительных различий. Например, значения 1000, 2000 или 3000 являются ожидаемыми, а набор значений 10, 5, 4000 указывает на аномальное несоответствие и неравное совместное использование ресурсов. Если значение у какой-либо виртуальной машины значительно отличается, необходимо рассмотреть возможность изменения параметров «Shares Value».

Проверка статистики производительности для виртуальной машины DDVE.

Для эффективной работы виртуальной машины DDVE требуется неограниченный доступ к ресурсам для обеспечения максимальной производительности. DDVE интенсивно использует ресурсы памяти и ЦП, поэтому их ограничение невозможно без возникновения трудностей. Когда виртуальная машина DDVE уже находится в производственном режиме, мы можем использовать графики и диаграммы на вкладке Performance, чтобы оценить использование ресурсов. Мы можем использовать их, чтобы определить, насколько эффективно работает виртуальная машина.

CPU

Выберите виртуальную машину DDVE, для которой требуется выполнить поиск и устранение неисправностей. Затем перейдите на вкладку Performance. Где указано Switch to, выберите CPU в раскрывающемся списке. В этом представлении можно оценить объем и процент ресурсов ЦП, потребляемых виртуальной машиной DDVE. Если % ресурсов ЦП, используемых виртуальной машиной DDVE, составляет высокий процент от общего ресурса, можно предположить, что используемое устройство размещения не подходит для полнофункциональной работы виртуальной машины DDVE.

Рис. 6. Производительность ЦП

Память

Если виртуальная машина отвечает медленно, это может быть связано с проблемой планирования ресурсов ЦП. Чтобы оценить эффективность ЦП, начните с предыдущей диаграммы и снова выберите Chart Options. Очистите все счетчики и выберите Ready. Отображается время готовности виртуальных ЦП. Значение в миллисекундах обозначает время, когда виртуальная машина готова к запуску, но гипервизор не может оперативно назначить ЦП для выполнения задачи. Для оптимальной производительности виртуальной машины DDVE мы хотели бы видеть это значение ниже 8 миллисекунд. 

Рис. 7. Время готовности ЦП

Производительность и доступность памяти также могут быть ограничивающим фактором общей производительности виртуальной машины DDVE. Если виртуальная машина DDVE не настроена с необходимым объемом зарезервированной физической памяти, генерируется активное оповещение. Проверьте активные оповещения, выполнив команду # alerts show current в интерфейсе командной строки DDVE и при необходимости разрешите их.

Если на виртуальной машине DDVE недостаточно доступных ресурсов памяти, виртуальная машина DDVE реагирует, выполняя подкачку страниц памяти на диск. Это нежелательное состояние, которое приводит к серьезному снижению производительности. Чтобы оценить использование активной памяти виртуальной машины DDVE, сначала откройте вкладку Performance, а затем выберите Memory в поле Switch to.

По умолчанию на графике отображаются значения для памяти «Active», «Granted», «Balloon» и «Consumed». Для оптимальной производительности убедитесь, что активная память составляет примерно 35–50% от указанного значения выделенной памяти. Когда значение активной памяти приближается к 60% выделенной памяти, можно ввести сценарий, при котором происходит подкачка внутри виртуальной машины DDVE.

Рис. 8. Производительность памяти

Проверка соответствия виртуальной машины DDVE передовым практикам и рекомендуемым конфигурациям

При поиске и устранении проблем с производительностью необходимо провести множество проверок и собрать большое количество журналов в самой виртуальной машине DDVE. Перед открытием заявки в службу поддержки DDVE начните с проверки соответствия конфигурации DDVE рекомендуемым передовым подходам и настройкам. Сведения о версии DDVE и используемой платформе размещения см. в документации на сайте поддержки.

Сбор статистики производительности.

1. Соберите результаты из следующих команд и инструментов интерфейса командной строки для оценки базового дискового хранилища и убедитесь, что конфигурация соответствует необходимому уровню производительности для поддержки выбранной емкости DDVE.

• Выполните тест оценки диска (DAT) для каждого дискового устройства, подключенного к DDVE. В разделе «Мониторинг производительности» руководства по администрированию DDVE приведены подробные инструкции по использованию инструмента DAT.
• Выполните тестирование DAT в зависимости от типа обрабатываемых операций ввода-вывода. Переменная with-vnvram следует использовать, если для записи резервных копий в основном используются CIFS/NFS. Некоторые используют Boost для резервного копирования, а затем NFS, чтобы получить доступ для чтения; в таких случаях флаг with-vnvram не требуется.
• Использование инструмента DAT не поддерживается для развернутого в облаке DDVE (Microsoft Azure, Amazon AWS).

2. Команды интерфейса командной строки DDVE для сбора информации для поиска и устранения неисправностей производительности

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (позволяет убедиться, что назначения групп жестких дисков соответствуют передовым подходам)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (проверка задержки и IOPS для каждого устройства)
• #system show performance (используйте оптимальный синтаксис, чтобы сузить представление выходных данных интерфейса командной строки во время нормальной загрузки ввода-вывода DDVE)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (можно указать несколько устройств для получения полного представления)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Сбор данных о производительности DDVE с помощью # vserver в интерфейсе командной строки Сбор данных о производительности DDVE с помощью # vserver в интерфейсе командной строки

• #se # vserver выходные данные при нагрузке ввода-вывода. (Выходные данные являются частью пакетной загрузки, если VServer настроен и запущен до создания пакета.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Создайте и загрузите актуальный пакет поддержки, включая журналы vserver и disk_perf Журналы.

Полезные видео:

Шаблон для открытия сервисной заявки в службе поддержки DD для поиска и устранения неисправностей производительности ВМ DDVE

Конфигурация хоста ВМ

Производитель, модель и версия хоста и имя хоста операционной системы?
Поставщик гипервизора (VMware, Hyper-V, другой)?
Версия сервера хоста ESXi/Hyper-V и номер сборки?
Версия клиента и номер сборки vSphere или Hyper-V Manager?
Это кластерная конфигурация или конфигурация HA?
Изменялась ли недавно конфигурация хоста или виртуальной машины?
Есть ли у устройства хоста аккумулятор, обеспечивающий резервное питание кэш-памяти, NVRAM или механизм другого типа для сохранения данных при внеплановом выключении?

Хранилище хоста ВМ

Конфигурация RAID хранилища и размер, скорость и тип диска (например, RAID 6 — 3 Тбайт — 7200 об/мин — SATA)?
Тип подключения системы хранения (NFS, FCP, iSCSI, SAS)?
Являются ли тома хранения и хранилища данных, используемые DDVE, общими для рабочих нагрузок, не относящихся к Data Domain?
Кэширование записи в хранилище, используемом DDVE, включено или отключено?
Изменялась ли недавно конфигурация хранилища?
Вы используете «толстое» или «тонкое» выделение ресурсов для дисковых устройств DDVE?

Конфигурация Data Domain Virtual Edition

Версия и размер операционной системы DDVE (например, DDVE 3.0 — 6.0.1.10 —64 Тбайт)?
Протокол передачи данных DDVE (например, Boost, NFS, CIFS, NDMP, FCP)?
Рабочие нагрузки DDVE (например, облако, репликация, резервное копирование, VTL)?
Версии приложений и плагинов для резервного копирования?

Подробное описание проблемы

Сеть:
Производительность:
Установка и конфигурация:
Файловая система DD:
Данные недоступны или потеряны?
Есть ли у вас открытая заявка, связанная с этим устройством DDVE, у другого поставщика?

Требуются журналы

Пакет поддержки — #support bundle create default Data Domain. Как выполнить сбор или загрузку пакета поддержки (SUB) из Data Domain Restorer (DDR)

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
«Опциональный» пакет журналов VMware — на сайте самообслуживания Vmware см. статью