PowerEdge. Масштабируемость Dell Ready Solutions для хранилищ НРС BeeGFS

Содержание

1. Введение
2. Базовые конфигурации
3. Расчет полезного пространства BeeGFS
4. Масштабируемые конфигурации
5. Характеристики производительности
6. Выводы и планы на будущее
    

Введение

Тема этой публикации блога — масштабируемость Dell Ready Solutions для хранилищ HPC BeeGFS, о которой было недавно объявлено. Архитектура BeeGFS состоит из четырех основных служб: служба управления, служба метаданных, служба хранения и клиентская служба. На одном сервере можно запустить любую комбинацию этих четырех основных служб, в том числе все из них, так как в BeeGFS нет тесной интеграции ролей и оборудования. В гиперконвергентном решении все четыре службы работают на одном сервере. Такая конфигурация не рекомендуется в средах, для которых производительность является критически важной, так как клиентские приложения обычно потребляют те ресурсы, потребление которых может влиять на производительность служб хранения. В решении Dell используются выделенные серверы хранения данных, а также сервер метаданных и хранилища двойного назначения, что обеспечивает высокую производительность и масштабируемость решения для хранения данных. Систему можно масштабировать путем добавления дополнительных серверов хранения данных в существующую систему. В этой публикации блога мы представляем конфигурации с различным количеством серверов хранения данных и указываем ожидаемую производительность этих конфигураций.

Базовые конфигурации

Решение для хранения данных BeeGFS предназначено для создания высокопроизводительной вспомогательной файловой системы и задействует следующие аппаратные компоненты:

• Сервер управления
  • R640, 2 процессора Intel Xeon Gold 5218, 2,3 ГГц, 16 ядер, 96 Гбайт (12 модулей RDIMM по 8 Гбайт, 2666 млн транзакций в секунду), 6 модулей SAS 15 000 об/мин, 300 Гбайт, H740P
• Серверы метаданных и хранения данных
  • R740xd, 2 ЦП Intel Xeon Platinum 8268, 2,9 ГГц, 24 ядра, 384 Гбайт (12 модулей RDIMM по 32 Гбайт, 2933 млн транзакций в секунду)
  • Плата BOSS с 2 SSD 240 Гбайт, M.2, SATA в конфигурации RAID 1 для ОС
  • 24 накопителя Intel 1,6 Тбайт, NVMe, Mixed-Use, Express Flash, 2,5 дюйма, SFF, программный RAID

Сервер управления запускает службу мониторинга BeeGFS. Сервер метаданных использует 12 накопителей в зоне NUMA 0 для размещения целевых объектов метаданных (MDT), а остальные 12 накопителей — в зоне NUMA 1 для размещения целевых объектов хранения (ST). Выделенный сервер метаданных не используется, так как требования к емкости хранилища для метаданных BeeGFS низкие. Целевые объекты метаданных и хранения изолированы на отдельных узлах NUMA, что обеспечивает значительное разделение рабочих нагрузок. У серверов хранения данных, используемых в конфигурации, три службы хранения работают в каждой зоне NUMA, то есть всего шесть на сервер. Дополнительные сведения см. в публикации блога с объявлением. На рис. 1 показаны 2 базовые конфигурации, протестированные и проверенные в лаборатории Dell EMC HPC and AI Innovation Lab.

Рис. 1. Базовые конфигурации

Небольшая конфигурация состоит из 3 серверов R740xd. В ней содержатся 15 целевых объектов хранения. Средняя конфигурация состоит из 6 серверов R740xd и содержит 33 целевых объекта хранения. Пользователь может начать работу с небольшой или средней конфигурацией и при необходимости добавить серверы хранения или метаданных, чтобы увеличить емкость хранилища данных и повысить общую производительность или увеличить количество файлов и повысить производительность метаданных соответственно. В таблице 1 приведены данные производительности базовых конфигураций, тщательно протестированных и проверенных в лаборатории Dell HPC and AI Innovation Lab.

Таблица 1. Сведения о емкости и производительности базовых конфигураций

Расчет полезного пространства BeeGFS

Полезное пространство рассчитывается в ТиБ (поскольку большинство инструментов отображают полезное пространство в двоичных единицах) по следующей формуле:

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

В приведенной выше формуле 0,99 — это множитель, который можно получить, сделав осторожное предположение, что издержки файловой системы составляют 1%. В количестве накопителей для хранилища данных также учтены 12 накопителей из MDS. Это связано с тем, что в MDS 12 накопителей в зоне NUMA 0 используются для метаданных, а 12 накопителей в зоне NUMA 1 используются для хранилища. Последний множитель в формуле, 10^12/2^40, необходим для преобразования полезного пространства из Тбайт в ТиБ.

Масштабируемые конфигурации

Высокопроизводительное решение для хранения данных BeeGFS отличается гибкостью и позволяет с легкостью масштабировать производительность и/или емкость, добавляя дополнительные серверы, как показано ниже:

Рис. 2. Примеры масштабируемых конфигураций 

Часть метаданных в стеке остается одинаковой во всех конфигурациях, описанных выше в этой публикации блога. Это связано с тем, что требования к емкости хранилища для метаданных BeeGFS обычно составляют от 0,5% до 1% от общей емкости хранилища. Однако решающий фактор — количество каталогов и файлов в файловой системе. Как правило, пользователь может добавить дополнительный сервер метаданных, если емкость для метаданных по отношению к хранилищу становится ниже 1%. В таблице 2 приведены данные о производительности различных гибких конфигураций решения для хранения данных BeeGFS.

 

Таблица 2. Сведения о емкости и производительности масштабируемых конфигураций

Характеристики производительности

Производительность различных конфигураций была протестирована путем создания пулов хранения данных. В небольшой конфигурации есть 15 целевых объектов хранения, а с каждым дополнительным сервером хранения добавляется еще 6 целевых объектов хранения. Таким образом, для проверки производительности различных конфигураций при создании пулов хранения данных было использовано от 15 до 39 целевых объектов хранения (с шагом 6 в следующей последовательности: небольшая, небольшая +1, небольшая +2, средняя, средняя +1). Для каждого из этих пулов было выполнено 3 итерации эталонного теста IOzone, в каждой от 1 до 1024 потоков (с увеличением по степени числа 2). Применяемая методология тестирования аналогична описанной в публикации блога с объявлением. На рисунках 3 и 4 показана производительность записи и чтения масштабируемых конфигураций соответственно, пиковая производительность каждой конфигурации отмечена для удобства справки:


 
Рис. 3.  Производительность записи масштабируемых конфигураций


Рис. 4.  Производительность чтения масштабируемых конфигураций

Примечание.

Упомянутые пулы хранения данных были созданы с конкретной целью — определение производительности различных конфигураций. При оценке производительности средней конфигурации, подробно описанной в публикации блога с объявлением, все 33 целевых объекта находились только в пуле по умолчанию. В приведенных ниже выходных данных команды beegfs-ctl --liststoragepools показано назначение целевых объектов хранения:

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

Выводы и планы на будущее

В этой публикации блога предоставлена информация о масштабируемости Dell Ready Solutions для хранилищ HPC BeeGFS, а также о производительности последовательного чтения и записи различных конфигураций. Ждите третью часть из этой серии, в которой мы расскажем о дополнительных функциях BeeGFS и использовании StorageBench — встроенного эталонного теста BeeGFS для целевых объектов хранения. В дальнейшем мы опубликуем технический документ, в котором будет указана производительность метаданных, информация об оценке производительности IOR N-1, а также дополнительные рекомендации по проектированию, настройке и конфигурации. 

Справочные материалы

[1] Dell Ready Solutions для хранилищ НРС BeeGFS:  https://www.dell.com/support/article/sln319381/
[2] Документация BeeGFS:  https://www.beegfs.io/wiki/
[3] Подключение двух интерфейсов в одной подсети:  https://access.redhat.com/solutions/30564
[4] Справочный проект прямого доступа к памяти PCI Express с использованием внешней памяти: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760