OneFS. Общие сведения о сжатии данных в ISILON

Узлы Isilon F810 позволяют выполнять сжатие данных на лету в кластере Isilon. OneFS поддерживает сжатие данных на лету только в пулах узлов Isilon F810. Узлы F810 содержат сетевые карты (NIC), которые сжимают и распаковывают данные, полученные узлом. Аппаратное сжатие и распаковка выполняются параллельно через интерфейсы Ethernet 40 Гбит/с узлов F810 по мере того, как клиенты считывают и записывают данные в кластер. Эта модель распределенного интерфейса обеспечивает линейное масштабирование сжатия по всему пулу узлов F810 класса All-Flash по мере роста кластера Isilon и добавления дополнительных узлов F810.

Сжатие данных на лету можно включить в кластере со следующими компонентами:

• Пул узлов F810
• Внутренняя сеть Ethernet 40 Гбит/с
• OneFS 8.1.3 или OneFS 8.2.1 или более поздних выпусков

Смешанные кластеры
В смешанном кластере, содержащем типы узлов, отличные от F810, файлы хранятся в пулах узлов F810 только в сжатом виде. Данные, которые записываются или распределяются по уровням в пулы хранения данных узлов других типов, распаковываются при перемещении между пулами.

В общих чертах преимущества новых функций сжатия в Isilon:

• Простота: Без настройки, непрерывное сжатие по умолчанию устраняет нагрузку на управление.
• Эффективность: Используя аппаратную разгрузку на лету, Isilon сводит к минимуму влияние на производительность и максимально повышает эффективность хранения данных.
• Прозрачность: Функция сжатия изначально интегрирована в файловую систему OneFS, что делает ее прозрачной для приложений и рабочих процессов.
• Гармония: Оно работает совместно с другими инструментами Isilon для повышения эффективности хранения данных.

Сжатие OneFS на лету использует алгоритм без потерь, который уменьшает физический размер данных при их записи на диск. Сжатые данные распаковываются при обратном считывании. Сжатие прозрачно для приложений, которые находятся поверх файловой системы, включая службы на основе протокола, такие как NFS (Network File System) и Server Message Block (SMB).

Основное назначение сжатия на лету Isilon — снижение требований к хранению данных. Сжатие на лету обычно занимает меньше места, предъявляет меньшие требования к питанию и охлаждению, а также снижает общую стоимость хранения данных в расчете на Тбайт. Однако сжатие также помогает уменьшить общий объем данных, записываемых на устройства хранения. Это полезно для твердотельных накопителей (SSD) и других носителей с конечными ограничениями на перезапись, так как снижает скорость износа накопителей.

Так что же находится под капотом?

Сжатие данных на лету OneFS состоит из пяти основных компонентов:

1. Платформа сжатия
2. Модуль сжатия
3. Карта блоков сжатия
4. Система оповещений и отчетов о сжатии
5. Путь управления сжатием

В этой статье мы сосредоточимся на платформе и движке сжатия.

Сжатие данных на лету поддерживается исключительно на новой платформе Isilon F810 класса All-Flash, в которой каждый узел включает адаптер разгрузки для сжатия. Этот адаптер обеспечивает сжатие в сторону, чтобы разгрузить сетевой процессор с некоторых задач. Это означает, что сжатие и распаковка прозрачно выполняются с помощью выделенной программируемой вентильной матрицы (FPGA) с минимальной задержкой, что снижает загрузку ресурсов ЦП и памяти.

Новый корпус F810 поставляется со следующими вариантами накопителей:

В дополнение к двухпортовым интерфейсам Ethernet 40 Гбит/с каждый адаптер для разгрузки сжатия содержит микросхему FPGA, предназначенную для сжатия и распаковки данных. Два порта Ethernet на каждой адаптерной плате в внутреннем разъеме PCI-e узлов используются для резервного подключения к внутренней сети.

Аппаратное сжатие и распаковка выполняются параллельно через интерфейсы Ethernet 40 Гбит/с узлов F810 по мере того, как клиенты считывают и записывают данные в кластер. Эта модель распределенного интерфейса обеспечивает линейное масштабирование сжатия в пуле узлов F810 по мере роста кластера Isilon и добавления дополнительных узлов F810. OneFS версии 8.1.3 и выше поддерживает от 4 до 144 узлов F810 или 36 корпусов на кластер. Рекомендуется использовать не более 40 узлов F810 на кластер.

Узлы F810 используют аппаратный модуль разгрузки на основе FPGA на внутреннем сетевом адаптере PCI-e для выполнения сжатия и распаковки данных в реальном времени. Это происходит при записи файлов на узел кластера и при чтении из него с помощью сеанса подключенного клиента.

Помимо FPGA, аппаратный движок сжатия использует проприетарную реализацию DEFLATE. Это обеспечивает высочайший уровень сжатия при минимальном или нулевом снижении производительности для наборов данных с высокой степенью сжатия.

Компрессионный двигатель состоит из трех основных компонентов:

Так как они находятся на одной плате, модуль сжатия делит пропускную способность PCI-e с внутренними интерфейсами Ethernet узла.

OneFS также предоставляет программную реализацию в качестве запасного варианта на случай сбоя оборудования для сжатия. В смешанном кластере программная реализация используется на узлах, отличных от F810, которые не имеют аппаратного сжатия. Аппаратные и программные реализации сжатия совместимы с DEFLATE.