Компанія OneFS: Розуміння стиснення даних в ISILON

Вузли Isilon F810 дозволяють виконувати вбудоване стиснення даних на вашому кластері Isilon. OneFS підтримує вбудоване стиснення даних лише на пулах вузлів Isilon F810. Вузли F810 містять мережеві інтерфейсні карти (NIC), які стискають і розпаковують дані, отримані вузлом. Апаратне стиснення та декомпресія виконуються паралельно в інтерфейсах 40 Gb Ethernet вузлів F810, коли клієнти зчитують та записують дані до кластера. Ця модель розподіленого інтерфейсу дозволяє лінійно масштабувати стиснення по всьому пулу вузлів F810 у міру зростання кластера Isilon і додавання додаткових вузлів F810.

Ви можете ввімкнути вбудоване стиснення даних на кластері, який має такі параметри:

• Пул вузлів F810
• Внутрішня мережа 40 Gb Ethernet
• Випуски OneFS 8.1.3 або OneFS 8.2.1 або пізніші

Змішані скупчення
У змішаному кластері, що містить типи вузлів, відмінні від F810, файли зберігаються лише в стисненому вигляді на пулах вузлів F810. Дані, записані або багаторівневі в пули зберігання інших типів вузлів, не стискаються, коли вони переміщуються між пулами.

На високому рівні, до переваг нової функції стиснення Isilon можна віднести:

• Простота: Немає конфігурації, безперервне стиснення за замовчуванням усуває навантаження на керування.
• Ефективність: Використовуючи вбудоване апаратне розвантаження, Isilon мінімізує будь-який вплив на продуктивність, максимізуючи ефективність зберігання.
• Прозорість: Стиснення за замовчуванням інтегровано у файлову систему OneFS, що робить її прозорою для програм і робочих процесів.
• Гармонії: Він працює в поєднанні з іншими інструментами ефективності зберігання Isilon.

Вбудоване стиснення OneFS використовує алгоритм без втрат, який зменшує фізичний розмір даних під час їх запису на диск. Стиснені дані розпаковуються під час їх зворотного зчитування. Стиснення є прозорим для програм, які розташовані поверх файлової системи, включаючи служби на основі протоколу, такі як Мережева файлова система (NFS) і блок повідомлень сервера (SMB).

Основною метою вбудованого стиснення Isilon є зменшення вимог до зберігання даних. Вбудоване стиснення зазвичай призводить до меншого обсягу пам'яті, зниження вимог до потужності та охолодження, а також зниження загальної вартості зберігання на один ТБ. Однак стиснення також сприяє зменшенню загального обсягу даних, записаних на пристрої зберігання даних. Це корисно для твердотільних накопичувачів (SSD) та інших носіїв із кінцевими обмеженнями перезапису за рахунок зниження швидкості зносу накопичувачів.

Так що ж знаходиться під капотом?

Вбудоване стиснення даних OneFS складається з п'яти основних компонентів:

1. Платформа стиснення
2. Компресійний двигун
3. Карта фрагментів стиснення
4. Система сповіщень і звітів про стиснення
5. Шлях керування стисненням

У цій статті ми зупинимося на платформі та двигуні стиснення.

Вбудоване стиснення даних підтримується виключно на новій платформі Isilon F810 all-flash, в якій кожен вузол включає адаптер розвантаження стиснення. Цей адаптер забезпечує стиснення в стороні для розвантаження певних завдань з мережевого процесора. Це означає, що стиснення та декомпресія прозоро виконуються за допомогою спеціального програмованого масиву воріт (FPGA) з мінімальною затримкою, зменшуючи ресурси процесора та пам'яті.

Нове шасі F810 доступне з наступними варіантами зберігання:

На додаток до двопортових інтерфейсів 40 Gb Ethernet, кожен адаптер розвантаження стиснення містить чіп FPGA, призначений для стиснення та декомпресії даних. Два порти Ethernet на кожній карті адаптера в внутрішньому слоті PCI-e вузлів використовуються для резервного підключення до внутрішньої мережі.

Апаратне стиснення та декомпресія виконуються паралельно в інтерфейсах Ethernet 40 ГБ вузлів F810, коли клієнти зчитують та записують дані до кластера. Ця модель розподіленого інтерфейсу дозволяє лінійно масштабувати стиснення по пулу вузлів F810 у міру зростання кластера Isilon і додавання додаткових вузлів F810. Версії OneFS 8.1.3 і вище підтримують від 4 до 144 вузлів F810 або 36 шасі на кластер. Рекомендація найкращої практики – максимум 40 вузлів F810 на кластер.

Вузли F810 використовують механізм апаратного розвантаження на основі FPGA на внутрішньому мережевому адаптері PCI-e для виконання стиснення та декомпресії даних у реальному часі. Це відбувається, коли файли записуються та зчитуються з вузла в кластері за допомогою підключеного сеансу клієнта.

Крім FPGA, механізм апаратного стиснення використовує фірмову реалізацію DEFLATE. Це забезпечує найвищий рівень стиснення, водночас несучи мінімальні втрати продуктивності для наборів даних із високим ступенем стиснення.

Компресійний двигун складається з трьох основних компонентів:

Оскільки вони знаходяться на одній карті, механізм стиснення ділить пропускну здатність PCI-e з внутрішніми інтерфейсами Ethernet вузла.

OneFS також надає програмну реалізацію як запасний варіант на випадок виходу з ладу обладнання стиснення. У змішаному кластері програмна реалізація використовується на вузлах, відмінних від F810, які не мають апаратного стиснення. Як апаратні, так і програмні реалізації стиснення сумісні з DEFLATE.