OneFS：Isilonでのデータ圧縮について

Isilon F810ノードを使用すると、Isilonクラスターでインライン データ圧縮を実行できます。OneFSは、Isilon F810ノード プールでのみインライン データ圧縮をサポートします。F810ノードには、ノードが受信したデータを圧縮および解凍するネットワーク インターフェイス カード(NIC)が含まれています。ハードウェアの圧縮と解凍は、クライアントがクラスターに対してデータを読み書きするときに、F810ノードの40 Gb Ethernetインターフェイス全体で並行して実行されます。この分散インターフェイス モデルでは、Isilonクラスターが拡大し、F810ノードが追加されると、オールフラッシュF810ノード プール全体で圧縮を直線的に拡張できます

インライン データ圧縮は、次のクラスターで有効にできます。

• F810ノード プール
• 40 Gb Ethernetバックエンド ネットワーク
• OneFS 8.1.3またはOneFS 8.2.1以降のリリース

混在クラスター
F810以外のノード タイプを含む混在クラスターでは、ファイルはF810ノード プールにのみ圧縮形式で保存されます。他のノード タイプのストレージ プールに書き込まれたデータまたは階層化されたデータは、プール間を移動するときに展開されます。

Isilonの新しい圧縮機能のメリットは、大まかに言うと次のようになります。

• 簡略：構成なし、デフォルトでオンの継続的な圧縮により、管理の負担が解消されます。
• 効率性：Isilonは、インライン ハードウェア オフロードを使用することで、パフォーマンス インパクトを最小限に抑えながら、ストレージ効率を最大限に高めます。
• 透明性：圧縮はOneFSファイル システムにネイティブに統合されており、アプリケーションやワークフローに対して透過的です。
• 調和：他のIsilonストレージ効率ツールと連携して動作します。

OneFSインライン圧縮は、ディスクに書き込まれるデータの物理サイズを削減する可逆アルゴリズムを使用します。圧縮されたデータは、読み戻されるときに解凍されます。圧縮は、次のようなプロトコルベースのサービスを含む、ファイル システムの最上位に位置するアプリケーションに対して透過的です Network File System (NFS)とServer Message Block (SMB)。

Isilonインライン圧縮の主な目的は、データのストレージ要件を削減することです。通常、インライン圧縮では、ストレージ フットプリントが小さく、電力と冷却の要件が緩和され、TBあたりの全体的なストレージ コストが削減されます。ただし、圧縮は、ストレージ デバイスに書き込まれるデータの総量を削減するのにも役立ちます。これは、ドライブの摩耗率を低下させるので、有限の上書き制限を持つソリッド ステート ドライブ(SSD)やその他のメディアに有益です。

では、ボンネットの中身は何でしょうか?

OneFSのインライン データ圧縮は、次の5つの基本コンポーネントで構成されています。

1. 圧縮プラットフォーム
2. 圧縮エンジン
3. 圧縮チャンク マップ
4. 圧縮アラートおよびレポート作成フレームワーク
5. 圧縮制御パス

この記事では、プラットフォームと圧縮エンジンに焦点を当てます。

インライン データ圧縮は、新しいIsilon F810オールフラッシュ プラットフォームでのみサポートされており、各ノードには圧縮オフロード アダプターが含まれています。このアダプターは、ネットワーク プロセッサーから特定のタスクをオフロードするために、ルック アサイド圧縮を提供します。つまり、専用のFPGA(フィールド プログラマブル ゲート アレイ)を使用して、レイテンシーを最小限に抑えながら圧縮と解凍を透過的に実行し、CPUとメモリーのリソースを削減します。

新しいF810シャーシでは、次のストレージ オプションを利用できます。

デュアル・ポート 40 Gb イーサネット・インターフェースに加えて、各圧縮オフロード・アダプターには、データの圧縮および解凍専用の FPGA チップが含まれています。ノードのバックエンドPCI-eスロットにある各アダプター カード上の2つのEthernetポートは、冗長バックエンド ネットワーク接続に使用されます。

ハードウェアの圧縮と解凍は、クライアントがクラスターに対してデータを読み書きするときに、F810ノードの40GB Ethernetインターフェイス全体で並列に実行されます。この分散インターフェイス モデルでは、Isilonクラスターが拡大し、F810ノードが追加されたときに、F810ノード プール全体で圧縮を直線的に拡張できます。OneFSバージョン8.1.3以降では、4台から144台のF810ノードまたはクラスターあたり36台のシャーシがサポートされます。推奨されるベスト プラクティスは、クラスターあたり最大40個のF810ノードです。

F810ノードは、バックエンドPCI-eネットワーク アダプターでFPGAベースのハードウェア オフロード エンジンを使用して、データのリアルタイム圧縮と解凍を実行します。これは、接続されたクライアント セッションを使用して、クラスター内のノードとの間でファイルの書き込みと読み取りが行われるときに発生します。

FPGAに加えて、ハードウェア圧縮エンジンはDEFLATEの独自の実装を使用します。これにより、最高レベルの圧縮が実現され、圧縮率の高いデータセットのパフォーマンス低下は最小限に抑えられます。

圧縮エンジンは、次の3つの主要コンポーネントで構成されています。

これらは同じカード上に存在するため、圧縮エンジンはPCI-e帯域幅をノードのバックエンドEthernetインターフェイスと共有します。

OneFSは、圧縮ハードウェアに障害が発生した場合のフォールバックとして、ソフトウェア実装も提供します。混在クラスターでは、ハードウェア圧縮がないF810以外のノードでソフトウェア実装が使用されます。ハードウェアとソフトウェアの両方の圧縮実装はDEFLATEと互換性があります。