小さなオブジェクトで、大きなインパクト：ObjectScaleにより、データストレージの効率性はどのように高まるか

小容量ファイルのオブジェクトストレージのパフォーマンスは重要です。そして、チャンク ストアはその鍵となります。これは下層の、かなり技術的な詳細ですが、この概念とその利点を理解しておくことは、重要なAIデータ パイプラインがオールフラッシュ オブジェクトストレージに移行していることを考えるときわめて重要です。

今日のデータ パイプライン中にある、小容量ファイルの数はどれくらいでしょうか？規模が大きい場合、ファイル数は数十億にもなります。これらのファイルは、非構造化データが大規模言語モデル(LLM)の微調整のために半構造化データに処理される際に生成されるメタデータである可能性があります。あるいは、巨大なオープン テーブル データベースで構成されるデータレイクハウス アーキテクチャからのファイルであることも考えられます。

Dell ObjectScaleは、AI時代のモダンデータのニーズに対応している企業向けに設計されたオブジェクトストレージです。ObjectScaleは、小容量ファイルのパフォーマンス、リカバリー可能性、耐久性において競合製品とは一線を画しており、データストレージの効率性を大幅に向上させます。その理由をいくつかご紹介します。

チャンクを活用する

ObjectScaleでは、複数のファイルがまとめられて128MBのチャンクになります。このチャンクは、システムが大量の小規模なオブジェクトを扱う際に、大いに効果を発揮します。

たとえば、数億または数十億の非常に小さな10Kメタデータファイルを含むシステムを考えてみましょう。ObjectScaleでは、これらのファイルを10,000個以上まとめて1つのチャンクに格納できます。このチャンクは消去符号化され、その結果生成されたシャードが、フォールト トレランスを目的として複数のラックとノードに分散されます。チャンクは予測可能な方法でディスク上に配置され、クリーン ストレージのオーバーヘッドは25%となります（10+2消去符号化を使用）。

このシナリオを、チャンク ストアを使用しないシステムと比較してみてください。このような小規模のオブジェクトを個別に消去符号化することは、良い選択ではありません（オーバーヘッドが600%を超えることになります）。このようなシステムでは通常、代わりの手段としてダブルまたはトリプル ミラーリングが使用されます（オーバーヘッドは200%または300%）。これが何億倍、何十億倍になるとどうなるでしょうか。

ストレージ オーバーヘッドを削減して迅速に再構築する

次に、チャンクの活用が、故障が発生した場合の成果を左右する理由を見てみましょう。

チャンクストア ベースではないオブジェクト システムでは、61TBのNVMeドライブ1台が故障すると、そのシステムの数十億個のオブジェクト シャードの再作成が必要になります。単一のドライブ障害の復旧には、数週間から数か月かかります。24台のドライブを搭載したストレージノード全体がダウンした場合はどうなりますか？再構築はシステムのパフォーマンスを常に低下させることになります。

ObjectScaleのチャンク ストアでは、故障が発生した場合に再作成が必要なシャードの総数が何桁も少なくなります（数十億が数百万に）。大規模なNVMeドライブの再構築に要する時間は、数週間あるいは数か月からほんの数時間に短縮でき、しかもストレージ オーバーヘッドは常に低く抑えられます。これは、大規模なNVMeサポート向けの、唯一の管理可能なソリューションです。

耐久性を最大限に高め、CPUサイクルを解放する

また、AIなどの最新のワークロードのオブジェクトストレージを管理する際に、データの耐久性がもたらす影響についても考慮します。サイレント データの破損を防ぐために、オブジェクトストレージはオブジェクトのプロアクティブなスキャン、チェックサムの検証、エラーの修復を行います。

システム内の個々のオブジェクトのチェックサム計算が必要な場合、稼働中のシステムではすぐに、このようなスキャンが決して完了されない状態に陥る可能性があります。一部のオブジェクト システムでは、チェックサム スキャンを完了できない状況になった場合、取得速度が制限されます。

対照的にObjectScaleでは、個々のオブジェクトのチェックサム計算はチャンクにまとめられる前にインラインで行われます。チェックサムはセグメント/ストライプ レベルで確認されるため、確認をバックグラウンドで行う必要はありません。

ObjectScaleは、継続的に検証する必要があるチェックサムの数を減らすことで、関連する処理オーバーヘッドを大幅に削減します。これにより、CPUサイクルが解放されるため、ストレージ ノードはデータの読み取りと書き込みを主なジョブとして行うことができます。

ObjectScaleでAIストレージの効率性をスケール アップする

Dell ObjectScaleの強力なチャンク ストア メカニズムは、数十億個の小規模なオブジェクトを管理するという課題に直接対処するものです。実際、お客様の中には、1つのバケットに1,000億を超えるオブジェクトを含むObjectScale環境を実行しているお客様もいます。ObjectScaleは、優れたストレージ効率、耐久性、堅牢性を提供し、高性能なAIおよび分析ワークフローの不可欠な基盤となります。詳細について、ぜひお問い合わせください。