メイン コンテンツに進む

データ エンジン

AI向けの構造化データと非構造化データのクエリー実行、検索、エンリッチメント、処理を行うオープンなモジュラー型エンジン。

ビッグ データ人工知能機械学習ニューラル ネットワーク フロー複雑な情報サイエンス イノベーション テクノロジー データ分析可視化

RAWデータから消費可能なデータ製品まで

Data Enginesは、Dell S3オブジェクトストレージ上のデータ準備とアクセスを統合して、データの取得と変換を行い、消費可能なAI対応データ製品を提供します。

ソース データ →

構造化データ、半構造化データ、非構造化データ(データベース、レイク、オブジェクト ストア、ドキュメント、ログ、ストリーム)。

取得 →

リアルタイムのストリーミングとバッチ データをハイパフォーマンスのS3ストレージに導入。

変換 →

分析、検索、処理の各エンジンを使用して、データの検索、クエリー実行、クレンジング、エンリッチメントを行います。

提供 

ビジネス インテリジェンス、データサイエンス、機械学習、生成AI向けに、すぐに使用できるデータ製品を提供します。

検索、分析、処理に特化したエンジン

柔軟性を制限する独自仕様のエンジンとは異なり、Data Enginesは、モダン データの複雑さを処理するためにオープンで最先端のツールを使用して構築されており、データ エンジニアやアーキテクト向けに直接統合されています。

オープン、フェデレーション化、信頼できるストレージ上に構築

Data Enginesには、独自のロックイン分析スタックとは一線を画す3つの選択肢があります。

オープンで最適な組み合わせ

Data Enginesは、Starburst、Elastic、Apache Sparkなどのオープンで最先端のツールとオープン テーブル形式に基づいて構築されています。独自のエンジンに縛られることなく、すでに信頼しているツールを統合しましょう。

データが存在する場所を照会

統合アクセスを使用すると、クラウド、オンプレミス、データベース、レイク、オブジェクト ストア、NoSQL全体で、構造化データと非構造化データを、最初にデータを別のプラットフォームに移動したり複製したりすることなく、検索および分析できます。

信頼できるエンタープライズ ストレージ

Data Enginesは、ObjectScaleやPowerScaleなどのDell S3互換ストレージ上で実行され、パブリッククラウド オブジェクトストレージよりも最大76%低い総コストで、AIに必要なパフォーマンス、信頼性、セキュリティを提供します。

AIの活用に向けた取り組みを開始

AIの活用に向けた取り組みを開始

質問

Data Enginesは、検索、分析、大規模なデータ処理のためのオープンなモジュラー型エンジン セットである、Dell AI Data Platform with NVIDIAのデータ処理レイヤーです。これらのエンジンは、構造化データ、半構造化データ、非構造化データに対してクエリーの実行、検索、エンリッチメント、変換を行い、それらのデータを分析、ビジネス インテリジェンス、および検索拡張生成(RAG)やエージェンティック検索などのAIワークロードで利用可能な状態に整えます。必要なエンジンのみを導入し、既存のDellストレージ上で実行することで、独自のプラットフォームへのデータ移動を回避できます。
Starburstを搭載したデータ分析エンジンは、統合されたクエリーおよび分析エンジンであり、データレイク、ウェアハウス、オブジェクト ストア、データベースなどの多くのソースにわたってデータを分析できます。最初にデータを1つの場所にコピーする必要はありません。このエンジンは、Apache Icebergなどのオープン テーブル形式を使用し、データが存在する場所で直接SQL分析を実行するため、チームはデータの重複を減らし、分析コストを削減しながら、さらに迅速にインサイトを得ることができます。
はい。データ分析エンジンによって、分散したソースに対するクエリーがフェデレーション化されるため、ユーザーはデータをその場で分析できます。つまり脆弱なETL(抽出、変換、ロード)パイプラインを構築してデータを中央のウェアハウスに移す必要はありません。その結果として、コピーが減り、ストレージとパイプラインのコストが削減され、インサイトを得るまでの時間が短縮すると同時にデータを既存のガバナンスとアクセス制御の下に留めることができます。
ElasticSearch上に構築され、NVIDIA cuVSによって高速化されたデータ検索エンジンは、埋め込みを生成し、ベクトル インデックスを構築して、RAGやエージェンティックAIのためにエンタープライズ データをセマンティックに取得できるようにします。GPUアクセラレーションにより、ベクトル インデックス作成のスループットが最大12倍高速化され、データの変更に応じてインデックスを最新の状態に保つことができるため、現在のエンタープライズ コンテキストに基づいて高速かつ関連性の高い検索を維持できます。
はい。これらのエンジンは、ドキュメント、画像、ビデオ、ログ、レコード、その他のエンタープライズ コンテンツを含む、構造化データ、半構造化データ、非構造化データを対象として設計されています。検索は、これらのデータ型に対してキーワード、セマンティック、ハイブリッド リトリーバルを組み合わせて行われるため、ユーザーとAIアプリケーションは、データの場所やデータの形式にかかわらず、正しい情報を見つけることができます。
Apache Sparkを基盤としたData Processing Engineは、大規模なデータの取得、クレンジング、変換、エンリッチメントを処理します。このエンジンは、未加工のエンタープライズ データ(バッチまたはストリーミング)をクリーンで構造化されたAI対応データセットに準備します。チームはGPUアクセラレーションを適用して、トレーニング、インデックス作成、推論に先立ってデータ準備を高速化できるため、パイプラインは変化するデータに対応できます。
Data Enginesは検証済みの基盤上で、たとえばデータ分析エンジン アプライアンス(DDAE660)上で稼働し、これにDellストレージ、つまりPowerScale(スケールアウト ファイル用)とObjectScale(S3オブジェクト用)、およびNVIDIAアクセラレーションを組み合わせます。最初はエンジン1台だけで特定の1つの問題を解決し、そこからワークロードの成長に合わせて検索、分析、処理を拡張していくときも、アーキテクチャの変更は不要です。
これらのエンジンはデータが存在する場所に対してクエリーを行うため、冗長コピーとETLオーバーヘッドが減り、オープン テーブル形式が採用されているため独自形式へのロックインはありません。コスト効率に優れたDellストレージと組み合わせると、分析とオブジェクトストレージのコストが大幅に低減すると同時にクエリーのパフォーマンスが向上するため、投資額からさらに多くのインサイトを引き出すことができ、データの増大に比例してコストが上昇することはありません。
Data Enginesは、Dell AI Data Platform with NVIDIAの検索、分析、処理のレイヤーです。Data Orchestration(エンドツーエンドのパイプラインを自動化)とDell Storage for AI(AI対応ストレージ基盤)と連携して動作します。一体となってエンタープライズ データを取り込みからAIの成果につなぎます。このプラットフォームはモジュラー型であるため、Data Enginesのみで開始し、必要に応じて他のレイヤーを追加できます。