数据引擎
开放的模块化引擎,旨在为 AI 查询、搜索、丰富及处理您的结构化与非结构化数据。
从原始数据到可消费的数据产品
数据引擎在戴尔 S3 对象存储上统一了数据准备和访问流程,以采集和转换数据,并交付即开即用、随时可投入 AI 训练的数据产品。
专为搜索、分析和处理而打造的引擎
专有引擎往往会限制灵活性。与之不同,数据引擎利用前沿的开放工具构建,不仅能够从容应对现代数据的复杂性,还专为数据工程师和架构师进行了深度直接集成。
开放、联合式,以可信存储为基础。
三大优势让数据引擎脱颖而出,告别专有、受限的分析技术栈。
开放架构,卓越之选
数据引擎基于 Starburst、Elastic、Apache Spark 等前沿的开放工具及开放表格式构建。避免专有引擎的束缚,无缝集成您信赖的工具。
原地数据查询
联合访问机制让您能够搜索并分析跨云端、本地环境、数据库、数据湖、对象存储及 NoSQL 的结构化和非结构化数据,而无需事先将数据移动或复制到独立平台中。
值得信赖的企业级存储
数据引擎运行在兼容 S3 的戴尔存储(如 ObjectScale 和 PowerScale)上,提供 AI 所需的性能、可靠性与安全性,总体拥有成本比公有云对象存储最多可降低 76%。
问题
数据引擎是什么?
数据引擎是 Dell AI Data Platform with NVIDIA 的数据处理层,它是一套开放、模块化的引擎,专为搜索、分析及大规模数据处理而设计。这些引擎可查询、搜索、丰富并转换结构化、半结构化及非结构化企业数据,确保数据随时可用于分析、商业智能以及检索增强生成 (RAG) 和智能体检索等 AI 工作负载。仅采用您所需的引擎并在现有的戴尔存储上运行,无需将数据迁移至专有平台。
什么是数据分析引擎?Starburst 在其中发挥什么作用?
由 Starburst 驱动的数据分析引擎是一款联合查询与分析引擎,使您能够跨多个数据源(如数据湖、数据仓库、对象存储及数据库)分析数据,而无需预先将数据复制到单一位置。该引擎采用 Apache Iceberg 等开放表格式,并直接在数据存放位置运行 SQL 分析,从而使团队以更少的数据复制及更低的分析成本,更快速地获取洞察。
我可以在数据现有的存放位置直接运行分析吗?
是的。数据分析引擎可跨分布式数据源进行联合查询,因此您可以进行原地数据分析,而无需构建脆弱的 ETL(提取、转换、加载)管道来将数据移动至中央数据仓库。此举不仅减少了数据副本,削减了存储和管道成本,缩短了获取洞察的时间,还能使数据始终处于现有的治理与访问控制之下。
数据引擎如何支持向量搜索与 RAG?
数据搜索引擎基于 Elasticsearch 构建并由 NVIDIA cuVS 加速,可生成嵌入并构建向量索引,从而为 RAG 和代理式 AI 实现企业数据的语义检索。GPU 加速带来高达 12 倍的向量索引吞吐量提升,随着数据的变化使索引保持最新状态,从而确保检索始终快速、高度相关且扎根于当前的企业环境中。
数据引擎能否同时搜索结构化和非结构化数据?
是的。这些引擎专为处理结构化、半结构化及非结构化数据而设计,包括文档、图像、视频、日志、记录以及其他企业内容。搜索功能在这些数据类型之间结合了关键字、语义和混合检索,因此无论数据存放在何处,也无论数据呈现何种形式,用户及 AI 应用程序都能找到正确的信息。
数据引擎如何大规模准备和转换数据?
基于 Apache Spark 构建的数据处理引擎可处理大规模的数据接收、清洗、转换及丰富操作。该引擎将企业原始数据(批处理或流数据)准备成干净、结构化且随时可用于 AI 的数据集。团队可在训练、索引及推理之前应用 GPU 加速来加快数据准备工作,使数据管道时刻跟上数据变化的步伐。
要运行数据引擎,我实际需要部署什么?
数据引擎运行在经过验证的基础架构之上,如数据分析引擎设备 (DDAE660),并结合戴尔存储(用于横向扩展文件的 PowerScale 及用于 S3 对象的 ObjectScale)和 NVIDIA 加速技术。从针对特定问题的单一引擎起步,随着工作负载的增长逐步扩展至搜索、分析及处理领域,无需重新设计体系结构。
数据引擎如何帮助降低分析和存储成本?
通过执行原地查询,数据引擎减少了冗余副本和 ETL 开销;此外,开放表格式避免了专有系统的锁定。结合极具成本效益的戴尔存储,客户可以在显著降低分析和对象存储成本的同时提升查询性能,让每一分钱都能获取更多洞察,而非让成本随数据量呈线性增长。
数据引擎如何与 AI Data Platform 的其余部分配合使用?
数据引擎是 Dell AI Data Platform with NVIDIA 的搜索、分析与处理层。它们与数据编排(用于实现端到端管道自动化)以及面向 AI 的戴尔存储解决方案(AI 就绪的存储基础)协同工作。它们共同将企业数据从接收阶段一路推进至 AI 成果输出。鉴于该平台采用模块化设计,您可以仅从数据引擎起步,并在需要时随时添加其他层。