데이터 엔진
AI를 위해 정형 데이터와 비정형 데이터를 쿼리, 검색, 보강하고 처리하는 개방형 및 모듈형 엔진입니다.
원시 데이터에서 소비 가능한 데이터 제품까지
데이터 엔진은 Dell S3 오브젝트 스토리지의 데이터 준비 및 액세스를 통합하여 데이터를 수집 및 변환하고 AI 지원 데이터 제품을 제공합니다.
검색, 분석 및 처리를 위해 특별히 설계된 엔진
유연성을 제한하는 독점 엔진과 달리 데이터 엔진은 데이터 엔지니어와 설계자를 위해 직접 통합된 최신 데이터의 복잡성을 처리할 수 있는 최첨단 개방형 툴로 구축됩니다.
신뢰할 수 있는 스토리지를 기반으로 구축된 개방형 페더레이션
세 가지 선택 사항으로 데이터 엔진을 독점적인 종속 분석 스택에서 분리합니다.
동급 최고 수준의 개방형
데이터 엔진은 Starburst, Elastic 및 Apache Spark와 같은 최첨단 개방형 툴과 개방형 테이블 형식을 기반으로 구축됩니다. 독점 엔진에 종속되지 않고 이미 신뢰하는 툴을 통합합니다.
데이터가 상주하는 위치에서 쿼리
페더레이션 액세스를 사용하면 클라우드, 온프레미스, 데이터베이스, 레이크, 오브젝트 저장소, 데이터 및 NoSQL 전반에서 먼저 별도의 플랫폼으로 이동하거나 복제하지 않고도 정형 및 비정형 데이터를 검색하고 분석할 수 있습니다.
신뢰할 수 있는 엔터프라이즈 스토리지
데이터 엔진은 ObjectScale 및 PowerScale과 같은 Dell S3 호환 스토리지에서 실행되므로 퍼블릭 클라우드 오브젝트 스토리지보다 최대 76% 낮은 총 비용으로 성능, 신뢰성 및 보안 AI 요구 사항을 제공합니다.
질문
데이터 엔진이란 무엇입니까?
데이터 엔진은 검색, 분석 및 대규모 데이터 처리를 위한 개방형 모듈형 엔진 세트인 Dell AI Data Platform with NVIDIA의 데이터 처리 계층입니다. 이 엔진은 정형, 반정형, 비정형 엔터프라이즈 데이터를 쿼리, 검색, 보강 및 변환하므로 해당 데이터를 분석, 비즈니스 인텔리전스 그리고 RAG(Retrieval Augmented Generation) 및 에이전틱 검색과 같은 AI 워크로드에 사용할 수 있습니다. 데이터를 독점 플랫폼으로 이동하지 않고 필요한 엔진만 도입하여 기존 Dell Storage에서 실행할 수 있습니다.
Data Analytics Engine이란 무엇이며, Starburst는 어떤 역할을 합니까?
Starburst 기반의 Data Analytics Engine은 페더레이션된 쿼리 및 분석 엔진으로, 먼저 데이터를 한 위치에 복사하지 않고도 데이터 레이크, 웨어하우스, 오브젝트 저장소 및 데이터베이스와 같은 여러 소스에서 데이터를 분석할 수 있습니다. 이 엔진은 Apache Iceberg와 같은 개방형 테이블 형식을 사용하고 데이터가 상주하는 위치에서 직접 SQL 분석을 실행하므로 팀은 데이터 중복을 줄이고 분석 비용을 절감하면서 더 빠르게 통찰력을 확보할 수 있습니다.
데이터가 이미 상주하는 위치에서 분석을 실행할 수 있습니까?
예. Data Analytics Engine은 분산 소스 간에 쿼리를 페더레이션하므로 취약한 ETL(Extract, Transform, Load) 파이프라인을 구축하여 중앙 웨어하우스로 데이터를 이동하지 않고 현재 위치에서 데이터를 분석할 수 있습니다. 이는 복사본을 줄이고, 스토리지와 파이프라인 비용을 절감하며, 기존의 거버넌스와 액세스 제어를 유지하면서 통찰력을 확보하는 데 드는 시간을 단축합니다.
데이터 엔진은 벡터 검색 및 RAG를 어떻게 지원합니까?
ElasticSearch를 기반으로 구축되고 NVIDIA cuVS로 가속화되는 Data Search Engine은 임베딩을 생성하고 벡터 인덱스를 구축하므로 RAG 및 에이전틱 AI를 위해 엔터프라이즈 데이터를 시맨틱 방식으로 검색할 수 있습니다. GPU 가속화는 최대 12배 더 빠른 벡터 인덱싱 처리량을 제공하여 데이터가 변경되어도 인덱스를 최신 상태로 유지하므로 현재 엔터프라이즈 컨텍스트에서 빠르고 관련성이 높으며 근거를 갖춘 검색이 가능합니다.
데이터 엔진은 정형 데이터와 비정형 데이터를 모두 검색할 수 있습니까?
예. 이 엔진은 문서, 이미지, 비디오, 로그, 레코드 및 기타 엔터프라이즈 콘텐츠를 포함한 정형, 반정형 및 비정형 데이터를 고려하여 설계되었습니다. 검색은 이러한 데이터 유형 전반에서 키워드, 시맨틱 및 하이브리드 검색을 결합하므로 사용자와 AI 애플리케이션은 데이터의 위치나 데이터에 포함된 콘텐츠에 관계없이 올바른 정보를 찾을 수 있습니다.
데이터 엔진은 어떻게 대규모로 데이터를 준비하고 변환합니까?
Apache Spark를 기반으로 구축된 Data Processing Engine은 대규모 수집, 정리, 변환 및 보강을 처리합니다. 이 엔진은 원시 엔터프라이즈 데이터(배치 또는 스트리밍)를 정형화되고 정제된 AI 지원 데이터 세트로 준비합니다. 팀은 GPU 가속을 적용하여 학습, 인덱싱 및 추론에 앞서 데이터 준비 속도를 높일 수 있으므로 파이프라인이 변화하는 데이터에 대응할 수 있습니다.
데이터 엔진을 실행하기 위해 실제로 구축하는 것은 무엇입니까?
데이터 엔진은 Data Analytics Engine 어플라이언스(DDAE660)와 Dell Storage(스케일 아웃 파일의 경우 PowerScale, S3 오브젝트의 경우 ObjectScale) 및 NVIDIA 가속화와 함께 검증된 기반에서 실행됩니다. 특정 문제에 대한 단일 엔진으로 시작하여 워크로드가 증가함에 따라 재설계하지 않고도 검색, 분석 및 처리 전반으로 확장할 수 있습니다.
데이터 엔진이 분석 및 스토리지 비용을 절감하는 데 어떤 도움이 됩니까?
엔진은 데이터가 상주하는 위치에서 쿼리함으로써 중복 복제본과 ETL 오버헤드를 줄이고 개방형 테이블 형식은 독점적인 종속을 방지합니다. 비용 효율적인 Dell Storage와 결합하면 고객은 분석 및 오브젝트 스토리지 비용을 크게 절감하는 동시에 쿼리 성능을 개선하고 데이터에 따라 비용이 선형적으로 증가하는 대신 비용당 더 많은 통찰력을 확보할 수 있습니다.
데이터 엔진은 나머지 AI Data Platform과 어떻게 연계됩니까?
데이터 엔진은 Dell AI Data Platform with NVIDIA의 검색, 분석 및 처리 계층입니다. 그리고 데이터 오케스트레이션(포괄적인 파이프라인 자동화) 및 Dell Storage for AI(AI 지원 스토리지 기반)와 함께 작동합니다. 함께 작동하여 수집에서 AI 결과까지 기업 데이터를 가져옵니다. 플랫폼은 모듈형이므로 데이터 엔진만 사용하여 시작했다가 필요할 때 다른 계층을 추가할 수 있습니다.