작은 오브젝트, 놀라운 신뢰성: ObjectScale이 데이터 스토리지의 효율성을 향상하는 방법

작은 파일을 위한 오브젝트 스토리지 성능은 중요합니다. 청크 저장소가 핵심입니다. 기술적으로 세부적인 요소가 많지만 중요한 AI 데이터 파이프라인이 올플래시 오브젝트 스토리지로 마이그레이션되므로 그 개념과 이점을 이해하는 것이 중요합니다.

오늘날의 데이터 파이프라인에서 언급되고 있는 작은 파일의 수는 몇 개나 됩니까? 규모에 따라 수십억 개의 파일이 있습니다. 이러한 파일은 LLM(Large Language Model) 미세 조정을 위해 비정형 데이터가 반정형 데이터로 처리될 때 생성되는 메타데이터일 수 있습니다. 또는 파일이 대규모 오픈 테이블 데이터베이스가 있는 Data Lakehouse 아키텍처에서 가져온 것일 수도 있습니다.

Dell ObjectScale은 AI 시대의 최신 데이터 요구 사항에 대응하는 기업을 위해 특별히 설계된 오브젝트 스토리지입니다. ObjectScale은 소규모 파일 성능, 복구 가능성 및 내구성 측면에서 경쟁업체와 차별화되어 데이터 스토리지 효율성을 크게 향상합니다. 그 이유는 다음과 같습니다.

청크 활용

ObjectScale은 파일을 128MB 크기의 청크로 압축합니다. 이러한 청크는 시스템이 수많은 작은 오브젝트를 다룰 때 큰 이점을 제공합니다.

예를 들어 수억 개 또는 수십억 개의 매우 작은 10K 메타데이터 파일이 있는 시스템을 예로 들 수 있습니다. ObjectScale은 10,000개 이상의 파일을 단일 청크에 저장할 수 있습니다. 해당 청크가 삭제 인코딩되고, 그에 따라 발생하는 샤드가 랙과 노드 간에 분산되어 내결함성이 보장됩니다. 청크는 25%의 클린 스토리지 오버헤드(10+2 삭제 인코딩 포함)로 디스크에 예측 가능한 방식으로 배치됩니다.

이 시나리오를 청크 저장소를 사용하지 않는 시스템과 비교해 보겠습니다. 소형 오브젝트의 경우 개별 삭제 인코딩은 좋지 않은 방식입니다(600% 이상의 오버헤드가 발생할 수 있음). 이러한 시스템은 일반적으로 이중 또는 삼중 미러링(200% 또는 300% 오버헤드)으로 대체됩니다. 그것을 수억 또는 수십억 배로 곱해 보십시오.

스토리지 오버헤드를 줄이면서 더 빠르게 재구축

다음으로 청크가 장애 시나리오에서 어떻게 결과를 결정하는지 고려합니다.

비 청크 저장소 기반 오브젝트 시스템에서 61TB NVMe 드라이브 장애가 발생하면 시스템이 수십억 개의 오브젝트 샤드를 다시 생성해야 합니다. 단일 드라이브 장애에 대한 복구 시간은 몇 주에서 몇 달에 달합니다. 24개의 드라이브가 있는 전체 스토리지 노드가 다운되면 어떻게 됩니까? 재구축은 시스템에 지속적인 부담이 될 것입니다.

ObjectScale 청크 저장소는 장애 시나리오에서 다시 생성해야 하는 총 샤드를 수십억 개에서 수백만 개로 줄입니다. 대규모 NVMe 드라이브의 재구축 시간은 몇 주, 몇 달에서 몇 시간으로 단축되고, 스토리지 오버헤드는 낮게 유지할 수 있습니다. 대규모 NVMe 지원을 위한 관리 가능한 유일한 솔루션입니다.

내구성 극대화, CPU 주기 확보

또한 AI와 같은 최신 워크로드를 위한 오브젝트 스토리지를 관리할 때 데이터 내구성이 미치는 영향도 고려하십시오. 감지되지 않는 데이터 손상을 방지하기 위해 오브젝트 스토리지는 사전 예방적 방식으로 오브젝트를 검사하고, 체크섬을 확인하면서 오류를 복구합니다.

시스템의 각 개별 오브젝트를 체크섬해야 하는 경우 활성 시스템은 해당 스캔을 완료할 수 없는 상태가 될 수 있습니다. 일부 오브젝트 시스템은 체크섬 스캔을 완료할 수 없는 상황이 발생할 경우 수집 속도를 제한합니다.

반면 ObjectScale은 개별 오브젝트를 청크에 넣기 전에 인라인으로 체크섬합니다. 세그먼트/스트라이프 수준에서 체크섬이 확인되므로 백그라운드에서 확인할 필요가 없습니다.

ObjectScale은 지속적으로 검증해야 하는 체크섬 수를 줄여 관련 처리 오버헤드를 크게 줄입니다. 이렇게 하면 CPU 주기가 확보되어 스토리지 노드가 데이터를 읽고 쓰는 기본 작업을 수행할 수 있습니다.

ObjectScale로 AI 스토리지 효율성 확장

Dell ObjectScale의 강력한 청크 저장소 메커니즘은 수십억 개의 작은 오브젝트를 관리하는 문제를 직접 해결합니다. 실제로 일부 고객은 단일 버킷에 1,000억 개 이상의 오브젝트가 포함된 ObjectScale 환경을 실행하고 있습니다. ObjectScale이 어떻게 탁월한 스토리지 효율성, 내구성 및 회복탄력성을 제공하여 고성능 AI 및 분석 워크플로의 필수 기반이 되는지 자세히 알아보십시오.