小对象，大作为：ObjectScale 如何提高数据存储效率

面向小文件的对象存储性能至关重要，而分块存储技术正是其核心支撑。这虽然是底层技术细节，但随着关键 AI 数据管道向全闪存对象存储迁移，了解该技术的原理及优势就非常重要。

当今数据管道中的小文件数量究竟有多少？大规模场景下可达数十亿量级。这些文件可能是在非结构化数据处理为半结构化数据时产生的元数据，用于大型语言模型 (LLM) 微调；也可能源自采用海量开放表数据库的湖仓一体架构。

Dell ObjectScale 是专为应对 AI 时代现代数据需求的企业级对象存储解决方案。ObjectScale 在小文件性能、数据可恢复性与持久性方面表现卓越，可显著提升数据存储效率。以下为关键优势解析。

充分利用分块技术

ObjectScale 将文件打包为 128 MB 的数据块。在处理海量小对象时，这些数据块可为系统带来显著优势。

以存储数亿或数十亿个 10 KB 极小元数据文件的系统为例，ObjectScale 可将超过 10,000 个此类文件整合至单个数据块。该数据块经过擦除编码后，生成的数据分片会在机架与节点间分布式存储，以确保容错能力。数据块采用可预测的磁盘布局模式，仅需 25% 的洁净存储开销（采用 10+2 擦除编码配置）。

对比未采用分块存储的系统，对此类小对象单独进行擦除编码将导致灾难性后果，存储开销可能会超过 600%。这类系统通常被迫采用双副本或三副本镜像策略（即 200% 或 300% 的开销）。试着把这个开销乘以数亿乃至数十亿的文件量级，结果会怎样？

重建速度更快，存储开销更低

接下来，我们进一步探究分块存储在故障场景中的作用。

在基于非分块存储的对象系统中，一个 61 TB NVMe 驱动器发生故障，意味着系统需要重新生成数十亿个对象分片。单个驱动器故障所需的重建时间可能长达数周甚至数月。如果配备了 24 个驱动器的存储节点整个宕机，会怎么样？重建过程将成为持续拖累系统性能的梦魇。

ObjectScale 分块存储技术可将故障场景中需要重建的分片总量降低数个数量级（从十亿级降至百万级）。大容量 NVMe 驱动器的重建时间可从数周或数月缩短至数小时，且始终保持低存储开销。这无疑是支持大容量 NVMe 存储唯一可行的解决方案。

卓越持久性释放 CPU 算力潜能

在为 AI 等现代工作负载管理对象存储时，数据持久性的影响不容忽视。为防止静默数据损坏，对象存储需主动扫描对象、验证校验和并修复错误。

如果系统需要为各个对象执行校验和验证，活跃系统极易陷入永远无法完成这些扫描任务的困境。某些对象存储系统在无法完成校验和扫描时，甚至会限制数据摄入速度。

而 ObjectScale 则可以在将各个对象放入数据块前，对其执行内联式校验和验证。由于校验和的验证已在数据段/条带层级完成，无需后台重复验证。

通过大幅减少需要持续验证的校验和数量，ObjectScale 可显著降低相关处理开销。由此释放的 CPU 算力可让存储节点专注于主要任务，执行数据读写操作。

借助 ObjectScale 提升 AI 存储效能

Dell ObjectScale 的强大分块存储机制可直接解决海量小对象管理任务的挑战。实际案例中，已有客户在单个存储桶内运行超千亿对象规模的 ObjectScale 环境。诚邀您深入了解 ObjectScale 如何通过卓越的存储效率、持久性与弹性，成为高性能 AI 与分析工作流不可或缺的基石。