小物件，大影響：ObjectScale 如何提升資料儲存效率

小型檔案的物件儲存效能至相當重要，其中關鍵在於區塊存放區。這是有一定技術性的基層細節，但當重要的 AI 資料管道遷移到全快閃記憶體物件儲存空間，您就必須瞭解這個概念及其優勢。

我們談及的當今資料管道中，有多少小型檔案？以大規模管道來說，會有數十億個檔案。這些檔案可能是中繼資料，在非結構化資料處理成用於大型語言模型 (LLM) 微調的半結構化資料時產生。或者，這些檔案可能來自具有大量開放表格資料庫的資料湖倉架構。

Dell ObjectScale 是物件儲存空間，專為在 AI 時代致力因應現代化資料需求的企業所打造。ObjectScale 具備優異的小型檔案效能、復原能力及耐用性，大幅提升資料儲存效率，因此從市場競爭中脫穎而出。以下列出一些原因。

利用區塊

ObjectScale 可將檔案壓縮至 128 MB 區塊中。在處理大量小型物件時，這些區塊為系統帶來重大優勢。

舉例來說，有個系統包含數億或數十億個非常小的 10 K 中繼資料檔案。ObjectScale 可將超過 10,000 個檔案儲存至單一區塊。然後，該區塊會接受糾刪編碼，產生的碎片會分佈在機架和節點之間，以達到容錯。區塊以可預測的方式放置在磁碟上，並具有百分之 25 的乾淨儲存開銷 (使用 10+2 糾刪碼)。

將此情境與不使用區塊存放區的系統對比。對於這麼小的物件，個別糾刪碼並非好選擇 (可能導致超過 600% 的開銷)。這些系統通常會回復到雙鏡像或三鏡像 (200% 或 300% 的開銷)。試想將這個數字乘以數億或數十億。

以更低的儲存開銷加快重建速度

接下來，想想區塊能如何決定故障情境中的結果。

在非區塊儲存型的物件系統上，61 TB NVMe 磁碟機故障將導致系統必須重新建立數十億個物件碎片。我們會需要數週到數月的時間，為單一磁碟機故障進行重建。如果某個包含 24 個磁碟機的整個儲存節點發生故障，該怎麼辦？重建會不斷拖累系統。

在故障情境下，ObjectScale 區塊存放區可將需要重新建立的碎片總數減少好幾個量級 (從數十億減少到數百萬)。大型 NVMe 磁碟機的重建時間可以從數週、數月縮短至數小時，還能維持低儲存開銷。這確實是唯一可管理的大型 NVMe 支援解決方案。

最大化耐用性，空出 CPU 週期

管理 AI 等現代工作負載的物件儲存時，也務必考慮資料耐用性的影響。為防止無紀錄的資料損毀，物件儲存會主動掃描物件，驗證檢查總和並修復錯誤。

如果系統中的每個物件都需要執行檢查總和，活動系統會很容易進入永遠無法完成這類掃描工作的狀態。如果某些物件系統陷入無法完成檢查總和掃描的情況，就會限制擷取速度。

相較之下，ObjectScale 會先對個別物件內嵌執行檢查總和，再將其放入區塊中。驗證不需要在背景中執行，因為檢查總和是在區段/磁碟層級進行驗證。

ObjectScale 透過減少需要持續驗證的檢查總和數量，大幅減少相關的處理開銷。這樣會空出 CPU 週期，因此儲存節點可以執行其主要工作，即讀取和寫入資料。

運用 ObjectScale 提升 AI 儲存效率

Dell ObjectScale 強大的區塊存放區機制，可直接解決管理數十億個小型物件時所面臨的難題。事實上，我們有部分客戶正在執行 ObjectScale 環境，其中的單一容器包含超過 1,000 億個物件。誠摯邀請您與我們聯絡，深入瞭解 ObjectScale 如何提供卓越的儲存效率、耐用性和恢復能力，成為高效能 AI 和分析工作流程不可或缺的基礎。