OneFS:瞭解 ISILON 的資料壓縮
Summary: 這說明在包含 F810 節點池的群集上的數據壓縮。這適用於 OneFS 8.1.3 或 OneFS 8.2.1 及更新版本。
Instructions
Isilon F810 節點可讓您在 Isilon 叢集上執行在線資料壓縮。OneFS 僅在 Isilon F810 節點集區支援內嵌式資料壓縮。F810 節點包含網路介面卡 (NIC),可壓縮和解壓縮節點接收的資料。當用戶端讀取和寫入資料至叢集時,會在 F810 節點的 40 Gb 乙太網路介面上並行執行硬體壓縮和解壓縮。此分散式介面模式可讓全快閃 F810 節點隨著 Isilon 叢集的增長和額外 F810 節點的新增,以線性方式擴充壓縮功能。
您可以在具備下列項目的叢集上啟用內嵌式資料壓縮:
- F810 節點集區
- 40 Gb 乙太網路後端網路
- OneFS 8.1.3 或 OneFS 8.2.1 或更新版本
混合式叢集
在包含 F810 以外的節點類型的混合群集中,檔僅以壓縮形式存儲在 F810 節點池上。寫入或分層到其他節點類型的存儲池的數據在池之間移動時將解壓縮。
概括地說,Isilon 全新壓縮功能的優點包括:
- 單純:無組態,預設的連續壓縮可減輕管理負擔。
- 效率:Isilon 透過內嵌式硬體卸載,可將任何效能影響降至最低,同時大幅提升儲存效率。
- 透明度:壓縮以原生方式整合至 OneFS 檔案系統,因此對應用程式和工作流程來說十分透明。
- 和睦:它可與其他 Isilon 儲存效率工具搭配使用。
OneFS 內嵌式壓縮使用無損演算法,可在資料寫入磁碟時減少資料的實體大小。壓縮的數據在讀回時會解壓縮。壓縮對於位於檔案系統頂部的應用程式是透明的,包括基於協定的服務,如 網路檔案系統 (NFS) 和伺服器訊息區塊 (SMB)。
Isilon 內嵌式壓縮的主要目的是降低資料的儲存需求。在線壓縮通常具有較小的存儲佔用空間,降低了電源和冷卻要求,並降低了每 TB 的整體存儲成本。但是,壓縮還有助於減少寫入存儲設備的數據總量。這有利於固態硬碟 (SSD) 和其他具有有限覆蓋限制的介質,因為它可以降低驅動器的磨損率。
那麼引擎蓋下有什麼呢?
OneFS 內嵌式資料壓縮包含五個主要元件:
- 壓縮平台
- 壓縮引擎
- 壓縮區塊對應
- 壓縮警示和報告框架
- 壓縮控制路徑
在本文中,我們將重點介紹平臺和壓縮引擎。
內嵌式資料壓縮僅支援全新 Isilon F810 全快閃式記憶體平台,其中每個節點均包含壓縮卸載配接卡。此適配器提供旁視壓縮,以從網路處理器卸載某些任務。這意味著使用專用的現場可程式設計門陣列 (FPGA) 以最小的延遲透明地執行壓縮和解壓縮,從而減少 CPU 和記憶體資源。
全新 F810 機箱提供下列儲存裝置選項:
|
磁碟機類型 |
儲存媒體 |
加密 (SED) |
機箱容量 (原始) |
|
3.8 TB |
固態硬碟 (SSD) |
否 |
228 TB |
|
7.7 TB |
固態硬碟 (SSD) |
否 |
462 TB |
|
15.4 TB |
固態硬碟 (SSD) |
否 |
924 TB |
|
15.4 TB SED |
固態硬碟 (SSD) |
是 |
924 TB |
除了雙埠 40 Gb 乙太網介面外,每個壓縮卸載適配器還包含一個專用於數據壓縮和解壓縮的 FPGA 晶片。節點後端 PCI-e 插槽中每個配接卡上的兩個乙太網路連接埠用於備援後端網路連線。
當用戶端讀取和寫入資料至叢集時,會在 F810 節點的 40GB 乙太網路介面上平行執行硬體壓縮和解壓縮。此分散式介面模式允許隨著 Isilon 叢集的增長和新增額外的 F810 節點,在 F810 節點集區中線性擴充壓縮。OneFS 版本 8.1.3 及更新版本支援 4 至 144 個 F810 節點或每個叢集 36 個機箱。最佳實務建議是每個叢集最多 40 個 F810 節點。
F810 節點在後端 PCI-e 網路適配器上使用基於 FPGA 的硬體卸載引擎來執行數據的即時壓縮和解壓縮。當檔案使用連線用戶端工作階段寫入叢集節點,以及從叢集節點讀取檔案時,就會發生這種情況。
除了FPGA之外,硬體壓縮引擎還使用了DEFLATE的專有實現。這提供了最高級別的壓縮,同時對高度可壓縮數據集的性能損失很小或沒有。
壓縮引擎由三個主要元件組成:
|
引擎元件 |
說明 |
|
搜尋模組 |
LZ77 搜尋模組分析內聯文件數據塊以查找重複模式。 |
|
編碼模組 |
這會對目標區塊執行資料壓縮 (Huffman 編碼)。 |
|
解壓模組 |
這會從壓縮區塊重新建立原始檔案。 |
由於它們位於同一個卡上,壓縮引擎會與節點的後端乙太網路介面共用 PCI-e 頻寬。
OneFS 也會提供軟體實作,作為壓縮硬體故障時的回復。在混合叢集中,軟體實作會在無硬體壓縮功能的非 F810 節點上使用。硬體和軟體壓縮實現都是 DEFLATE 相容的。