Data Domain:壓縮常見問題
Summary: 本文回答有關壓縮最常見的問題。Data Domain 與資料類型無關。Data Domain 使用只會備份不重複資料的壓縮演算法,重複模式或多個備份只會儲存一次。
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Instructions
目錄
在多週的每日和增量備份中,一般壓縮率為 20:1。數據類型會影響壓縮率 - 壓縮的圖像檔、資料庫和壓縮檔案(如 .zip 檔)不能很好地壓縮。
增量備份和完整備份是否使用相同的磁碟空間?
在理想情況下是如此。實際上,由於以下原因,完整備份使用的空間比增量備份多一點。這些原因也解釋了為什麼在資料沒有變更後進行完整備份仍會消耗大量的空間。
- 中繼資料大約佔用邏輯備份大小的 0.5%。假設:
- 完整版的邏輯大小為 100 GB
- 增量的邏輯大小為 2 GB
- 增量壓縮為 1 GB
- ...然後完整版至少需要 1.5 GB
- DD 壓縮引擎會為了提升效能,重寫一些重複的資料區段。變更的資料位置越差,重複寫入的項目就越多。重複項目稍後會透過檔案系統垃圾收集 (GC) 回收。在某些情況下,大約 2% 的邏輯大小會重寫為重複。假設此級別的重複項,則完整可能需要 1 GB(壓縮)+ 0.5 GB(元數據)+ 2 GB(重複)= 3.5 GB。寫入的重複數量可以透過系統參數進行控制,但我們通常不會在欄位中調整此參數。
- 根據 NFS 用戶端傳送資料的順序,不同備份之間的資料分段可能會略有不同。此順序不是決定性的。通常,分段演演演算法允許移位和重新排序。但是,它也會產生一些「強制」段,這些段容易發生移位和重新排序。通常,大約 0.2% 的段是強制的,因此可以預期更多的空間使用。
為什麼”filesys show space' 和 'filesys show compression'顯示不同的數位?
- '
filesys show space' 根據存儲的數據的邏輯大小和運行命令時使用的磁碟空間提供壓縮率。 - '
filesys show compression' 根據每個檔在創建時的壓縮方式提供壓縮率。 - '
filesys show compression' 主要用於支援和調試。在存在檔案刪除的情況下,'filesys show compression' 高估了壓縮比。
例如,假設:
- 第一次完整備份會獲得 2 倍的壓縮率
- 無任何資料變更的後續完整備份可獲得 200 倍壓縮率
- 第一個完整備份被刪除
' 的輸出
filesys show space' 將顯示 2x 的壓縮比,而”filesys show compression' 將顯示 200x 的壓縮比,因為現在唯一存在的檔在創建時的壓縮率為 200x。
在上面的示例中,在第二次備份之後,'
filesys show space' 將顯示大約 4 倍的累積比率。如果繼續進行更多備份而不刪除,則累積比率將逐漸改善至 200 倍。
還有其他一些細微的差異。“
filesys show compression' 命令:
- 未考慮容器層級的浪費,因此會進一步高估壓縮比
- 未考慮全域壓縮的重複消除,因此低估了壓縮率
- 可以提供每個檔案或每個目錄的資訊,而'
filesys show space' 僅限於整個系統 - 提供全域壓縮和本地壓縮之間的細分,而”
filesys show space' 沒有
為什麼”filesys show compression last 24 hours' 不符合 VTL 的預期?
對於 VTL,命令的輸出,例如”
filesys show compression last 24 hours' 通常不符合基於其他來源的期望,例如”system show performance」。
發生此問題是由於”
filesys show compression」。通常,它顯示所選檔中的累積統計資訊。限定符「過去 24 小時」選擇在過去 24 小時內更新的檔。統計資料仍為自檔案建立,或上次截斷至零大小以來的累積。因此,如果在過去 24 小時內附加了檔,'filesys show compression last 24 hours' 顯示過去 24 小時之前的累積統計資訊。
非 VTL 環境中的備份檔僅寫入一次,因此更新的檔和創建的檔之間幾乎沒有差異。有了 VTL,備份可能會附加至現有的磁帶檔案。例如,假設一個 100 GB 的磁帶最多填滿了 50 GB。如果在過去 24 小時內將 10 GB 的數據追加到此磁帶,”
filesys show compression last 24 hours' 將顯示檔的“原始位元組”,寫入時間為 60 GB。
累積壓縮率是如何計算的?
個別壓縮比無法線性相加。
假設第一次完整備份的壓縮率為 2 倍,第二次完整備份的壓縮率為 20 倍。累積壓縮不是
(2 + 20) / 2 = 11x,但是 2 / (1/2 + 1/20) = 3.64x。
一般來說,較低的壓縮比比較高的壓縮比對累積壓縮比的影響更大。
假設
ith 備份具有邏輯大小 si 和壓縮比 ci。接著,為 k 可以按如下方式計算備份:
C = (total logical size)/(total space used)
total logical size = s1 + s2 + .. + sk
total space used = s1/c1 + s2/c2 + ... + sk/ck
通常,邏輯大小大致相同。在這種情況下,上述計算可簡化為以下內容:
C = k / (1/c1 + 1/c2 + ... + 1/ck)
例如,如果:
- 第一個完整備份可獲得 3 倍壓縮
- 每個後續完整版都會獲得 30 倍壓縮
- 保留期為 30 天
使用者會看到累計壓縮 30 / (1/3 + 29/30),或 23x。
Data Domain 壓縮如何運作?
這個問題在另一篇文章中得到了詳細的回答:瞭解 Data Domain 壓縮
Data Domain 是否支援多路複用?
來自備份應用程式的多路復用數據會導致全域重複數據刪除非常差。如需更多資訊,請參閱本文:Data Domain:備份軟體中的多路複用
使用一對一目錄複製,為什麼副本顯示更好的全域壓縮?
這通常是因為系統上寫入的重複分段層級存在差異:
- 在源存儲的數據已刪除重複一次 - 與之前存儲在源中的數據相比。
- 通過網路發送的數據已針對存儲在副本上的數據進行了重複數據刪除一次。
- 儲存在複本的資料已重複資料刪除兩次,一次是透過有線方式傳送資料時,另一次是將接收的資料寫入複本時。
由於重複資料刪除程序會留下一些重複資料,因此已經過多次重複資料刪除的資料重複項目較少。儲存在來源並以有線方式傳送的資料已重複資料刪除一次,因此它們大致相同,假設儲存在來源和複本的資料相似。儲存在複本的資料會重複資料刪除兩次,因此壓縮效果更好。
檔案系統清理會移除大部分重複項目。因此,在來源和複本上執行清理後,其中儲存的資料量應大致相同。
使用時壓縮有什麼變化 lz小 gzfast以及 gz 本地壓縮設置?
使用下列命令變更 Data Domain 中使用的本機壓縮演算法:
filesys option set compression {none | lz | gzfast | gz}
注意:在變更本機壓縮類型之前,必須先關閉檔案系統。設定壓縮選項後,即可立即重新啟動。
一般來說,壓縮順序如下:
lz < gzfast < gz
| 在命令前頭輸入 | 預期補償。 | CPU 負載 |
|---|---|---|
| 無 | 1 倍 | 0 倍 |
| LZ | 2 倍 | 1 倍 |
| 格茲法斯特 | 2.5 倍 | 2 倍 |
| 廣澤 | 3 倍 | 5 倍 |
粗略的區別如下:
lz to gzfast壓縮效果提高 ~15%,並消耗 2 倍 CPUlz to gz提供 ~30% 更好的壓縮和消耗 5 倍 CPUgzfast to gz壓縮效果提高 ~10-15%
請注意,變更本機壓縮機制會影響在變更後寫入 Data Domain 的新資料。舊資料會保留其先前的壓縮格式,直到下一個清理週期為止。下一個清理週期會將所有舊資料複製成新的壓縮格式。這會導致清理執行時間更長,並佔用更多 CPU。
如果系統的 CPU 已不足,特別是備份和複寫同時執行時,可能會減慢備份速度。客戶可能想要明確安排一些時間來執行此轉換。
Additional Information
知識參考資料:
Affected Products
Data DomainProducts
Data DomainArticle Properties
Article Number: 000022100
Article Type: How To
Last Modified: 24 Apr 2026
Version: 12
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.