Data Domain：如何解決在 Data Domain Restorer (DDR) 上發生高空間使用率或缺少可用空間的問題

 

• 這是儲存新接收之檔案/資料的磁碟區域，而且大部分的 DDR 檔案都保留在這裡，直到用戶端備份應用程式使其到期/刪除
• 在配置為延伸保留 (ER) 或長期保留 (LTR) 的 DDR 上，可能會定期執行資料移動程序，以將舊檔案從使用中層級遷移至歸檔或雲端層級
• 若要在使用中層級回收已刪除/遷移之檔案所佔用的空間，唯一方法是執行垃圾收集/清理程序 (GC)

• 使用中層級可能會開始耗盡可用空間，導致出現下列警示/訊息：

• 如果使用中層級的空間達到 100% 已滿，則無法將新資料寫入 DDR，這可能會導致備份/複寫失敗，在此情況下，可能會顯示下列警示/訊息：

• 在某些情況下，使用中層級空間已滿可能會導致 Data Domain 檔案系統 (DDFS) 變成唯讀，屆時將無法刪除現有的檔案

• 說明使用中層級可能已滿的原因
• 說明一系列可執行的簡單檢查，以判斷使用中層級發生高使用率原因，以及對應的補救步驟

• 本文並非詳盡的說明 (例如，在少數情況下，DDR 的使用中層級會因為本文件未討論的原因而發生高使用度/已滿)，但本文的目的是涵蓋最常見的原因/問題
• 本文並未涵蓋歸檔或雲端層級發生高使用率的原因

  由於以下幾個原因，DDR 的使用中層級可能會遇到高於預期的使用率：

• 由於保留原則或備份應用程式組態不正確，導致用戶端的備份應用程式無法正確過期/刪除備份檔案/儲存集
• 複寫延遲導致大量舊資料保留在使用中層級，等待複寫至複本
• 寫入使用中層級的資料的整體壓縮率低於預期
• 系統為正確配置大小，例如單純地太小，無法處理嘗試儲存在系統上的資料量
• 備份包含大量非常小的檔案 - 這些檔案耗用的空間比最初寫入時預期的更多，但應在清理/垃圾收集期間回收此空間
• 在配置 ER/LTR 的系統上未定期執行資料移動，導致應遷移至歸檔/雲端層級的舊檔案維持在使用中層級
• 清理/垃圾收集未定期執行
• DDR 上存在過多或老舊的 mtree 快照，導致清理無法從刪除檔案/資料回收空間

步驟 1 - 決定是否需要執行使用中層級清理

Data Domain Operating System (DDOS) 會嘗試為使用中層級維持一個稱為「Cleanable GiB」的計數器。這會估計透過執行清理/垃圾收集，可在使用中層級回收多少實體 (post-comp) 空間。可使用「filesys show space'/'df」命令顯示計數器：
 
如果有下列任一情況：

• 「Cleanable GiB」的值很大
• DDFS 達到 100% 已滿 (因此僅能唯讀)

在繼續本文件所述的任何進一步步驟之前，應先執行清理並允許其執行完成。若要開始清理，應使用「filesys clean start」命令，例如：
 
若要確認清理已如預期啟動，可以使用「filesys status」命令，如：
 
請注意：

• 如果清理無法啟動，請聯絡您的簽約支援供應商，以取得進一步的協助。這可能代表系統發生「遺失區段錯誤」，導致清理停用
• 如果清理已執行，則會在嘗試啟動時顯示下列訊息：

• 在清理作業到達其複製階段之前，不會釋放/回收使用中層級的空間 (DDOS 5.4.x 和更早版本預設為步驟 9，DDOS 5.5.x 和更新版本為步驟 11)。如需有關清理使用之階段的進一步資訊，請參閱： https://support.emc.com/kb/446734
• 清理可能無法回收「Cleanable GiB」所指出的空間，因為此值是一種估計值。如需更多資訊，請參閱： https://support.emc.com/kb/485637
• 清理作業可能無法在單次作業中便回收所有潛在的空間，這是因為在包含超大資料集的 DDR 上，清理作業會針對包含最多多餘資料的檔案系統部分運作 (在執行清理作業的時間提供最大的空間回饋)。在某些情況下，清理作業可能需要執行多次，才能回收所有可能的空間
• 如果「Cleanable GiB」的值非常大，這可能表示並未定期執行清理作業 - 檢查是否已設定清理作業的排程：

清理完成後，請使用「filesys show space'/'df」命令，判斷使用率問題是否已解決。如果使用率仍然很高，請繼續執行本文的其餘步驟。

步驟 2 - 檢查來源複寫內容是否存在大量複寫延遲

原生的 Data Domain 複寫是針對「複寫內容」的概念所設計。例如，當資料需要複寫在多個系統之間時：

• 複寫內容會在來源和目的 DDR 上建立
• 內容已初始化
• 初始化完成後，複寫會定期從來源傳送更新/delta 至目的地，讓系統上的資料保持同步

如果來源複寫內容出現延遲，則可能會導致舊資料一直存放在來源系統的磁碟上 (請注意，複寫內容延遲不會導致目的地系統的使用率提高)：

• 目錄複寫內容 (用於在系統間複寫 /data/col1/backup between systems 下的單一目錄樹狀結構時)：

•  Mtree 複寫內容 (用於在系統間複寫 /data/col1/backup between systems 以外的 mtree 時)：

• 收集複寫內容 (用於將一個 DDR 的整個內容複寫到另一個系統時)：

 若要判斷複寫內容是否延遲，應執行下列步驟：

• 判斷目前系統的主機名稱：

• 判斷目前系統的日期/時間：

• 列出系統上設定的複寫內容及其「synced as of time」。請注意，您應該注意的內容是指「destination」未包含目前系統的主機名稱 (這表示目前的系統為來源系統)，且「synced as of time」的時間非常早：

應中斷目前系統為來源的內容，且顯示明顯延遲的內容，或是不再需要的內容。您可以在來源和目的系統上執行下列命令，以執行此動作：
 
例如，若要中斷上述的「重要」內容，您應在來源和目的系統上執行下列命令：
 
請注意：

• 一旦中斷內容，則需要執行使用中層級清理，以回收使用中層級的可用空間
• 如果在內容中斷時使用 mtree 複寫，則磁碟上可能會保留 mtree 複寫快照。在執行清理之前，請確定已遵循步驟 5 的動作，使任何多餘的快照到期
• 如果來源/目的 mtree 已設定為將資料移轉至歸檔或雲端層級，在中斷對應的 mtree 複寫內容時，應小心處理，因為日後可能無法重新建立/初始化這些內容。因為是當 mtree 複寫內容初始化時，會在來源系統上建立 mtree 快照，其中包含 mtree 中所有檔案的詳細資料 (無論層級為何)。然後，此快照會完整複寫到目的系統的使用中層級。因此，如果目的系統的使用中層級沒有足夠的可用空間從來源擷取所有 mtree 資料，初始化將無法完成。如需此問題的進一步資訊，請聯絡您的簽約支援供應商
• 如果中斷集合複寫內容，則無法在不先銷毀目的地 DDR 上的 DDFS 例項的情況下重新建立/初始化內容 (並會遺失此系統上的所有資料)。因此後續初始化可能需要大量的時間/網路頻寬，因為必須再次將來源的所有資料實際複寫到目的系統

步驟 3 - 檢查不再需要的 mtree

DDFS 的內容會以邏輯分散至 mtree 內。個別備份應用程式/用戶端通常會寫入到各個 mtree 內。如果備份應用程式遭到停用，將無法再將資料寫入 DDR/從 DDR 中刪除，且可能會在系統上留下舊版/多餘的 mtree。這些 mtree 中的資料將繼續無限期存在，佔用 DDR 的磁碟空間。因此，應刪除所有這類的多餘 mtree。例如：

• 取得系統上的 mtree 清單：

• 應使用「mtree delete」命令刪除任何不再需要的 mtree：

• 在下次執行使用中層級清理/垃圾收集時，便會回收已刪除 mtree 在磁碟上耗用的空間。

請注意：

• 針對作為 mtree 複寫目的地的 mtree (例如在 mtree 清單的輸出中具有 RO/RD 狀態)，應在刪除 mtree 之前中斷其對應的複寫內容
• 作為 DDBoost 邏輯儲存單元 (LSU) 或虛擬磁帶庫 (VTL) 集區使用的 mtree 可能無法透過「mtree delete」命令刪除 - 請參閱「Data Domain 管理指南」，以取得刪除這類 mtree 的進一步詳細資料
• 配置為保留鎖定的 mtree (例如具有 RLCE 或 RLGE 的狀態) 無法刪除，必須將 mtree 內的個別檔案解除保留鎖定並個別刪除 - 如需進一步的詳細資訊，請參閱「Data Domain 管理指南」

步驟 4 - 檢查舊版/多餘的 mtree 快照

Data Domain 快照代表對應 mtree 的時間點快照。因此：

• 快照會參考建立快照時存在於 mtree 中的所有檔案
• 即使已移除/刪除這些檔案，快照仍會持續存在，清理作業將無法回收它們在磁碟上所使用的任何實體空間 - 這是因為資料必須保留在系統上，以供之後可存取快照中的檔案複本

若要判斷是否有任何 mtree 擁有舊版/多餘的快照，應執行下列步驟：

• 使用步驟 3 所示的「mtree list」命令，取得系統上的 mtree 清單
• 使用「snapshot list」命令列出存在於每個 mtree 中的快照：

• 當快照存在時，請使用「snapshot list mtree [mtree name]」判斷快照：

• 如果再次執行「snapshot list」命令，這些快照現在會列為已過期：

請注意：

• 無法判斷個別快照或快照集在磁碟上擁有多少實體資料 - 與快照相關聯的唯一「空間」值，是建立快照時的 mtree 預先壓縮 (邏輯) 大小 (如以上輸出所示)
• 名為「REPL-MTREE-AUTO-YYYY-MM-DD-HH-MM-SS」的快照是由 mtree 複寫管理，在正常情況下不需要手動將其過期 (複寫會在不再需要時自動使這些快照到期)。如果這類快照非常老舊，則表示其對應的複寫內容可能具有明顯的延遲 (如步驟 2 所述)
• 當 mtree 複寫內容中斷時，mtree 複寫會建立名為「REPL-MTREE-RESYNC-RESERVE-YYYY-MM-DD-HH-MM-SS」的快照。其目的在於，若在日後需要重新建立這些中斷的內容 (例如意外中斷內容等)，便可透過此快照避免完整重新同步。如果無法重新建立複寫，可以如上所述進行手動過期
• 系統上會持續保留過期的快照，直到下次執行清理/垃圾收集為止，此時便會實際刪除這些快照，並將從「snapshot list mtree [mtree name]」的輸出結果中移除，接著清理作業可以回收這些快照所使用的磁碟空間

步驟 5 - 檢查系統的老舊檔案數量是否超出預期

DDR 的自動支援包含長條圖，可根據年份排序 DDR 上的檔案，例如：
 
這可讓您判斷系統上的用戶端備份應用程式是否有按照預期將檔案過期/刪除。例如，如果上述系統是由備份應用程式寫入，其中任何一個檔案的最長保留時間為 6 個月，則很明顯，備份應用程式並未如預期地將檔案到期/刪除，因為 DDR 上的檔案有約 80,000 個檔案的保留時間長於 6 個月。

請注意：

• 所有檔案到期/刪除工作都是由備份應用程式負責
• DDR 絕不會自動將檔案到期/刪除 - 除非備份應用程式明確指示刪除檔案，否則該檔案會持續存在於 DDR 上，無限期地佔用空間

因此，備份應用程式廠商支援小組應首先調查這類問題。

如有需要，Data Domain 支援可提供以下額外報告：

• 根據年份排序的 DDR 所有檔案命名/修改時間 (以判斷任何舊資料的名稱/位置)
• 將根據年份排序的檔案長條圖分割成使用中/歸檔/雲端層級的個別報告 (啟用 ER/LTR 功能)

若要執行此作業：

• 收集本文件備註章節「Collecting sfs_dump」段落中所述的跡象
• 向您的簽約支援供應商開立服務要求

刪除舊版/多餘的檔案後，需要執行使用中層級清理/垃圾收集作業，才能實際回收使用中層級的空間

步驟 6 - 檢查包含大量小型檔案的備份

因為根據 DDFS 小型檔案的設計 (基本上包括任何大小小於約 10Mb 的檔案)，都可能在最初寫入 DDR 時消耗過多的空間。這是因為「SISL」(Stream Informed Segment Layout) 架構，會導致小型檔案在磁碟上多佔用 4.5Mb 區塊的空間。例如，一個 4Kb 的檔案在初始寫入時，實際上可能會佔用高達 9Mb 的實體磁碟空間。

執行清理/垃圾收集作業執行後，便可回收此類的多餘佔用空間 (因為會將小型檔案中的資料彙總到較小的 4.5 Mb 區塊內)，但在執行此類備份時，可能會導致較小的 DDR 機型顯示使用率過高和空間已滿等問題。

自動支援包含長條圖，可根據檔案大小排序，例如：
 
如果有備份寫入大量小型檔案的證據，則系統可能會在每次的清理/垃圾收集期間發生使用率暫時增加。在此情況下，建議您變更備份方法，將所有小型檔案納入至單一的較大型歸檔 (例如 .tar 或 .gz 檔案) 內，再將其寫入 DDR。請注意，這類歸檔不應壓縮或加密 (因為這會損害資料的壓縮率/重復資料刪除率)。

步驟 7 - 檢查重複資料刪除率是否低於預期

DDR 的主要用途是刪除與壓縮裝置所接收的重複資料。重復資料刪除/壓縮的比率大幅取決於系統的使用情境，以及其包含的資料類型，然而在許多情況下，會根據透過概念驗證測試或類似測試獲得一個「預期的」整體壓縮率。若要判斷系統目前的整體壓縮率 (以及其是否符合預期)，可以使用「filesys show compression」命令。例如：
 
在上述範例中，系統的使用中層級實現了 65.3 倍的整體壓縮率 (這是非常好的表現)。然而，如果這個值顯示整體壓縮率不符合預期，則可能需要進一步調查。請注意，調查低於預期的壓縮率相當複雜，可能有許多根本原因。如需進一步的調查相關資訊，請參閱下列文章：https://support.emc.com/kb/487055

步驟 8 - 檢查系統是否為集合複寫的來源

使用集合複寫時，若來源系統的實體空間比目的系統更大，則來源系統的大小將受到人為限制，以符合目的系統大小 (也就是會將來源系統的部份磁碟標記為不可使用)。這是因為在使用集合複寫時，目的系統必須是來源系統的區塊層級副本，但如果來源系統大於目的系統，則有可能將過多的資料寫入來源系統，而無法複寫到目的地 (因為該系統已滿)。可將來源系統的大小限制為符合目的地大小，以避免此問題。

• 使用步驟 2 的命令，檢查系統是否為集合複寫來源系統。若要執行此作業，請執行「replication status」，並判斷是否有任何以「col://」開頭的複寫內容(表示集合複寫)，其中「不包含」目的地本機系統的主機名稱 (表示此系統必須是複寫內容的來源系統)
• 如果系統是集合複寫的來源系統，請登入兩個系統並執行「filesys show space」命令，以檢查各個系統使用中層級的大小，並比較每個系統使用中層級的「post-comp」大小
• 如果來源系統明顯大於目的系統，則會人為限制其使用中層級的大小
• 若要允許資料使用所有來源空間，應執行下列步驟：

步驟 9 - 檢查是否有定期執行資料移動

如果 DDR 配置為延伸保留 (ER) 或長期保留 (LTR)，則會附加第二層儲存裝置 (用於 ER 的歸檔層級或 LTR 的雲端層級)。在這種情況下，資料移動原則可能會針對 mtree 設定，以將需要長期保留之較舊/未修改資料從使用中層級遷移至替代的儲存層級，如此便可透過清理/垃圾收集實際回收這些檔案在使用中層級所佔用的實體空間。如果資料移動原則配置不正確，或並未定期執行資料移動程序，則舊資料停留在使用中層級的時間將比預期更長，並且會持續在磁碟上佔用實體空間。

• 首先透過執行「filesys show space」確認系統是否配置為 ER 或 LTR，並檢查是否存在歸檔或雲端層級，請注意，若要使用這些替代的儲存層級，其必須具有 >0Gb 的 post-comp 大小：

• 如果系統配置為 ER/LTR，請針對 mtree 檢查資料移動原則，以確保這些原則的設定如預期，以將舊資料推動到替代儲存層級：

• 如果系統已配置為 ER/LTR，請檢查資料移動是否已排程定期執行，以將檔案/資料從使用中層級實體遷移到替代儲存裝置：

• 如果系統配置為 ER/LTR，請檢查最後一次執行資料移動的時間：

• 資料移動完成後，應執行使用中層級清理 (請注意，在資料移動完成後，系統可能將其設定為自動啟動)，以確保能實際釋放遷移檔案在使用中層級佔用的空間：

步驟 10 - 為使用中層級增加額外的儲存裝置

如果已執行所有先前的步驟，也完成了使用中層級清理，但使用中層級仍沒有足夠的可用空間，則系統的大小可能並未針對其接收的工作負載進行正確調整。在此情況下，應執行下列其中一項動作：

• 減少系統的工作負載 - 例如：

• 為系統的使用中層級新增額外儲存裝置，並擴展其大小：

Data Domain 支援可能會產生許多顯示以下資訊的報告：

• 根據年份排序的特定層級 (如使用中/歸檔/雲端) 所有檔案清單
• 依 mtree/major 目錄樹狀結構排序的預估大小和壓縮率
• 根據年份排序的特定 mtree 所有檔案清單
• 等

若要允許此操作，應收集下列資訊：

• 來自 DDR 的全新支援套裝 - 如需進一步的資訊，請參閱以下文章：https://support.emc.com/kb/323283
• 「sfs_dump」或「sfs_dump -c」的輸出結果：

• 檔案位置報告 (如果系統已設定為 ER 或 LTR，則為必要)：

如需協助收集上述內容或瞭解此歸檔中的任何步驟，請聯絡您的簽約支援供應商。