Data Domain:雲端部署 (ATOS) Data Domain Virtual Edition (DDVE) 的本機中繼資料儲存空間可能會耗盡
Summary: 雲端部署 (ATOS) Data Domain Virtual Edition (DDVE) 的本機中繼資料儲存空間可能會耗盡。
Symptoms
Data Domain Virtual Edition (DDVE) 是僅限軟體的儲存裝置,可在內部部署或雲端部署。物件儲存上的作用層 (ATOS) 是雲端部署 DDVE 的另一個名稱。
在內部部署,DDVE 支援 VMware、Hyper-V、KVM 和 VxRail。
在雲端,Data Domain Virtual Edition 執行於:
- Amazon Web Services (AWS) (雲端與 Gov Cloud)
- Azure (雲端與 Gov Cloud)
- VMware Cloud on AWS 雲端平台
- Google Cloud Platform (GCP)
雲端上的 DDVE 不等同於雲端層。雲端層是不同的產品,只能部署在內部部署的硬體 DD 和 DDVE 上。
如果部署在雲端上的 DDVE 填滿其本機中繼資料儲存空間,會發出下列警示:
EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.
Cause
部署在雲端上的 DDVE (ATOS) 支援兩種類型的資料儲存:
- 區塊儲存 (用於資料和中繼資料,或是在啟用物件儲存之 DDVE 上的中繼資料,又稱為 ATOS)。
- Hot Blob 儲存又稱為物件儲存 (僅用於資料)
在 ATOS 部署的 DDVE 上,中繼資料磁碟會填入:索引、LP 區段參考、CMETA (中繼資料) 容器和目錄管理員 (DM) 資料
大多數部署都使用 (Hot Blob 或物件存儲),因為這是雲部署的現行建議。所有資料都使用物件儲存寫入,但 10% 的空間會定義為 DD 檔案系統中繼資料的區塊儲存。本機中繼資料的大小是以授權容量大小為基礎的推測。部署時,10 倍的重複資料刪除因數會估算為 10% 的中繼資料用量。具有 100% 中繼資料儲存用量的 DDVE 無法消化備份。
由於下列情況,DDVE 可能會耗盡本機中繼資料儲存空間:
- 重複資料刪除高於 10 倍,因此中繼資料需求高於在中繼資料大小中部署的需求 (預設 10%)。
- 大量或舊的快照可能會增加中繼資料大小
在作為檔案複製目的地使用的 ATOS DDVE 中可能會發現大量中繼資料 (受控複製 CCR/受管理檔案複製 MFR):
- 如果無法複製所有基礎檔案,則目的地 ATOS DDVE 在中繼資料中的用量較高。
- 在這種情況下,複製無法充分利用虛擬合成最佳化,因此需要更多空間來存儲中繼資料。
- 在 NW CCR 中曾經發現過這種類型的問題,其中似乎沒有複製所有基本檔案。這會導致目的地有更高的中繼資料用量。
Resolution
此問題的解決方案是將更多磁碟新增為本機中繼資料儲存裝置。
只有 AWS 和 Azure 允許在已分配允許的最大磁碟數量時擴展中繼資料磁碟大小。現有中繼資料磁碟的中繼資料容量可能會增加 1 TiB 的增量。這不適用於第一個中繼資料磁碟。如需詳細資訊,請參閱指南文件中的「擴展中繼資料儲存」一節。
- Azure Cloud 上的 PowerProtect DD Virtual Edition 7.x 安裝和管理指南
- Amazon Web Services 上的 PowerProtect DD Virtual Edition 7.x 安裝和管理指南
新增中繼資料磁碟時的重要資訊:
- 使用不同大小的中繼資料磁碟會建立不平衡的索引。
- 新增至作用層的每個中繼資料磁碟都應有自己的轉軸群組,軟體會自動執行此操作。最大已知的轉軸群組數量為 16。
- 如果超過轉軸群組的最大數量 (16),中繼資料磁碟將會是相同的轉軸群組。對相同轉軸群組上的磁碟進行 I/O 操作是循序的。
- 請參閱手冊中的建議大小,大部分建議使用 1 TiB 增量,可根據雲端提供商使用更大的大小。
- 僅擴展 AWS 和 Azure 的中繼資料磁碟。在任何供應商中擴展中繼資料磁碟,都會使 DDVE 因損毀而無法使用,或使擴展的空間無法使用。
-
檢閱中繼資料用量,如果達到 100%,則需要指派更多磁碟。
- 以下提供範例,部分輸出可能因雲端提供商而有所不同,請參閱安裝與管理員手冊:
- 顯示中繼資料用量。
# filesys show space tier active local-metadata -------------------------- Active Tier: local-metadata usage Size GiB Used GiB Avail GiB Use% -------- -------- --------- ------ 1293.0 1291.5 1.5 100.0% -> We can see Metadata space is full. -------- -------- --------- ------
-
新增更多中繼資料磁碟的程序會因雲端提供商而有所不同,請參閱底部的各雲端提供商手冊。
- 顯示已使用哪些磁碟。
# disk show hardware ------------------ Disk Slot Manufacturer/Model Firmware Serial No. Capacity Type (pci/idx) ---- --------- -------------------- -------- ---------- --------- ----- dev1 -/a Virtual BLOCK Device n/a (unknown) 250.0 GiB BLOCK -> DDOS Disk dev2 -/b Virtual BLOCK Device n/a (unknown) 10.0 GiB BLOCK -> NVRAM disk dev3 -/c Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata dev4 -/d Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata ---- --------- -------------------- -------- ---------- --------- ----- 4 drives present.
- 前往 AWS/GCP/AZURE 主控台,將儲存裝置新增至 DDVE。在此情況下,將新增一個 1TiB 磁碟。它被視為 dev5,請記住不要擴展或碰觸其他任何現有磁碟。
雲端上的 DDVE 手冊 (以下僅針對 DDVE V4 發佈)
Microsoft Azure 上的 DDVEV4 安裝與管理員手冊。
https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
Google Cloud Platform(GC) 上的 DDVEV4
https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
Amazon Web Services(AWS) 上的 DDVE4,安裝與管理員手冊
https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US注意:閱讀本文時,可能已有新的和更新的安裝或管理員手冊。 - 在此階段,假設新增了 1 TiB 磁碟,這會在輸出中顯示為磁碟 dev5。
# disk show hardware ------------------ Disk Slot Manufacturer/Model Firmware Serial No. Capacity Type (pci/idx) ---- --------- -------------------- -------- ---------- --------- ----- dev1 -/a Virtual BLOCK Device n/a (unknown) 250.0 GiB BLOCK -> DDOS Disk dev2 -/b Virtual BLOCK Device n/a (unknown) 10.0 GiB BLOCK -> NVRAM disk dev3 -/c Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata dev4 -/d Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata dev5 -/e Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Newly added disk for metadata, unused. ---- --------- -------------------- -------- ---------- --------- -----
- 將新磁碟新增至作用層。此範例的 dev5:
# storage add tier active dev5
注意:從 CLI 將更多磁碟新增至 DDVE ATOS 本機中繼資料可能會產生並收到訊息「本機儲存大小超過此組態所需的最大中繼資料容量」:** Local storage size exceeds the maximum required metadata capacity for this configuration. Do you want to continue? (yes|no) [no]:
然後參閱以下文章以取得解決方案:
Data Domain:本機儲存大小超過此組態所需的最大中繼資料容量。 - 擴展檔案系統。
# filesys expand
-
確認現在可以寫入因缺少中繼資料空間而為唯讀的 FS。
- 檢查備份現在是否正常運作
- 檢查傳入的複製是否已恢復,並且可能會看到流量。
Additional Information
本內容已翻譯為其他語言:
- https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf
- 檔案系統擴展可在線上完成。
- 中繼資料使用量與重複資料刪除因數成正比。重複資料刪除因數高的工作負載會建立較大的索引,因此對中繼資料的需求也會更高。
- 舊的和大型快照會保留資料,同時也會增加重複資料刪除因數,並導致系統更快耗盡中繼資料。
- 部署僅有中繼資料需求準則,這些是中繼資料磁碟容量的 10%,並假設有 10 倍的重複資料刪除因數。重複資料刪除率越高,需要的中繼資料磁碟越多。
- DD 支援沒有適用於高於 10 倍重複資料刪除因數的本機中繼資料儲存需求準則。建議以 1 TiB 為增量新增中繼資料磁碟,直到在檔案系統用量和中繼資料用量間達到平衡為止。
- 目前尚無可根據潛在重複資料刪除因數預測未來中繼資料用量的方法。
- 索引不平衡也可能發生在相同大小的磁碟上。最常見的原因是,在中繼資料幾乎要滿後,新磁碟已增量。較舊的磁碟仍會保存大部分中繼資料結構,但會要求更多 I/O。由於較舊的資料已過期,中繼資料應在磁碟之間自行平衡。