Data Domain：云部署的 (ATOS) Data Domain Virtual Edition (DDVE) 可能会耗尽本地元数据存储空间

Summary: 云部署的 (ATOS) Data Domain Virtual Edition (DDVE) 可能会耗尽本地元数据存储空间。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Data Domain Virtual Edition(DDVE) 是一种纯软件存储装置，可以部署在本地或云端。云部署的 DDVE 的另一个名称是对象存储上的活动层 (ATOS)。
在本地，DDVE 支持 VMware、Hyper-V、KVM 和 VxRail。
在云中，Data Domain Virtual Edition 在以下位置运行：

  • Amazon Web Services (AWS)（云和政府云）
  • Azure（云和政府云）
  • VMware Cloud on AWS 云平台
  • Google Cloud Platform (GCP)

云上的 DDVE 与云层不同。云层是一种不同的产品，只能部署在本地硬件 DD 和 DDVE 上。
如果部署在云上的 DDVE 用尽其本地元数据存储空间，系统会发出以下警报：

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

 

Cause

部署在云上的 DDVE (ATOS) 支持两种类型的数据存储：

  • 块存储（用于数据和元数据，或启用了对象存储的 DDVE [又称 ATOS] 上的元数据）。
  • 热 Blob 存储也称为对象存储（仅用于数据）

ATOS 部署的 DDVE 上的元数据磁盘填充有：索引、LP 分段引用、CMETA（元数据）容器和目录管理器 (DM) 数据
大多数部署都使用（热 Blob 存储，即对象存储），因为这是目前的云部署建议。所有数据都使用对象存储写入，但有 10% 的空间定义为用于 DD 文件系统元数据的块存储。本地元数据的大小是基于许可容量大小来推测的。在部署时，对于 10 倍的重复数据消除系数，预计元数据使用率为 10%。元数据存储使用率为 100% 的 DDVE 无法接收备份。

由于以下情形，DDVE 可能会耗尽本地元数据存储空间：

  • 重复数据消除高于 10 倍，因此元数据要求高于部署的元数据大小（默认为 10%）。
  • 大量快照或旧快照可能会增加元数据大小

在充当文件复制目标（受控克隆复制 CCR/托管文件复制 MFR）的 ATOS DDVE 中可能会发现大量元数据：

  • 如果未复制所有基本文件，则目标 ATOS DDVE 的元数据使用率会更高。
  • 在这种情况下，复制未充分利用虚拟合成优化，因此需要更多空间来存储元数据。
  • 在 NW CCR 中发现了这种类型的问题，似乎并未复制所有基本文件。这会导致目标具有更高的元数据使用率。

 

Resolution

此问题的解决方案是添加更多磁盘作为本地元数据存储。

只有 AWS 和 Azure 允许在已分配允许的最大磁盘数时扩展元数据磁盘大小。现有元数据磁盘的元数据容量可以以 1 TiB 为单位增加。这不适用于第一个元数据磁盘。有关详细信息，请参阅指南文档中的“扩展元数据存储”部分。

添加元数据磁盘时的重要信息：

  • 使用不同大小的元数据磁盘会造成索引不平衡。
  • 添加到活动层的每个元数据磁盘都应有自己的轴组，软件会自动执行此操作。已知的最大轴组数为 16。
  • 如果超过最大轴组数 (16)，元数据磁盘将属于同一轴组。相同轴组中磁盘的 I/O 是顺序的。
  • 请在手册中查看建议的大小，大多数建议以 1 TiB 为增量，也可能支持更大的大小，具体取决于云提供商。
  • 仅扩展 AWS 和 Azure 的元数据磁盘。扩展任何提供商的元数据磁盘都会使 DDVE 因损坏而无法使用，或者扩展的空间未使用。

  1. 查看元数据使用情况，如果达到 100%，则需要分配更多磁盘。

    • 下面提供了一个示例，一些输出可能因云提供商而异，具体请参阅《安装和管理手册》：
    • 显示元数据使用情况。
    # filesys show space tier active local-metadata
--------------------------
Active Tier: local-metadata usage
Size GiB   Used GiB   Avail GiB     Use%
--------   --------   ---------   ------
  1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
--------   --------   ---------   ------

  2. 添加更多元数据磁盘的过程因云提供商而异，请参阅底部每个云提供商的手册。

    • 显示使用的磁盘。
    # disk show hardware
------------------
Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
       (pci/idx)                                                                  
----   ---------   --------------------   --------   ----------   ---------   -----
dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
----   ---------   --------------------   --------   ----------   ---------   -----
4 drives present.
    1. 转至 AWS/GCP/AZURE 控制台并向 DDVE 添加存储。在本例中，将添加一个 1 TiB 磁盘。它显示为 dev5，切记不要扩展或修改任何其他现有磁盘。
      云上的 DDVE 手册（以下发布的手册仅针对 DDVE V4）
      Microsoft Azure 上的 DDVEV4 安装和管理手册。
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      Google Cloud Platform (GCP) 上的 DDVEV4
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      Amazon web Services (AWS) 上的 DDVE4，安装和管理手册
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      注意：在您阅读本文时，可能存在新发布的和更新的安装手册或管理员手册。
    2. 在此阶段，假设添加了一个新的 1 TiB 磁盘，它在输出中显示为磁盘 dev5。 
      # disk show hardware
------------------
Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
       (pci/idx)                                                                  
----   ---------   --------------------   --------   ----------   ---------   -----
dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
----   ---------   --------------------   --------   ----------   ---------   -----
    3. 将新磁盘添加到活动层。在此示例中为 dev5： 
      # storage add tier active dev5
      注意：通过 CLI 向 DDVE ATOS 本地元数据添加更多磁盘时，可能会收到消息“Local storage size exceeds the maximum required metadata capacity for this configuration”： 
      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
Do you want to continue? (yes|no) [no]:
      请参阅以下文章以解决该问题：
      Data Domain：本地存储大小超过此配置所需的最大元数据容量。
    4. 扩展文件系统。 
      # filesys expand

  3. 确认由于缺少元数据空间而处于只读状态的文件系统现在可以写入。

    • 确认备份现在可正常工作
    • 确认传入复制已恢复，并且看到流量。

 

Additional Information

本内容以其他语言翻译：

  • https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
  • https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf
 
  • 文件系统扩展可以在线完成。
  • 元数据使用量与重复数据消除系数成正比。具有高重复数据消除系数的工作负载会创建更大的索引，因此元数据需求更高。
  • 旧快照和大型快照会保存数据，还会提高重复数据消除系数，并导致系统更快地耗尽元数据存储空间。
  • 部署仅有元数据要求指导准则，即元数据磁盘容量的 10%，并假定重复数据消除系数为 10 倍。更高的重复数据消除率需要更多元数据磁盘。
  • DD 支持没有针对高于 10 倍的重复数据消除系数的本地元数据存储要求指导准则。建议以 1 TiB 为增量添加元数据磁盘，直至文件系统使用量和元数据使用量之间达到平衡。
  • 没有已知的方法可根据潜在的重复数据消除系数预测未来的元数据使用量。
  • 相同大小的磁盘上也可能发生索引不平衡。最常见的原因是，在元数据存储空间几乎已满后增加了新磁盘。较旧的磁盘仍保留大多数元数据结构，并请求更多 I/O。当较旧的数据到期时，元数据应在磁盘之间实现平衡。

 

Affected Products

Data Domain, Data Domain Virtual Edition
Article Properties
Article Number: 000055464
Article Type: Solution
Last Modified: 04 Feb 2025
Version:  7
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.