Data Domain. В Data Domain Virtual Edition (DDVE) с развертыванием в облаке (ATOS) может закончиться пространство в хранилище локальных метаданных

Data Domain Virtual Edition (DDVE) — это программное устройство хранения данных, которое можно развернуть как в локальной среде, так и в облаке. Active Tier on Object Storage (ATOS) — другое название для DDVE с развертыванием в облаке.
В локальной среде DDVE поддерживает VMware, Hyper-V, KVM и VxRail.
В облаке Data Domain Virtual Edition работает на следующих платформах:

• Amazon Web Services (AWS; обычное или государственное облако)
• Azure (обычное или государственное облако)
• Облачные платформы VMware Cloud on AWS
• Google Cloud Platform (GCP)

DDVE в облаке — это не Cloud Tier. Cloud Tier — это другой продукт, который можно развернуть только в локальных аппаратных DD и DDVE.
Если DDVE с развертыванием в облаке заполняет свое хранилище локальных метаданных, появляется следующее оповещение:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DDVE с развертыванием в облаке (ATOS) поддерживает два типа хранилища данных:

• Блочная система хранения данных (используется для данных и метаданных либо метаданных на DDVE [ATOS] с включенным объектным хранилищем).
• Система хранения «горячих» BLOB-объектов также называется объектным хранилищем (используется только для данных)

Диски метаданных на DDVE с развертыванием на ATOS заполняются следующими элементами: индекс, ссылки на сегменты LP, контейнеры CMETA (метаданных) и данные Directory Manager (DM).
Большинство развертываний использует систему хранения «горячих» BLOB-объектов или объектное хранилище, так как это действующая рекомендация для облачных развертываний. Все данные записываются с помощью объектного хранилища, но 10% пространства определяется как блочная система хранения данных для метаданных файловой системы DD. Размер локальных метаданных является прогнозированием на основе размера лицензированной емкости. Во время развертывания ожидается, что при коэффициенте дедупликации 10x будет использоваться 10% метаданных. Устройство DDVE, использующее 100% ресурсов хранилища метаданных, не может принимать новые резервные копии.

Следующие сценарии приводят к тому, что на DDVE может закончиться доступное место в хранилище локальных метаданных:

• Дедупликация превышает 10x, так как требования к метаданным выше, чем требования к размеру метаданных при развертывании (по умолчанию 10%).
• Большое количество старых моментальных снимков может привести к увеличению размера метаданных.

В DDVE ATOS можно заметить больший объем метаданных, которые действуют в качестве целевых для репликации файлов (контролируемая репликация клонов CCR/управляемая репликация файлов MFR):

• Если реплицируются не все базовые файлы, целевое устройство DDVE ATOS обладает более высоким коэффициентом использования метаданных.
• В этом сценарии репликация НЕ использует все преимущества оптимизаций Virtual Synthetics, поэтому для хранения метаданных требуется больше пространства.
• Проблема этого типа была замечена в NW CCR, где, по-видимому, реплицировались не все базовые файлы. Из-за этого в целевой системе повышается коэффициент использования метаданных.

Решение этой проблемы заключается в добавлении дополнительных дисков в качестве хранилища локальных метаданных.

Только AWS и Azure допускают расширение размера диска метаданных, если уже выделено максимально допустимое количество дисков. Емкость метаданных для существующих дисков метаданных может увеличиваться с шагом 1 ТиБ. Это не относится к первому диску метаданных. Подробные сведения см. в разделе «Расширение хранилища метаданных» документа руководства.

• Руководство по установке и администрированию PowerProtect DD Virtual Edition 7.x в Azure Cloud
• Руководство по установке и администрированию PowerProtect DD Virtual Edition 7.x в Amazon Web Services

ВАЖНАЯ ИНФОРМАЦИЯ ПРИ ДОБАВЛЕНИИ ДИСКОВ ДЛЯ МЕТАДАННЫХ:

• Использование дисков метаданных разного размера создает дисбаланс индекса.
• Каждый диск метаданных, добавленный на активный уровень, должен иметь собственную группу жестких дисков, и программное обеспечение делает это автоматически. Максимальное известное количество групп жестких дисков — 16.
• При использовании максимального количества групп жестких дисков (16) диски метаданных будут входить в одну и ту же группу жестких дисков. Операции ввода-вывода для дисков в одних и тех же группах жестких дисков выполняются последовательно.
• Рекомендуемые размеры см. в руководстве. Чаще всего рекомендуется использовать шаг 1 ТиБ. Повышение размеров возможно в зависимости от поставщика облачных решений.
• Разверните только диски метаданных для AWS и Azure. Расширение дисков метаданных при любом поставщике делает устройство DDVE непригодным для использования из-за повреждения или невозможности применять расширенное пространство.

1. Проверьте использование метаданных, а если оно достигло 100%, необходимо назначить дополнительные диски.

   • Ниже приведен пример. Некоторые выходные данные могут отличаться в зависимости от поставщика облачных решений, см. руководство по установке и администрированию,
   • раздел «Отображение использования метаданных».

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. Процесс добавления дополнительных дисков метаданных различается в зависимости от поставщика облачных решений. Каждое из руководств поставщиков облачных решений см. в нижней части страницы.

   • Отображение используемых дисков.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Перейдите в консоль AWS/GCP/AZURE и добавьте хранилище на DDVE. В этом случае добавляется диск 1 ТиБ. Он отображается как dev5. Помните, что не нужно расширять или затрагивать любые другие существующие диски.
      РУКОВОДСТВА по DDVE в облаке (приведенное ниже относится только к DDVE V4)
      Руководство по установке и администрированию DDVEV4 в Microsoft Azure.
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      DDVEV4 в Google Cloud Platform (GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      Руководство по установке и администрированию DDVE4 в Amazon Web Services (AWS)
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      ВНИМАНИЕ! На момент выхода этой статьи могут существовать новые и обновленные руководства по установке или администрированию.
   2. В случае добавления нового диска 1 ТиБ на этом этапе в выходных данных этот диск отображается как dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Добавьте новый диск на активный уровень. В этом примере dev5:

      # storage add tier active dev5

      ВНИМАНИЕ! Добавление дополнительных дисков в локальные метаданные DDVE ATOS из CLI может привести к получению сообщения «Local storage size exceeds the maximum required metadata capacity for this configuration»:

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      См. статью ниже для решения проблемы:
      Data Domain. Размер локального хранилища превышает максимально допустимую емкость метаданных для этой конфигурации.
   4. Расширьте файловую систему.

      # filesys expand

3. Убедитесь, что файловая система, которая была доступна только для чтения из-за нехватки пространства для метаданных, теперь доступна для записи.

   • Убедитесь, что резервное копирование работает правильно.
   • Убедитесь, что входящая репликация возобновлена, а трафик отображается.

Содержание этой статьи переведено на другие языки:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• Расширение файловой системы можно выполнить в режиме онлайн.
• Использование метаданных прямо пропорционально коэффициенту дедупликации. Рабочие нагрузки с высокими коэффициентами дедупликации создают более крупные индексы, поэтому потребность в метаданных выше.
• Старые и большие моментальные снимки содержат данные, а также увеличивают коэффициент дедупликации и способствуют тому, что в системе быстрее заканчиваются метаданные.
• Для развертывания предусмотрено только руководство по требованиям к метаданным. Емкость дисков метаданных составляет 10%. Принят коэффициент дедупликации 10x. Для более высоких коэффициентов дедупликации требуется больше дисков метаданных.
• Поддержка DD не предусматривает руководство по требованиям к хранилищу локальных метаданных для коэффициентов дедупликации выше 10x. Диски метаданных рекомендуется добавлять с шагом 1 ТиБ, пока не будет достигнут баланс между использованием файловой системы и использованием метаданных.
• Не существует известного метода прогнозирования будущего использования метаданных на основе потенциальных факторов дедупликации.
• Дисбаланс индекса также может возникать на дисках одинакового размера. Наиболее распространенная причина заключается в том, что размеры новых дисков увеличиваются после почти максимального заполнения метаданных. Старые диски по-прежнему содержат большинство структур метаданных, при этом запрашивается больше операций ввода-вывода. По мере истечения срока действия старых данных метаданные должны равномерно распределяться между дисками.