Data Domain: O Data Domain Virtual Edition (DDVE) implementado na nuvem (ATOS) pode ficar sem armazenamento de metadados locais

O Data Domain Virtual Edition (DDVE) é um equipamento de armazenamento somente de software, que pode ser implementado no local ou na nuvem. Active Tier on Object Storage (ATOS) é outro nome para o DDVE implementado na nuvem.
No local, o DDVE é compatível com VMware, Hyper-V, KVM e VxRail.
Na nuvem, o Data Domain Virtual Edition é executado em:

• Amazon Web Services (AWS) (nuvem e nuvem gov)
• Azure (nuvem e nuvem gov)
• Plataformas de nuvem VMware Cloud on AWS
• Google Cloud Platform (GCP)

O DDVE na nuvem não é o mesmo que um Cloud Tier. O Cloud Tier é um produto diferente que só pode ser implementado em DDs e DDVEs de hardware no local.
Se um DDVE implementado na nuvem preencher seu armazenamento de metadados locais, o seguinte alerta será emitido:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

O DDVE implementado na nuvem (ATOS) é compatível com dois tipos de armazenamento de dados:

• Armazenamento em bloco (usado para dados e metadados ou metadados em DDVEs habilitados para armazenamento em objeto, também conhecido como ATOS).
• O armazenamento quente de Blobs também é conhecido como armazenamento em objeto (usado somente para dados)

Os discos de metadados em um DDVE implementado pelo ATOS são preenchidos com: Índice, referências de segmento LP, contêineres CMETA (metadados) e dados do gerenciador de diretório (DM)
A maioria das implementações está usando (armazenamento quente de blob ou objeto), pois essa é a recomendação atual em implementações em nuvem. Todos os dados são gravados usando o armazenamento em objeto, mas 10% do espaço é definido como armazenamento em bloco para os metadados de file system do DD. O tamanho dos metadados locais é uma especulação com base no tamanho da capacidade licenciada. No momento da implementação, estima-se que 10% do uso de metadados seja definido como um fator de desduplicação de 10 vezes. Um DDVE com 100% de uso de armazenamento de metadados não pode incluir backups.

Devido aos seguintes cenários, o DDVE pode ficar sem espaço de armazenamento de metadados locais:

• A desduplicação é maior que 10 vezes, dessa forma, os requisitos de metadados são maiores do que o que foi implementado no tamanho dos metadados (padrão de 10%).
• Um grande número ou snapshots antigos podem aumentar o tamanho dos metadados

Uma quantidade maior de metadados pode ser observada em DDVEs ATOS atuando como destinos para replicação de arquivo (Replicação controlada de clones — CCR/Replicação gerenciada de arquivos — MFR):

• Se nem todos os arquivos base forem replicados, o DDVE ATOS de destino terá um uso maior em metadados.
• Nesse cenário, a replicação NÃO está aproveitando ao máximo as otimizações de sintéticos virtuais, portanto, precisa de mais espaço para armazenar metadados.
• Esse tipo de problema foi observado no CCR NW, onde parece que nem todos os arquivos base estavam sendo replicados. Isso faz com que o destino tenha um maior uso de metadados.

A solução para esse problema seria adicionar mais discos como Armazenamento de metadados local.

Somente a AWS e o Azure permitem a expansão do tamanho do disco de metadados quando o número máximo permitido de discos já tiver sido alocado. A capacidade de metadados dos discos de metadados existentes pode ser aumentada em incrementos de 1 TiB. Isso não se aplica ao primeiro disco de metadados. Consulte a seção "Expandir armazenamento de metadados" no documento do guia para obter detalhes.

• Guia de instalação e administração do PowerProtect DD Virtual Edition 7.x no Azure Cloud
• Guia de instalação e administração do PowerProtect DD Virtual Edition 7.x na Amazon Web Services

INFORMAÇÕES IMPORTANTES AO ADICIONAR DISCOS PARA METADADOS:

• O uso de discos de metadados de tamanhos diferentes cria um desequilíbrio no índice.
• Cada disco de metadados adicionado ao nível ativo deve ter seu próprio grupo de eixos, o software faz isso automaticamente. O número máximo conhecido de grupos de eixos é 16.
• Se ultrapassar o número máximo de grupos de eixos (16), os discos de metadados serão o mesmo grupo de eixos. A E/S em relação aos discos nos mesmos grupos de eixos é sequencial.
• Consulte o manual para obter os tamanhos recomendados, a maioria recomenda um incremento de 1 TiB. Tamanhos maiores são possíveis, dependendo do provedor de serviços em nuvem.
• Expanda apenas discos de metadados para AWS e Azure. A expansão de discos de metadados em qualquer provedor torna o DDVE inutilizável com corrupção ou com o espaço expandido não utilizado.

1. Analise o uso de metadados. Se atingir 100%, precisará de mais discos atribuídos.

   • O exemplo abaixo é apresentado. Alguns resultados podem diferir dependendo do provedor de serviços em nuvem. Consulte o Manual de instalação e administração:
   • Exibir o uso de metadados.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. O processo de adição de mais discos de metadados difere dependendo do provedor de serviços em nuvem. Consulte cada um dos Manuais do provedor de serviços em nuvem na parte inferior.

   • Exibir quais discos são usados.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Acesse o console do AWS/GCP/AZURE e adicione armazenamento ao DDVE. Nesse caso, um disco de 1 TiB é adicionado. Ele é visto como dev5, e lembre-se de não expandir ou mexer em nenhum dos outros discos existentes.
      Manuais para DDVE na nuvem (Somente a publicação abaixo para DDVE V4)
      Manual de instalação e administração do DDVEV4 no Microsoft Azure.
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      DDVEV4 na plataforma Google Cloud (GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE4 na Amazon Web Services (AWS), Manual de instalação e administração
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      ATENÇÃO: Manuais de instalação ou de administração novos e atualizados podem existir no momento da leitura deste artigo.
   2. Neste estágio, supondo que um novo disco de 1 TiB foi adicionado, ele é visto na saída como disco dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Adicione o novo disco ao nível ativo. Neste exemplo, dev5:

      # storage add tier active dev5

      ATENÇÃO: Adicionar mais discos aos metadados locais de um DDVE ATOS a partir da CLI pode produzir a mensagem "Local storage size exceeds the maximum required metadata capacity for this configuration":

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      Em seguida, consulte o artigo abaixo para obter uma resolução:
      Data Domain: O tamanho do armazenamento local excede a capacidade máxima de metadados necessária para essa configuração.
   4. Expandir o file system.

      # filesys expand

3. Confirme se o FS que era somente leitura devido à falta de espaço de metadados agora pode ser gravado.

   • Verifique se os backups estão funcionando.
   • Verifique se a replicação de entrada foi retomada e se o tráfego pode ser visto.

Este conteúdo está traduzido para outros idiomas:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• A expansão do file system pode ser feita on-line.
• O uso de metadados é diretamente proporcional ao fator de desduplicação. Cargas de trabalho com altos fatores de desduplicação criam índices maiores, portanto, as necessidades de metadados são maiores.
• Snapshots antigos e grandes retêm dados e também aumentam o fator de desduplicação, fazendo com que o sistema fique sem metadados mais rapidamente.
• Há apenas diretrizes de requisitos de metadados para implementação, elas representam 10% da capacidade em discos de metadados e pressupõem um fator de desduplicação de 10 vezes. Taxas de desduplicação mais altas exigem mais discos de metadados.
• O suporte ao DD não tem diretrizes de requisitos de armazenamento de metadados locais para fatores de desduplicação maiores que 10 vezes. É recomendável adicionar discos de metadados em incrementos de 1 TiB até que seja atingido um equilíbrio entre o uso do file system e o uso de metadados.
• Não há nenhum método conhecido para prever o uso futuro de metadados com base em possíveis fatores de desduplicação.
• O desequilíbrio do índice também pode ocorrer em discos do mesmo tamanho. O motivo mais comum é que novos discos foram incrementados após os metadados estarem quase cheios. Os discos mais antigos ainda mantêm a maioria das estruturas de metadados, com mais E/S sendo solicitadas. À medida que os dados mais antigos expiram, os metadados devem se equilibrar entre os discos.