Data Domain: Es posible que Data Domain Virtual Edition (DDVE) implementado en la nube (ATOS) se quede sin almacenamiento de metadatos locales

Data Domain Virtual Edition (DDVE) es un dispositivo de almacenamiento solo de software, que se puede implementar en las instalaciones o en la nube. Active Tier on Object Storage (ATOS) es otro nombre para DDVE implementado en la nube.
En las instalaciones, DDVE es compatible con VMware, Hyper-V, KVM y VxRail.
En la nube, Data Domain Virtual Edition se ejecuta en:

• Amazon Web Services (AWS) (cloud y gov cloud)
• Azure (cloud y gov cloud)
• Plataformas en la nube VMware Cloud on AWS
• Google Cloud Platform (GCP)

DDVE en la nube no es lo mismo que Cloud Tier. Cloud Tier es un producto diferente que solo se puede implementar en DDVE y DD de hardware en las instalaciones.
Si se llena el almacenamiento de metadatos locales de un DDVE implementado en la nube, se emite la siguiente alerta:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DDVE implementado en la nube (ATOS) es compatible con dos tipos de almacenamiento de datos:

• Almacenamiento de bloques (se utiliza para datos y metadatos, o metadatos en DDVE habilitados para almacenamiento de objetos, también conocido como ATOS).
• El almacenamiento de Blob activo también se conoce como almacenamiento de objetos (solo se utiliza para datos)

Los discos de metadatos en DDVE implementado en la nube ATOS se completan con lo siguiente: Índice, referencias de segmentos LP, contenedores de CMETA (metadatos) y datos del administrador de directorios (DM)
La mayoría de las implementaciones utilizan (almacenamiento de objetos o blob activo), ya que esa es la recomendación actual en las implementaciones en la nube. Todos los datos se escriben mediante almacenamiento de objetos, pero el 10 % del espacio se define como almacenamiento de bloques para los metadatos del sistema de archivos de DD. El tamaño de los metadatos locales es una especulación basada en el tamaño de la capacidad con licencia. En el momento de la implementación, se estima un 10 % de uso de metadatos para un factor de desduplicación de 10x. Un DDVE con un uso de almacenamiento de metadatos del 100 % no puede recopilar respaldos.

Debido a las siguientes situaciones, es posible que el DDVE se quede sin espacio de almacenamiento de metadatos locales:

• La desduplicación es superior a 10x, por lo que los requisitos de metadatos son mayores que lo que se implementó en el tamaño de los metadatos (valor predeterminado: 10 %).
• Una gran cantidad de instantáneas antiguas puede aumentar el tamaño de los metadatos

Se puede observar una mayor cantidad de metadatos en DDVE ATOS que actúan como destinos para la replicación de archivos (replicación de clones controlada CCR/replicación administrada de archivos MFR):

• Si no se replican todos los archivos base, el DDVE ATOS de destino tiene un mayor uso en metadatos.
• En esta situación, la replicación NO aprovecha al máximo las optimizaciones de los sintéticos virtuales, por lo que se necesita más espacio para almacenar los metadatos.
• Este tipo de problema se observó en NW CCR, donde no parecía que se replicaran todos los archivos base. Esto hace que el destino tenga un mayor uso de metadatos.

La solución para este problema sería agregar discos adicionales como almacenamiento de metadatos locales.

Solo AWS y Azure permiten la expansión del tamaño del disco de metadatos cuando ya se ha asignado la cantidad máxima permitida de discos. La capacidad de metadatos para los discos de metadatos existentes puede aumentar en incrementos de 1 TiB. Esto no se aplica al primer disco de metadatos. Consulte la sección "Expandir el almacenamiento de metadatos" en el documento de guía para obtener más detalles.

• Guía de instalación y administración de PowerProtect DD Virtual Edition 7.x en Azure Cloud
• Guía de instalación y administración de PowerProtect DD Virtual Edition 7.x en Amazon Web Services

INFORMACIÓN IMPORTANTE CUANDO SE AGREGAN DISCOS PARA METADATOS:

• El uso de discos de metadatos de diferentes tamaños crea un desequilibrio en el índice.
• Cada disco de metadatos agregado al nivel activo debe tener su propio grupo de ejes; el software hace esto automáticamente. La cantidad máxima conocida de grupos de ejes es 16.
• Si se supera la cantidad máxima de grupos de ejes (16), los discos de metadatos serán del mismo grupo de ejes. Las I/O contra discos en los mismos grupos de ejes son secuenciales.
• Consulte el manual para conocer los tamaños recomendados; la mayoría sugiere incrementos de 1 TiB; puede haber tamaños mayores según el proveedor de servicio en la nube.
• Expanda solo los discos de metadatos para AWS y Azure. La expansión de discos de metadatos en cualquier proveedor hace que DDVE no se pueda utilizar, ya que está dañado, o que el espacio expandido no se utilice.

1. Revise el uso de metadatos; si se alcanzó el 100 %, se deben asignar más discos.

   • Se proporciona el siguiente ejemplo. Algunos resultados pueden variar según el proveedor de servicio en la nube. Consulte el Manual de instalación y administración:
   • Muestre el Uso de metadatos.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. El proceso de agregar más discos de metadatos difiere según el proveedor de servicio en la nube. Consulte los manuales de los diferentes proveedores de servicio en la nube a continuación.

   • Muestra qué discos se están utilizando.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Vaya a la consola de AWS/GCP/AZURE y agregue almacenamiento a DDVE. En este caso, se agrega un disco de 1 TiB. Se ve como dev5. Recuerde no expandir ni tocar ninguno de los otros discos existentes.
      MANUALES para DDVE en la nube (solo se publica a continuación para DDVE V4)
      Manual de instalación y administración de DDVEV4 en Microsoft Azure.
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      DDVEV4 en Google Cloud Platform(GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE4 en Amazon Web Services(AWS), Manual de instalación y administración
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      AVISO: Es posible que existan manuales de instalación o administración nuevos y actualizados en el momento de leer este artículo.
   2. En esta etapa, suponiendo que se agregó un nuevo disco de 1 TiB, se ve esto en el resultado como disco dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Agregue el nuevo disco al nivel activo. dev5 para este ejemplo:

      # storage add tier active dev5

      AVISO: La adición de más discos a una instancia de metadatos locales de DDVE ATOS desde la CLI puede hacer que aparezca el mensaje: "Local storage size exceeds the maximum required metadata capacity for this configuration":

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      Luego, consulte el siguiente artículo para encontrar una solución:
      Data Domain: El tamaño del almacenamiento local supera la capacidad máxima de metadatos requerida para esta configuración.
   4. Expanda el sistema de archivos.

      # filesys expand

3. Confirme que ahora se puede escribir en el FS, que era de solo lectura debido a la falta de espacio de metadatos.

   • Compruebe que los respaldos estén funcionando bien.
   • Compruebe que la replicación entrante se haya reanudado y que se pueda ver el tráfico.

Este contenido está traducido en otros idiomas:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• La expansión del sistema de archivos se puede realizar en línea.
• El uso de metadatos es directamente proporcional al factor de desduplicación. Las cargas de trabajo con factores de desduplicación altos crean índices más grandes, por lo que las necesidades de metadatos son mayores.
• Las instantáneas antiguas y grandes contienen datos, también aumentan el factor de desduplicación y hacen que el sistema se quede sin metadatos antes.
• Solo hay pautas de requisitos de metadatos para la implementación; estas son del 10 % de la capacidad en los discos de metadatos y suponen un factor de desduplicación de 10x. Las tasas de desduplicación más altas requieren más discos de metadatos.
• El soporte de DD no tiene pautas de requisitos de almacenamiento de metadatos locales para factores de desduplicación de 10x. Se recomienda agregar discos de metadatos en incrementos de 1 TiB hasta que se alcance un equilibrio entre el uso del sistema de archivos y el uso de metadatos.
• No hay ningún método conocido para predecir el uso futuro de metadatos en función de los posibles factores de desduplicación.
• El desequilibrio del índice también puede ocurrir en discos del mismo tamaño. La razón más común sería que los discos nuevos se incrementaron después de que los metadatos estuvieran casi llenos. Los discos más antiguos aún contienen la mayoría de las estructuras de metadatos, y se solicitan más I/O. A medida que vencen los datos más antiguos, los metadatos deben equilibrarse entre los discos.