Data Domain : le stockage de métadonnées locales est peut-être insuffisant sur DDVE (Data Domain Virtual Edition) déployé sur le Cloud (ATOS)

Data Domain Virtual Edition (DDVE) est une appliance de stockage logicielle uniquement, qui peut être déployée sur site ou dans le Cloud. Active Tier on Object Storage (ATOS) est un autre nom pour le DDVE déployé dans le Cloud.
Sur site, DDVE prend en charge VMware, Hyper-V, KVM et VxRail.
Dans le Cloud, Data Domain Virtual Edition s’exécute dans :

• Amazon Web Services (AWS) (Cloud et Gov Cloud)
• Azure (Cloud et Gov Cloud)
• Plates-formes VMware Cloud on AWS
• Google Cloud Platform (GCP)

DDVE sur le Cloud n’est pas la même chose qu’un Cloud Tier. Cloud Tier est un produit différent qui ne peut être déployé que sur des DD et DDVE matériels sur site.
Si un DDVE déployé sur le Cloud remplit son stockage de métadonnées locales, l’alerte suivante est émise :

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DDVE déployé sur le Cloud (ATOS) prend en charge deux types de stockage de données :

• Stockage en mode bloc (utilisé pour les données et les métadonnées, ou les métadonnées sur les DDVE activés pour le stockage en mode objet ou ATOS).
• Le stockage Hot Blob est également appelé stockage en mode objet (utilisé uniquement pour les données)

Sur un DDVE déployé par ATOS, les disques de métadonnées sont renseignés avec : Des données d’index, des références de segments LP, des conteneurs CMETA (métadonnées) et des données de Directory Manager (DM)
La plupart des déploiements utilisent le stockage Hot Blob ou le stockage en mode objet, car il s’agit de la recommandation actuelle sur les déploiements Cloud. Toutes les données sont écrites à l’aide du stockage en mode objet, mais 10 % de l’espace est défini comme stockage en mode bloc pour les métadonnées du système de fichiers DD. La taille des métadonnées locales est une conjecture basée sur la taille de la capacité de la licence. Au moment du déploiement, l’utilisation des métadonnées est estimée à 10 % pour un facteur de déduplication de 10 fois. Un DDVE avec une utilisation à 100 % du stockage de métadonnées ne peut pas acquérir de sauvegardes.

En raison des scénarios suivants, le DDVE peut manquer d’espace de stockage de métadonnées locales :

• La déduplication est supérieure à 10 fois. Par conséquent, les exigences en matière de métadonnées sont supérieures à la capacité déployée dans la taille des métadonnées (par défaut, 10 %).
• Un grand nombre de snapshots ou d’anciens snapshots peut augmenter la taille des métadonnées

Une plus grande quantité de métadonnées peut être observée dans les DDVE ATOS agissant en tant que destinations pour la réplication de fichiers (CCR ou réplication contrôlée par clonage/MFR ou réplication de fichiers gérés) :

• Si tous les fichiers de base ne sont pas répliqués, le DDVE ATOS de destination a une utilisation plus élevée dans les métadonnées.
• Dans ce scénario, la réplication ne tire PAS pleinement parti des optimisations Virtual Synthetics, car elle a besoin de plus d’espace pour stocker les métadonnées.
• Ce type de problème a été remarqué dans NW CCR, où il ne semble pas que tous les fichiers de base aient été répliqués. Cela entraîne une utilisation des métadonnées plus élevée pour la destination.

La solution à ce problème consiste à ajouter d’autres disques en tant que stockage de métadonnées locales.

Seuls AWS et Azure autorisent l’extension de la taille du disque de métadonnées lorsque le nombre maximal autorisé de disques a déjà été alloué. La capacité en métadonnées des disques de métadonnées existants peut être augmentée par incréments de 1 Tio. Ceci ne s’applique pas au premier disque de métadonnées. Pour plus d’informations, voir la section « Étendre le stockage des métadonnées » du guide.

• Guide d’installation et d’administration de PowerProtect DD Virtual Edition 7.x sur Azure Cloud
• Guide d’installation et d’administration de PowerProtect DD Virtual Edition 7.x sur Amazon Web Services

INFORMATIONS IMPORTANTES LORS DE L’AJOUT DE DISQUES POUR LES MÉTADONNÉES :

• L’utilisation de disques de métadonnées de différentes tailles crée un déséquilibre d’index.
• Chaque disque de métadonnées ajouté au niveau actif doit posséder son propre groupe de disques (spindle), ce que le logiciel fait automatiquement. Le nombre maximal connu de groupes de disques est de 16.
• En cas de dépassement du nombre maximal de groupes de disques (16), les disques de métadonnées auront le même groupe de disques. Les E/S sur les disques des mêmes groupes de disques sont séquentielles.
• Voir le manuel pour les tailles recommandées. La plupart recommande un incrément de 1 Tio, des tailles plus élevées sont possibles en fonction du fournisseur de Cloud.
• Étendez les disques de métadonnées pour AWS et Azure uniquement. L’extension des disques de métadonnées de n’importe quel fournisseur rend le DDVE inutilisable en raison d’une corruption ou l’espace étendu est inutilisé.

1. Consultez l’utilisation des métadonnées. Si elle atteint 100 %, davantage de disques doivent être attribués.

   • L’exemple ci-dessous est fourni. Certaines sorties peuvent varier en fonction du fournisseur de Cloud. Voir manuel d’installation et d’administration :
   • Affichez l’utilisation des métadonnées.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. Le processus d’ajout de disques de métadonnées supplémentaires varie en fonction du fournisseur de Cloud. Voir les manuels de chaque fournisseur de Cloud en bas de la page.

   • Affichez les disques utilisés.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Accédez à la console AWS/GCP/AZURE et ajoutez du stockage au DDVE. Dans cet exemple, un disque de 1 Tio est ajouté. Il s’affiche en tant que dev5. Rappelez-vous de ne pas étendre ou toucher les autres disques existants.
      MANUELS pour DDVE sur le Cloud (publication ci-dessous pour DDVE V4 uniquement)
      Manuel d’installation et d’administration de DDVEV4 sur Microsoft Azure.
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      DDVEV4 sur Google Cloud Platform (GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE4 sur Amazon Web Services (AWS), Manuel d’installation et d’administration
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      ATTENTION : Des manuels d’installation ou d’administration nouveaux et mis à jour peuvent exister au moment de la lecture de cet article.
   2. À ce stade, en supposant qu’un nouveau disque de 1 Tio a été ajouté, il s’affiche sur la sortie en tant que disque dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Ajoutez le nouveau disque au niveau actif, dev5 dans cet exemple :

      # storage add tier active dev5

      ATTENTION : L’ajout de disques supplémentaires à un DDVE ATOS de métadonnées locales à partir de la CLI peut générer le message « Local storage size exceeds the maximum required metadata capacity for this configuration » :

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      Consultez ensuite l’article ci-dessous pour obtenir une résolution :
      Data Domain : la taille du stockage local dépasse la capacité maximale de métadonnées requise pour cette configuration.
   4. Étendez le système de fichiers.

      # filesys expand

3. Confirmez qu’il est désormais possible d’écrire sur le système de fichiers, qui était en lecture seule en raison d’un espace de métadonnées insuffisant.

   • Vérifiez que les sauvegardes fonctionnent désormais correctement.
   • Assurez-vous que la réplication entrante a repris et que le trafic est visible.

Ce contenu est traduit dans d’autres langues :

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• L’extension du système de fichiers peut être effectuée en ligne.
• L’utilisation des métadonnées est directement proportionnelle au facteur de déduplication. Les charges applicatives avec des facteurs de déduplication élevés créent des index plus volumineux, ce qui augmente les besoins en métadonnées.
• Les snapshots anciens et volumineux contiennent des données, augmentent également le facteur de déduplication et entraînent plus rapidement une insuffisance de métadonnées pour le système.
• Il existe uniquement des consignes relatives aux exigences en matière de métadonnées pour le déploiement. Elles représentent 10 % de la capacité des disques de métadonnées et supposent un facteur de déduplication de 10. Des ratios de déduplication plus élevés nécessitent plus de disques de métadonnées.
• DD Support ne dispose pas de directives sur les exigences de stockage des métadonnées locales pour des facteurs de déduplication supérieurs à 10 fois. Il est recommandé d’ajouter des disques de métadonnées par incréments de 1 Tio jusqu’à ce qu’un équilibre soit atteint entre l’utilisation du système de fichiers et l’utilisation des métadonnées.
• Il n’existe aucune méthode connue pour prédire l’utilisation future des métadonnées en fonction des facteurs de déduplication potentiels.
• Un déséquilibre d’index peut également se produire sur des disques de même taille. Cela est souvent dû à l’incrémentation tardive des nouveaux disques, alors que les métadonnées arrivent à saturation. Les disques plus anciens contiennent toujours la plupart des structures de métadonnées, avec plus de demandes d’E/S. Au fur et à mesure que les données plus anciennes expirent, les métadonnées doivent s’équilibrer entre les disques.