Data Domain: DD VE (Data Domain Virtual Edition) implementato nel cloud (ATOS) potrebbe esaurire lo spazio di storage per i metadati locali

DD VE (Data Domain Virtual Edition) è un software appliance di storage, che può essere implementato on-premise o nel cloud. ATOS (Active Tier on Object Storage) è un altro nome per DD VE implementato nel cloud.
On-premise, DD VE supporta VMware, Hyper-V, KVM e VxRail.
Nel cloud, Data Domain Virtual Edition viene eseguito in:

• AWS (Amazon Web Services) (cloud e gov cloud)
• Azure (cloud e cloud gov)
• Piattaforme cloud VMware Cloud on AWS
• GCP (Google Cloud Platform)

DD VE nel cloud non è uguale a Cloud Tier. Cloud Tier è un prodotto diverso che può essere implementato solo su DD VE e DD basato su hardware on-premise.
Se DD VE implementato nel cloud riempie il suo spazio di storage dei metadati locali, viene generato il seguente avviso:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DD VE implementato nel cloud (ATOS) supporta due tipi di storage dei dati:

• Storage a blocchi (utilizzato per dati e metadati o metadati su istanze DD VE abilitate per lo storage a oggetti, ovvero ATOS)
• Storage Blob per accesso frequente, noto anche come storage a oggetti (utilizzato solo per i dati)

I dischi di metadati su un'istanza DD VE implementata per ATOS vengono popolati con: indice, riferimenti di segmenti LP, container CMETA (metadati) e dati di gestione di directory (DM)
La maggior parte delle implementazioni utilizza lo storage Blob per accesso frequente o storage a oggetti, in quanto è la raccomandazione attuale per le implementazioni cloud. Tutti i dati vengono scritti utilizzando lo storage a oggetti, ma il 10% dello spazio è definito come storage a oggetti per i metadati del file system DD. La dimensione dei metadati locali è una speculazione basata sulla dimensione della capacità concessa in licenza. Al momento dell'implementazione, si stima un 10% di utilizzo di metadati per un fattore di deduplica 10x. Un'istanza DD VE con un utilizzo al 100% dello spazio di storage per i metadati non può acquisire backup.

A causa dei seguenti scenari, è possibile che DD VE esaurisca lo spazio di storage dei metadati locali:

• La deduplica è superiore a 10x, pertanto i requisiti relativi ai metadati sono superiori a quanto implementato nella dimensione dei metadati (valore predefinito 10%).
• Un numero elevato di snapshot obsolete può aumentare la dimensione dei metadati.

È possibile notare una maggiore quantità di metadati nelle istanze di DD VE ATOS che fungono da destinazioni per la replica dei file (CCR, Controlled Clone Replication/MFR, Managed File Replication):

• Se non tutti i file di base vengono replicati, l'istanza DD VE ATOS di destinazione presenta un utilizzo più elevato di metadati.
• In questo scenario, la replica NON sfrutta appieno le ottimizzazioni Virtual Synthetics e pertanto richiede più spazio per l'archiviazione dei metadati.
• Questo tipo di problema è stato notato in NW CCR, dove sembra che tutti i file di base non siano stati replicati. Di conseguenza la destinazione presenta un utilizzo più elevato di metadati.

La soluzione a questo problema consiste nell'aggiungere ulteriori dischi per lo storage dei metadati locali.

Solo AWS e Azure consentono l'espansione della dimensione dei dischi di metadati quando il numero massimo consentito di dischi è già stato allocato. La capacità dei metadati per i dischi di metadati esistenti può essere aumentata in incrementi di 1 TiB. Ciò non si applica al primo disco di metadati. Per ulteriori informazioni, vedere la sezione "Expand metadata storage" nel documento della guida.

• PowerProtect DD Virtual Edition 7.x in the Azure Cloud Installation and Administration Guide
• PowerProtect DD Virtual Edition 7.x on Amazon Web Services Installation and Administration Guide

INFORMAZIONI IMPORTANTI QUANDO SI AGGIUNGONO DISCHI PER I METADATI:

• L'utilizzo di dischi di metadati di dimensioni diverse crea uno squilibrio nell'indice.
• Ogni disco di metadati aggiunto al tier attivo deve avere il proprio gruppo di spindle; il software esegue questa operazione automaticamente. Il numero massimo noto di gruppi di splindle è 16.
• Se si supera il numero massimo di gruppi di spindle (16), i dischi di metadati apparterranno allo stesso gruppo di spindle. L'I/O sui dischi degli stessi gruppi di spindle è sequenziale.
• Consultare il manuale per le dimensioni consigliate. In genere si consiglia un incremento di 1 TiB; sono possibili dimensioni superiori a seconda del provider di cloud.
• Espandere i dischi di metadati solo per AWS e Azure. L'espansione dei dischi di metadati in altri provider rende DD VE inutilizzabile con danneggiamento o mancato utilizzo dello spazio espanso.

1. Esaminare l'utilizzo dei metadati: se ha raggiunto il 100%, è necessario assegnare più dischi.

   • Si fornisce il seguente esempio. L'output può variare a seconda del provider di cloud; consultare il manuale di installazione e amministrazione:
   • Visualizzare l'utilizzo dei metadati.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. Il processo di aggiunta di altri dischi di metadati varia a seconda del provider di cloud; consultare i manuali riportati più avanti per ciascun provider di cloud.

   • Visualizzare i dischi utilizzati.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Accedere alla console di AWS/GCP/AZURE e aggiungere lo storage a DD VE. In questo caso, viene aggiunto un disco da 1 TiB. Viene visualizzato come dev5. Ricordare di non espandere o toccare nessuno degli altri dischi esistenti.
      MANUALI per DDVE nel cloud (pubblicazione di seguito solo per DD VE V4)
      Manuale di installazione e amministrazione di DD VE V4 in Microsoft Azure.
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US
      Manuale di installazione e amministrazione di DD VE V4 in GCP (Google Cloud Platform)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      Manuale di installazione e amministrazione di DD VE V4 in AWS (Amazon Web Services)
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      ATTENZIONE: al momento della lettura di questo articolo potrebbero essere disponibili manuali di installazione o di amministrazione nuovi e aggiornati.
   2. In questa fase, supponendo che sia stato aggiunto un nuovo disco da 1 TiB, nell'output viene visualizzato quanto segue come disco dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Aggiungere il nuovo disco al tier attivo, dev5 per questo esempio:

      # storage add tier active dev5

      ATTENZIONE: l'aggiunta di più dischi ai metadati locali DD VE ATOS dalla CLI potrebbe generare il messaggio "Local storage size exceeds the maximum required metadata capacity for this configuration":

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      Consultare l'articolo seguente per la risoluzione:
      Data Domain: La dimensione dello storage locale supera la capacità massima di metadati richiesta per questa configurazione
   4. Espandere il file system.

      # filesys expand

3. Verificare che ora sia possibile la scrittura nel file system che era in precedenza read-only a causa della mancanza di spazio per i metadati.

   • Verificare che ora i backup funzionino correttamente.
   • Verificare che la replica in entrata sia ripresa e che il traffico sia visibile.

Questo contenuto è tradotto in altre lingue:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• L'espansione del file system può essere eseguita online.
• L'utilizzo dei metadati è direttamente proporzionale al fattore di deduplica. I carichi di lavoro con fattori di deduplica elevati creano indici di dimensioni maggiori e pertanto crescono le esigenze dei metadati.
• Le snapshot obsolete e di grandi dimensioni contengono dati e aumentano anche il fattore di deduplica, causando più rapidamente l'esaurimento dello spazio di storage per i metadati nel sistema.
• Esistono solo linee guida sui requisiti dei metadati per il deployment, ovvero il 10% di capacità nei dischi di metadati e suppongono un fattore di deduplica pari a 10x. Rapporti di deduplica più elevati richiedono più dischi di metadati.
• Il supporto di DD non dispone di linee guida sui requisiti di storage dei metadati locali per fattori di deduplica superiori a 10x. Si consiglia di aggiungere i dischi di metadati in incrementi di 1 TiB fino a raggiungere un equilibrio tra l'utilizzo del file system e l'utilizzo dei metadati.
• Non esiste un metodo noto per prevedere l'utilizzo futuro dei metadati in base ai potenziali fattori di deduplica.
• Lo squilibrio dell'indice può verificarsi anche su dischi della stessa dimensione. Il motivo più comune è che i nuovi dischi sono stati incrementati dopo che lo spazio dei metadati era quasi esaurito. I dischi meno recenti contengono ancora la maggior parte delle strutture di metadati, con una richiesta maggiore di I/O. Man mano che i dati meno recenti scadono, i metadati devono essere bilanciati tra i dischi.