Data Domain: Cloud deployed (ATOS) Data Domain Virtual Edition (DDVE), kan få slut på lagring av lokala metadata

Data Domain Virtual Edition (DDVE) är en lagringsenhet som endast är avsedd för programvara och som kan installeras lokalt eller i molnet. Active Tier on Object Storage (ATOS) är ett annat namn för molndistribuerad DDVE.
Lokalt har DDVE stöd för VMware, Hyper-V, KVM och VxRail.
I molnet körs Data Domain Virtual Edition i:

• Amazon Web Services (AWS) (moln och gov-moln)
• Azure (moln och gov-moln)
• VMware Cloud på AWS-molnplattformar
• Google Cloud Platform (GCP)

DDVE på molnet är inte samma sak som en molnnivå. Cloud Tier är en annan produkt som endast kan driftsättas på lokala DD:er och DDVE:er för maskinvara.
Om en DDVE som distribuerats i molnet fyller upp sin lagring av lokala metadata utfärdas följande varning:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DDVE distribuerat i molnet (ATOS) stöder två typer av datalagring:

• Blocklagring (används för data och metadata, eller metadata på objektlagringsaktiverade DDVE:er aka ATOS).
• Frekvent bloblagring kallas även objektlagring (används endast för data)

Metadatadiskar på en ATOS-distribuerad DDVE fylls i: Index, LP-segmentreferenser, CMETA-behållare (metadata) och kataloghanterardata
(DM)De flesta distributioner använder (Hot Blob eller Object Storage) eftersom det är den aktuella rekommendationen för molndistributioner. Alla data skrivs med objektlagring, men 10 % av utrymmet definieras som blocklagring för DD-filsystemets metadata. Storleken på lokala metadata är en spekulation baserat på storleken på den licensierade kapaciteten. Vid distributionen beräknas 10 % metadataanvändning för en dedupliceringsfaktor på 10x. En DDVE med 100 % användning av metadatalagring kan inte importera säkerhetskopior.

På grund av följande scenarier kan DDVE få slut på lagringsutrymme för lokala metadata:

• Dedupliceringen är högre än 10x, vilket innebär att metadatakraven är högre än vad som distribuerades i metadatastorlek (standard 10 %).
• Ett stort antal eller gamla ögonblicksbilder kan öka metadatastorleken

En större mängd metadata kan märkas i ATOS DDVE:er som fungerar som mål för filreplikering (Controlled Clone Replication CCR/Managed File Replication MFR):

• Om inte alla basfiler replikeras har mål-ATOS DDVE en högre användning i metadata.
• I det här scenariot drar replikeringen INTE full nytta av optimeringarna av virtuella syntetiska ämnen, vilket innebär att den behöver mer utrymme för att lagra metadata.
• Den här typen av problem upptäcktes i NW CCR, där det inte verkar som om alla basfiler replikerades. Detta gör att målet har en högre metadataanvändning.

Lösningen på det här problemet är att lägga till ytterligare diskar som lokal metadatalagring.

Endast AWS och Azure tillåter expansion av diskstorlek för metadata när det högsta tillåtna antalet diskar redan har allokerats. Metadatakapaciteten för befintliga metadatadiskar kan ökas i steg om 1 TiB. Detta gäller inte för den första metadatadisken. Mer information finns i avsnittet "Utöka metadatalagring" i guidedokumentet.

• PowerProtect DD Virtual Edition 7.x i Azure Cloud – Installations- och administrationsmanual
• PowerProtect DD Virtual Edition 7.x på Amazon Web Services – Installations- och administrationsmanual

VIKTIG INFORMATION NÄR DU LÄGGER TILL DISKAR FÖR METADATA:

• Om du använder metadatadiskar med olika storlek skapas en obalans i indexet.
• Varje metadatadisk som läggs till på den aktiva nivån bör ha en egen spindelgrupp, och det gör programvaran automatiskt. Det maximala kända antalet spindelgrupper är 16.
• Om du överskrider det maximala antalet spindelgrupper (16) kommer metadatadiskarna att ha samma spindelgrupp. I/O mot diskar på samma spindelgrupper är sekventiell.
• Se handboken för rekommenderade storlekar, de flesta rekommenderar ett steg på 1 TiB, högre storlekar är möjliga beroende på molnleverantör.
• Expandera endast metadatadiskar för AWS och Azure. Om du expanderar metadatadiskar i en provider blir DDVE oanvändbar om det är skadat eller om det expanderade utrymmet inte används.

1. Granska metadataanvändningen. Om den har nått 100 % måste fler diskar tilldelas.

   • Exemplet nedan tillhandahålls, vissa utdata kan variera beroende på molnleverantör, se installations- och administratörsmanualen:
   • Visa användningen av metadata.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. Processen för att lägga till fler metadatadiskar varierar beroende på molnleverantören. Se var och en av molnleverantörens handböcker längst ned.

   • Visa vilka diskar som används.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Gå till AWS/GCP/AZURE-konsolen och lägg till lagring i DDVE. I det här fallet läggs en 1 TiB-disk till. Det ses som dev5, och kom ihåg att inte expandera eller röra någon av de andra befintliga diskarna.
      HANDBÖCKER för DDVE på molnet (endast inlägg nedan för DDVE V4)
      DDVEV4 på Microsoft Azure – installations- och administratörsmanual.
      
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US DDVEV4 på Google Cloud Platform (GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE4 på Amazon Web Services (AWS), installations- och administratörsmanual
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      OBS! Det kan finnas nya och uppdaterade installations- eller administratörsmanualer när du läser den här artikeln.
   2. I det här skedet, förutsatt att en ny 1 TiB-disk har lagts till, visas detta i utdata som disk dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Lägg till den nya disken på den aktiva nivån. dev5 för det här exemplet:

      # storage add tier active dev5

      OBS! Om du lägger till fler diskar i lokala DDVE ATOS-metadata från CLI kan det leda till att meddelandet "Den lokala lagringsstorleken överskrider den maximala metadatakapacitet som krävs för den här konfigurationen" tas emot:

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      Läs sedan artikeln nedan för lösning:
      Data Domain: Den lokala lagringsstorleken överskrider den maximala metadatakapacitet som krävs för den här konfigurationen.
   4. Utöka filsystemet.

      # filesys expand

3. Bekräfta att det nu går att skriva till FS som var skrivskyddad på grund av brist på metadatautrymme.

   • Kontrollera att säkerhetskopieringarna nu fungerar som de ska
   • Kontrollera att inkommande replikering har återupptagits så att trafik kan ses.

Innehållet är översatt till andra språk:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• Filsystemet kan expanderas online.
• Användningen av metadata är direkt proportionell mot dedupliceringsfaktorn. Arbetsbelastningar med höga dedupliceringsfaktorer skapar större index, så metadatabehoven är högre.
• Gamla och stora snapshots innehåller data, och ökar även dedupliceringsfaktorn, vilket gör att systemet får slut på metadata tidigare.
• Det finns bara riktlinjer för metadatakrav för distribution, dessa utgör 10 % av kapaciteten i metadatadiskar och förutsätter en dedupliceringsfaktor på 10x. Högre dedupliceringsförhållanden kräver fler metadatadiskar.
• DD-supporten har inga riktlinjer för lokala metadatalagringskrav för högre dedupliceringsfaktorer än 10x. Metadatadiskar rekommenderas att läggas till i steg om 1 TiB tills en balans har nåtts mellan filsystemanvändning och metadataanvändning.
• Det finns ingen känd metod för att förutsäga framtida metadataanvändning baserat på potentiella dedupliceringsfaktorer.
• Indexobalans kan också uppstå på diskar av samma storlek. Den vanligaste orsaken är att nya diskar har ökats efter att metadata nästan är fulla. De äldre diskarna innehåller fortfarande de flesta metadatastrukturerna, och mer I/O begärs. När äldre data har upphört att gälla bör metadata balansera sig mellan diskarna.