Data Domain: Cloudimplementeret (ATOS) Data Domain Virtual Edition (DDVE), kan løbe tør for lokalt metadatalager

Data Domain Virtual Edition (DDVE) er en storageenhed, der kun omfatter software, og som enten kan implementeres lokalt eller i clouden. Active Tier on Object Storage (ATOS) er et andet navn for cloud-implementeret DDVE.
DDVE understøtter VMware, Hyper-V, KVM og VxRail i det lokale miljø.
I clouden kører Data Domain Virtual Edition i:

• Amazon Web Services (AWS) (cloud og gov cloud)
• Azure (cloud- og offentlig cloud)
• VMware Cloud på AWS cloud-platforme
• Google Cloud-platform (GCP)

DDVE på Cloud er ikke det samme som et Cloud Tier. Cloud Tier er et andet produkt, der kun kan implementeres på lokale hardware-DD er og DDVE'er.
Hvis en DDVE, der er installeret i clouden, fylder sit lokale metadatalager op, udsendes følgende advarsel:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DDVE implementeret på cloud (ATOS) understøtter to typer datastorage:

• Blokstorage (bruges til data og metadata eller metadata på objektstorageaktiverede DDVE'er, også kaldet ATOS).
• Hot Blob Storage kaldes også objektlager (bruges kun til data)

Metadatadiske på en ATOS-implementeret DDVE udfyldes med: Indeks, LP-segmentreferencer, CMETA-containere (metadata) og DM-data
(Directory Manager)De fleste implementeringer bruger (Hot Blob eller Object Storage), da det er den aktuelle anbefaling til cloud-implementeringer. Alle data skrives ved hjælp af objektlagring, men 10 % af pladsen defineres som blokstorage til DD-filsystemets metadata. Størrelsen af de lokale metadata er en spekulation baseret på størrelsen af den licenserede kapacitet. På implementeringstidspunktet estimeres 10 % brug af metadata for en 10 gange deduplikeringsfaktor. En DDVE med et 100 % metadatalagerforbrug kan ikke indtage sikkerhedskopier.

På grund af følgende scenarier kan DDVE løbe tør for lokal metadata-lagerplads:

• Deduplikeringen er højere end 10x, da metadatakravene er højere end det, der blev implementeret i metadatastørrelse (standard 10%).
• Et stort antal eller gamle snapshots kan øge metadatastørrelsen

En større mængde metadata kan bemærkes i ATOS DDVE'er, der fungerer som destinationer for filreplikering (Controlled Clone Replication CCR / Managed File Replication MFR):

• Hvis ikke alle basisfiler replikeres, har destinations-ATOS DDVE et højere forbrug i metadata.
• I dette scenarie udnytter replikering IKKE de virtuelle syntetiske optimeringer fuldt ud, da der derfor er brug for mere plads til at gemme metadata.
• Denne type problem blev bemærket i NW CCR, hvor det ikke ser ud til, at alle basisfilerne blev replikeret. Dette medfører, at destinationen har et højere metadataforbrug.

Løsningen på dette problem ville være at tilføje yderligere diske (er) som Local Metadata Storage.

Kun AWS og Azure tillader udvidelse af metadatadiskstørrelsen, når det maksimalt tilladte antal diske allerede er tildelt. Metadatakapaciteten for eksisterende metadatadiske kan øges med 1 TiB-trin. Dette gælder ikke for den første metadatadisk. Se afsnittet "Udvid metadatalageret" i vejledningsdokumentet for at få flere oplysninger.

• Installations- og administrationsvejledning til PowerProtect DD Virtual Edition 7.x i Azure Cloud
• Installations- og administrationsvejledning til PowerProtect DD Virtual Edition 7.x på Amazon Web Services

VIGTIGE OPLYSNINGER VED TILFØJELSE AF DISKE TIL METADATA:

• Brug af metadatadiske af forskellig størrelse skaber en indeksubalance.
• Hver metadatadisk, der føjes til det aktive niveau, skal have sin egen spindelgruppe, softwaren gør automatisk dette. Det maksimale kendte antal spindelgrupper er 16.
• Hvis man går over det maksimale antal spindelgrupper (16), vil metadatadiske være den samme spindelgruppe. I/O mod diske på de samme spindelgrupper er sekventiel.
• Se manualen for de anbefalede størrelser, de fleste anbefaler et trin på 1 TiB, højere størrelser er mulige afhængigt af Cloud-udbyder.
• Udvid kun metadatadiske til AWS og Azure. Udvidelse af metadatadiske i enhver udbyder gør DDVE ubrugelig med korruption eller at have den udvidede plads ubrugt.

1. Gennemgå brugen af metadata, hvis den nåede 100%, skal den tildeles flere diske.

   • Eksemplet nedenfor leveres, nogle output kan variere afhængigt af Cloud-udbyder, se installations- og administratormanualen:
   • Vis metadata Usage.

   # filesys show space tier active local-metadata
   --------------------------
   Active Tier: local-metadata usage
   Size GiB   Used GiB   Avail GiB     Use%
   --------   --------   ---------   ------
     1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
   --------   --------   ---------   ------

2. Processen med at tilføje flere metadatadiske varierer afhængigt af Cloud Provider. se hver af Cloud Provider-manualerne nederst.

   • Vise, hvilke diske der bruges.

   # disk show hardware
   ------------------
   Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
          (pci/idx)                                                                  
   ----   ---------   --------------------   --------   ----------   ---------   -----
   dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
   dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
   dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
   ----   ---------   --------------------   --------   ----------   ---------   -----
   4 drives present.

   1. Gå til konsollen AWS/GCP/AZURE, og føj storage til DDVE. I dette tilfælde tilføjes en 1TiB-disk. Det ses som dev5, og husk ikke at udvide eller røre nogen af de andre eksisterende diske.
      MANUALER til DDVE on Cloud (Indlæg kun nedenfor for DDVE V4)
      Installations- og administratorvejledning til DDVEV4 på Microsoft Azure.
      
      https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US DDVEV4 på Google Cloud Platform(GC)
      https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
      DDVE4 på Amazon Web Services(AWS), installations- og administratormanual
      https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
      BEMÆRK: Der findes muligvis nye og opdaterede installations- eller administratormanualer på det tidspunkt, hvor denne artikel læses.
   2. På nuværende tidspunkt, forudsat at en ny 1 TiB-disk blev tilføjet, ses dette på outputtet som disk dev5.

      # disk show hardware
      ------------------
      Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
             (pci/idx)                                                                  
      ----   ---------   --------------------   --------   ----------   ---------   -----
      dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
      dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
      dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
      dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
      ----   ---------   --------------------   --------   ----------   ---------   -----

   3. Føj den nye disk til det aktive niveau. Dev5 i dette eksempel:

      # storage add tier active dev5

      BEMÆRK: Tilføjelse af flere diske til en DDVE ATOS lokale metadata fra CLI kan producere, meddelelsen "Lokal lagerstørrelse overstiger den maksimale krævede metadatakapacitet for denne konfiguration" modtages:

      ** Local storage size exceeds the maximum required metadata capacity for this configuration.
      Do you want to continue? (yes|no) [no]:

      Se derefter artiklen nedenfor for løsning:
      Data Domain: Lokal lagerstørrelse overstiger den maksimale påkrævede metadatakapacitet for denne konfiguration.
   4. Udvid filsystemet.

      # filesys expand

3. Bekræft, at FS, som var skrivebeskyttet på grund af manglende metadataplads, nu kan skrives til.

   • Kontroller, at sikkerhedskopieringer nu fungerer fint
   • Kontroller, at indgående replikering er genoptaget, og at trafikken kan ses.

Dette indhold er oversat til andre sprog:

• https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
• https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

• Filsystemudvidelsen kan udføres online.
• Metadataforbruget er direkte proportionalt med deduplikeringsfaktoren. Workloads med høje deduplikeringsfaktorer opretter større indekser, så behovet for metadata er højere.
• Gamle og store snapshots indeholder data og øger også deduplikeringsfaktoren og får systemet til at løbe tør for metadata hurtigere.
• Der er kun retningslinjer for metadatakrav til implementering. Disse er 10 % af kapaciteten på metadatadiske, og der antages en 10 gange deduplikeringsfaktorer. Højere deduplikeringsforhold kræver flere metadatadiske.
• DD-support har ikke retningslinjer for lokale metadata-lagringskrav for højere deduplikeringsfaktorer end 10x. Det anbefales, at der tilføjes metadatadiske i trin på 1 TiB, indtil der er opnået balance mellem filsystembrug og metadatabrug.
• Der er ingen kendt metode til at forudsige den fremtidige brug af metadata baseret på potentielle deduplikeringsfaktorer.
• Indeksubalance kan også forekomme på diske af samme størrelse. Den mest almindelige årsag ville være, at nye diske er blevet forøget, efter at metadata er næsten fulde. De ældre diske indeholder stadig de fleste metadatastrukturer, og der anmodes om mere I/O. Da ældre data er udløbet, skal metadataene balancere sig selv mellem diskene.