Data Domain: En oversikt over globale faser av data Domain-filsystemet (DDFS)

Data Domain File System (DDFS) er forskjellig fra mange implementeringer av felles fil systemer når en fil slettes fra fil system plassen som brukes av denne filen, er ikke umiddelbart tilgjengelig for bruk på nytt. Grunnen til dette er fordi data Domain-gjenopprettingen (DDR) ikke umiddelbart vet om data som ble referert av den slettede filen, også blir duplisert av andre filer, og derfor om det er trygt å fjerne disse dataene eller ikke.

Ren gjøring (noen ganger kalt data sanering/GC) er prosessen som a DDR:

• Bestemmer hvilke data på disken som skal superfluouss (dvs. ikke lenger er referert av objekter som for eksempel filer eller øyeblikks bilder)
• Fjerne superfluous-data fysisk slik at det er mulig å ta ut den underliggende disk plassen for bruk på nytt (for eksempel svelg av nye data)

Ren/GC er vanligvis planlagt å kjøre med jevne mellomrom (som standard starter den på 6am hver tirsdag) og kan være:

• Tid krevende
• Rimelig krevende

Vær imidlertid oppmerksom på at det ikke er en annen måte enn å kjøre ren/GC der data kan fjernes/Space fysisk er frigjort på en data Domain-Gjenopprettar (dvs. det er ingen snarveier for å øke hastigheten på denne prosessen).

Denne artikkelen beskriver ren/GC i mer detalj som forklarer:

• Fasene som rengjøres, kjører vanligvis
• De forskjellige rene algoritmene som brukes i ulike versjoner av DDOS

Ingen

Hver gang ren gjøring/GC kjøres med to hoved formål – må du først finne superfluous-data på DDR – en kort oversikt over hvordan dette gjøres, er som følger:

• Clean/GC nummererer innholdet i DDFS File System for å se etter objekter som filer, øyeblikks bilder og Rep like Rings logger som for øyeblikket eksisterer på systemet
• Dette bestemmer deretter alle de fysiske dataene på disken som er referert til aktivt av disse objektene
• Data som er aktivt i øyeblikket, sies å være ' live ' og kan ikke fjernes fra DDR ellers vil objektene som refererer til disse dataene, bli skadet (de vil ikke lenger kunne leses, ettersom de underliggende dataene de er avhengig av, ikke lenger eksisterer på disken)
• Data som ikke er aktivt referert av et objekt, sies å være "død" og er superfluous-disse dataene kan trygt fjernes fra systemet.
• Alle data på en DDR er pakket inn i objekter på 4,5 MB i størrelse kjent som beholdere
• Ved hjelp av ren gjøring av opplisting kan du avgjøre hvilke 4,5 MB beholdere som innehar dødt data og mengden dødt data i hver
• Standard ren/GC vil velge 4,5 MB-beholdere som holder > 8% dødt data for ' behandling '

I tillegg må data fjernes i DDR – en kort forklaring av hvordan dette gjøres, er som følger:

• Beholdere som er valgt for behandling, sjekkes på nytt for å bekrefte at de inneholder en god mengde dødt data
• Direkte data trekkes ut fra disse beholderne og skrives til nye 4,5 MB-beholdere på slutten av fil systemet
• Når dette er fullført, blir valgte beholdere (inkludert de døde dataene de inneholder) slettet fra disken fysisk frigjøre disk plass

Rent prosessen deles inn i et antall faser med totalt antall faser avhengig av:

• Versjonen av DDOS som brukes på DDR (og derfor den rene algoritmen som er brukt som standard i den versjonen av DDOS)
• Konfigurasjon/innhold i systemet

Generelt sett vil prosessen med å finne "død"-data og velge tilhørende beholdere på tvers av en rekke faser, mens fjerning av dødt data skjer i én enkelt fase som kalles "kopi". Enkelte versjoner av DDOS ville for eksempel utført rene faser på følgende måte:

1. Forhånds opplisting-nummererer innholdet i DDFS File System
2. Forhånds sammenslåing-Utfør en DDFS indeks fletting for å sikre at den siste kopien av indeks informasjonen er renset til disken
3. Forhånds filter-avgjør om det finnes dupliserte data i DDFS-filsystemet, og i så fall at dette er
4. Før du velger, hvilke 4,5 MB beholdere skal være behandlet ved ren gjøring
5. Kopier – fysisk trekk ut aktive data fra valgte beholdere, skriv dette til nye beholdere, og slett deretter valgte beholdere
6. Sammendrag av samlet gjenoppbygging av sammendrag (som brukes som en optimalisering under svelg av nye data)

I eksemplet over faser 1-4 brukes for å bestemme hvor data for døde eksisterer på DDR (kalt "opplistings faser" i resten av dette dokumentet) mens fase 5 (kopi) brukes til å fjerne disse dataene fysisk.

Legg merke til at ikke plass vil bli fysisk frigjort på systemet inntil ren/GC når kopierings fasen. På grunn av dette kan det hende at det er en betydelig forsinkelse mellom ren start og at det blir frigjort (som følge av at opplistingen må kjøres for å fullføre). På grunn av dette bør systemet ikke ha tillatelse til å fylle 100% full før ren/GC er startet.

Opplistings fasene pleier å være kostbare når det gjelder CPU-utnyttelse (dvs. de er generelt CPU-bundet), mens kopi fasen er kostbart i både CPU og I/O (det vil si at de vanligvis er CPU og I/O-bundet). I Sammendrag er det imidlertid mulig å si at:

• Den totale lengden på opplistings faser avhenger av mengden data på DDR som må nummereres.
• Den totale lengden på kopi fasen avhenger av mengden dødt data på DDR som må fjernes og hvordan fragmenteringen av data er på disken (beskrevet videre nedenfor)

Nummer-og funksjonaliteten til opplistings faser avhenger av at DDOS brukes på en DDR.

DDOS 5,4 (og tidligere)-full Clean-algoritme: Kjører 6 eller 10 faser (som vist ovenfor):

• Innholdet i DDFS fil systemet er nummerert ovenfra og ned (det vil si filens konsentrisk)
• DDFS oppdager alle filer som eksisterer på DDR deretter skanner hver fil på nytt for å bestemme hvilke data som er referert til av denne filen
• Dette gjør at ren/GC kan bestemme hvilke data på disken som er direkte

DDOS 5,5 (og senere)-fysisk renske algoritme (PGC): Kjører 7 eller 12 faser:

• Innholdet i DDFS er opplistet opp/ned (det vil si at den ikke lenger skanner individuelle filer)
• DDFS oppdager fil systemmetadata som refererer til fysiske data på disken, og som skanner metadata for å fastslå hvilke data det er referanse til
• Dette gjør at ren/GC kan bestemme hvilke data på disken som er direkte
• Dette gjøres ved å legge til en analyse fase (derfor økningen i fase antallet over den fulle rene algoritmen)
• I de fleste tilfeller forventes total varighet på fysisk ren gjøring til å være kortere enn full ren for det samme systemet (til tross for å ha mer enkelt faser)

DDOS 6,0 (og senere)-perfekt fysisk ren gjørings algoritme (PPGC):

• Dette er ganske enkelt en optimalisering av den fysiske renske algoritmen, og beskrives videre nedenfor

Vær oppmerksom på at DDOS byttet fra den fulle rene algoritmen til den fysiske ren gjørings algoritmen for å forbedre skalerbar heten/ytelsen til opplistings prosessen, på grunn av den overgangs delen av den fulle rene algoritmen den ikke skalert godt på DDRs med enten:

• Et stort antall små filer (som kontekst skifte når du flytter fra opplisting av én fil til den neste var kostbart/treg)
• Høy duplisert forhold (som flere filer som refererer til samme fysiske data, slik at de samme dataene ble nummerert flere ganger)

DDRs-svitsj fra fulle til fysisk ren gjørings algoritmer automatisk når de oppgraderes fra DDOS 5,4 (eller tidligere) til 5,5 (eller nyere). Det eneste unntaket til dette er systemer som er konfigurert med utvidet oppbevaring der innholdet i DDFS File-systemet må kontrolleres for sprednings filer før fysisk ren kan aktiveres – en diskusjon av denne prosessen er utenfor omfanget av dette dokumentet, men denne kontrollen kjøres imidlertid automatisk etter at oppgraderingen og fysisk ren er aktivert ved fullføring av denne kontrollen uten at det er nødvendig med manuell handling.

Samme DDRs-svitsj fra fysiske til perfekte fysiske renske algoritmer automatisk når de oppgraderes fra DDOS 5. x til 6,0 (eller senere). Vær imidlertid oppmerksom på at den perfekte fysiske algoritmen krever at indekser skal være i indeks 2,0-format før den kan brukes. Vær oppmerksom på at:

• Indeks 2,0-formatet ble innført med DDOS 5,5 (slik at alle fil systemer som ble opprettet på 5,5 eller nyere, allerede bruker indeks 2,0)
• Fil systemet som ble opprettet på 5,4 eller tidligere, har opprinnelig indeks i indeks 1,0 format. Når det er oppgradert til DDOS 5,5 (eller senere), vil indeksene bli konvertert til indeks 2,0 format-konverteringen skjer hver gang rene kjøringer imidlertid bare ~ 1% av indeksene konverteres under hver ren gjøring, slik at det kan ta opptil 2 år (forutsatt at det er utført en uke) for å konvertere indeksene til 2,0-formatet

DDRs kjører først DDOS 5,4 (eller tidligere), men som senere er oppgradert til DDOS 5,5 (eller nyere), kan tvinges til å konvertere indekser til indeks-2,0-formatet ved en én gang "indeks gjenoppbygging". Legg imidlertid merke til at en indeksering av en indeks krever en periode på lenge, mens indeksene fysisk bygges på nytt – denne operasjonen tar vanligvis 2-8 timer å fullføre, avhengig av størrelsen på data mengden på DDR. For å diskutere å utføre en indeks-Gjenoppbygg må du ta kontakt med den avtalte støtte leverandøren.

Som nevnt ovenfor, uavhengig av hvilken ren gjørings-og GC-algoritme som brukes, er det mulig at det kreves et variabelt antall faser, for eksempel at den fulle rene algoritmen kan kreve 6 eller 10 faser. Grunnen til dette er at:

• Når DDFS startes, reserveres en fast mengde minne som skal brukes av ren/GC
• I dette minnet ren/GC opprettes data strukturer for å beskrive resultatene av opplistingen (dvs. Beskriv hvor Live vs. data eksisterer på disken)
• Når en DDR inneholder en relativt liten mengde data, kan hele innholdet i DDFS fil systemet beskrives i dette minne området
• På mange systemer er det imidlertid ikke mulig og dette minne området vil bli oppbrukt før hele innholdet i DDFS fil systemet ble opplistet opp
• Dette fører til at disse systemene utfører "sample" som øker antall rene faser som kreves

Når sample brukes rent/GC vil:

• Utføre et samplings pass for opplistingen over hele fil systemet – Merk at denne opplistingen ikke er fullført (det vil si at den ikke registrerer fullstendig informasjon om hver del av fil systemet, men i stedet omtrentlig informasjon for hver del av fil systemet)
• Bruk denne prøve informasjonen til å bestemme hvilken del av DDFS File System som skal dra nytte av at du har ren/GC-kjøring mot den (dvs. hvilken del av fil systemet vil gi best mulig retur av plass som frigjøres hvis det ble renset)
• Utføre en andre runde av full opplisting mot den valgte delen av fil systemet som har innhold som nå kan være fullstendig beskrevet i minnet som er reservert for GC

Sampling blir automatisk aktivert under ren gjøring/GC, hvis det er nødvendig, for eksempel:

• En økning i antall faser som må utføres av ren/GC
• En tilsvarende økning i total varigheten av ren/GC

Før DDOS 6,0 kan de fleste av DDRs utføre sampleing under ren/GC (med mindre de inneholder et relativt lite data sett). Den perfekte fysiske ren gjørings algoritmen inkluderer imidlertid forskjellige optimeringer for å redusere mengden minne som kreves av ren/GC ved opplisting av data i fil systemet. Dette betyr at mange systemer som ble utført under ren/GC på DDOS 5. x, ikke lenger krever sampling på DDOS 6,0-Dette reduserer derfor antall faser som utføres av ren og fører til en tilsvarende reduksjon i total ren kjøre tid (dvs. forbedring i ren ytelse).

Det er ingen tilgjengelig informasjon for direkte å fastslå at et system er endret fra den fysiske rens algoritmen til den perfekte fysiske rens algoritmen enn:

• Når systemet kjører fysisk ren på DDOS 5,5-5,7, ble det utført 12 faser under ren
• Følger systemet som oppgraderes til DDOS 6,0 (eller senere), utfører bare 7 faser under ren gjøring.

Hvis et system som kjører DDOS 6,0 fortsatt trenger å utføre prøven, vil dette bli aktivert automatisk under ren, og det vil falle tilbake for å kjøre 12 faser under ren gjøring.

Uavhengig av ren bruk av kopierings fasen (der død data er fysisk fjernet fra systemet), på samme måte som på alle versjoner. Ytelsen til kopierings fasen er som regel avhengig av:

• Mengden av ' døde ' data som må fjernes
• Fragmenteringen av disse døde dataene (det vil si hvordan den spres på tvers av disken)

Som beskrevet ovenfor, skal du velge 4,5 MB som innehar døde data, uttrekking av direkte data fra disse beholderne og skriver at du har lagt data til nye beholdere, og deretter sletter du de opprinnelige valgte beholderne. Følgende eksempler beskriver hvorfor fragmentering av dødt data er viktig:

eksempel 1:

• 10 beholdere er valgt for kopiering (45Mb total data)
• Alle hvis disse beholdere ikke beholder noen levende data (det vil si at dataene de inneholder, er fullstendig ikke referert/død)
• På grunn av dette, er det enkelt å merke disse beholdere som slettet for å frigjøre 45Mb fysisk plass på hard disken.

Eksempel 2:

• 100 beholdere valgt for kopiering (450Mb total data)
• Hver av disse beholdere inneholder 90% Live data/10% dødt data
• For å behandle disse beholdes kopiene, må du:

Det er svært mye større del av I/O og CPU som kreves for å utføre kopien som er beskrevet i for eksempel 2, sammenlignet med det i eksempel 1, og det vil ta betydelig lengre tid å frigjøre 45Mb fysisk plass på disken i dette eksemplet.

Brukere har vanligvis ingen kontroll over fragmentering av døde data på disk på en DDR fordi dette også er avhengig av bruks-og type data som skrives til systemet. Merk imidlertid at ren/GC-en gir statistikk som hjelper deg med å finne fragmentering av dødt data som ble oppdaget under kopierings fasen (som derfor tillater at en bruker bestemmer om dette fragmenteringen kan forklare kopierings fasen som er lang). Denne statistikken fra den nyeste fasen av ren/GC samles inn i autosupporter. Følgende viser for eksempel en kopierings fase der dødt data var forholdsvis kontinuerlig (dvs. de fleste av beholdene som er valgt for kopiering, er mest dødt data):

prosent andelen av data som er kopiert:              3,6% 4,3%

De følgende viser en kopierings fase der dødt data ble fragmentert (dvs. de fleste av beholdene som er valgt for kopiering, er mest aktive data):

prosent andelen av aktive data som er kopiert:             70,9% 71,5%

Som beskrevet over ren/GC, må du utføre omtrent mye mer arbeid i det andre scenariet for å fysisk frigjøre plass på DDR som vil føre til at du kan redusere antall kopierings faser.

Overføring av faser kan også påvirkes negativt av:

• Bruk av kryptering: Det kan hende at data må dekrypteres/dekrypteres på nytt under kopi som øker mengden med nødvendig prosessor.
• Bruk av lav bånd bredde optimalisering: Beholdere kan trenge skisse-informasjon for å bli generert under kopi som også for år saker en betydelig økning i hvor mye prosessor som kreves

Vær oppmerksom på at hvis lav bånd bredde optimalisering og/eller kryptering nylig har vært aktivert for alle eksisterende beholdere (uavhengig av om de er valgt for kopi eller ikke), må du kanskje kryptere og/eller ha informasjon om skisse som er generert mot dem under påfølgende ren gjøring (særlig av kopierings fasen) som er betydelig lengre enn normalt.

Videre kommentarer om kontroll/endring av ren planlegging og kvelning er tilgjengelige i følgende KB-artikkel: https://support.emc.com/kb/306100

Merk deg imidlertid:

• Ren gjøring av vanlige situasjoner bør planlegges til å kjøre mer enn én gang i uken som kjører oftere enn dette kan føre til at data på disken blir for stor til å bli for fragmentert (dvs. det vil si dårlig romlig, noe som kan føre til dårlig lese-og data bevegelses ytelse
• Rent kvelning påvirker ikke total mengden CPU og I/u-båndbredde som benyttes av ren, i stedet for å kontrollere hvordan følsom ren gjøring er til andre arbeids belastninger på systemet. Eksempel:

• Som standard er ren kvelning satt til 50 – det er ansvaret for brukeren for å teste at den kjører med ulike throttler, mens de DDR opplever normal arbeids belastning for å bestemme en Begrensnings innstilling som tillater:

• Vær oppmerksom på at en langvarig løpende ren ikke nødvendigvis er et problem så lenge:

• Systemet ved hjelp av utvidet funksjonalitet for oppbevaring bør konfigureres slik:

• Fullstendig informasjon fra den nyeste ren gjørings operasjonen er inkludert i autosupporter og informasjon: