Data Domain: En översikt över data Domain File System (DDFS) Clean/skräp insamling (GC) faser

Data Domain-filsystemet (DDFS) skiljer sig från många vanliga implementeringar av fil system i när en fil tas bort från fil system utrymmet som används av filen är inte omedelbart tillgängligt för åter användning. Orsaken till detta beror på att data Domain relagrings enheten (DDR) inte omedelbart vet om data som refererades av den borttagna filen också är deduplicerade mot andra filer och därför om det är säkert att ta bort dessa data eller inte.

Rengöring (kallas ibland för skräp insamling/GC) är den process som används för att DDR:

• Avgör vilka data på disken som är överflödiga (dvs. inte längre refereras av objekt som t. ex. filer eller ögonblicks bilder)
• Ta bort överflödiga data som gör underliggande disk utrymme tillgängligt för åter användning (dvs. intag av nya data)

Ren/GC är vanligt vis planerad att köras med regelbundna intervall (som standard startar det vid 6am varje tisdag) och kan vara:

• Tids krävande
• Dyr i beräkning

Observera dock att det inte finns någon annan metod än att köra ren/GC i vilka data kan tas bort/offentliggöras fysiskt på en data Domain rediskion (dvs. det finns inga genvägar för att påskynda den här processen).

I den här artikeln beskrivs ren/GC i mer detaljerad information:

• Faserna som rensas vanligt vis körs
• De olika rena algoritmerna som används i olika versioner av DDOS

Inget

Varje tid rensa/GC kör det har två huvud syften-först måste det hitta överflödiga data på DDR-en kort översikt över hur detta åstadkoms är enligt följande:

• Ren/GC räknar upp innehållet i DDFS-filsystemet som söker efter objekt, ögonblicks bilder och loggfiler som för närvarande finns på systemet
• Då bestäms alla fysiska data på disken som de ska refereras till aktivt.
• Data som är aktivt hänvisas till är "Live" och kan inte tas bort från DDR, annars skulle de objekt som refererar till dessa data skadas (de skulle inte längre kunna läsas som underliggande data de förväntas ha kvar på disken)
• Data som inte är aktivt refereras till av ett objekt sägs vara "dött" och är överflödiga. dessa data kan tas bort på ett säkert sätt från systemet
• Alla data på en DDR packas i objekt av 4,5 MB i storlek som kallas för containrar
• Genom uppräknings ren/GC kan du bestämma vilka 4,5 MB-behållare som ska lagra död data och mängden döda data i varje
• Som standard kommer rengör/GC att välja 4,5 MB behållare som innehåller > 8% död data för "Processing"

För det andra måste den ta bort förlorade data på DDR-en kort beskrivning av hur detta åstadkoms är enligt följande:

• Behållare som valts för bearbetning kontrol leras igen för att bekräfta att de innehåller en bra mängd döda data
• Live data extraheras från dessa behållare och skrivs till nya 4,5 MB-behållare i slutet av fil systemet
• När det här är slutförda valda behållare (inklusive förlorade data) tas de bort från disken fysiskt frigör disk utrymme

Rensnings processen delas upp i ett antal "faser" med det totala fas antalet beroende av:

• Den version av DDOS som används på DDR (den rena algoritmen används som standard av den versionen av DDOS)
• Systemets konfiguration/innehåll

I allmänhet finns det dock plats att söka efter "döda" data och välja motsvarande behållare över ett antal faser, vilket tar bort död data i en enda fas som kallas "kopiering". Vissa versioner av DDOS skulle till exempel kunna köra rensade faser enligt följande:

1. Före uppräkning-uppräkning av innehållet i fil systemet DDFS
2. Pre-merge-utför en DDFS-index sammanslagning för att säkerställa att den senaste kopian av index informationen töms på disk
3. Före filtrering avgör om det finns dubbletter av data i DDFS-filsystemet och om så är fallet
4. Pre-Select-avgör vilka 4,5 MB-behållare som ska bearbetas genom att rengöra
5. Copy-fysiskt extrahera Real data från valda behållare, Skriv detta till nya behållare och ta sedan bort valda behållare
6. Sammanfattning-Bygg om sammanfattnings vektorer (som används som en optimering vid intag av nya data)

I ovanstående exempel kommer faserna 1-4 att användas för att fastställa var ' dött ' data finns på DDR (kallas "uppräknings faser" i resten av detta dokument) medan fas 5 (kopia) används för att fysiskt ta bort dessa data.

Observera att det inte fysiskt går att frigöra utrymme på systemet förrän ren/GC når kopierings fasen. Det kan leda till att det föreligger en avsevärd fördröjning mellan rengöringar och utrymme som börjar frigöras (på grund av uppräknings processen som måste köras för att först slutföras). För detta skäl bör system inte vara tillåtet att fylla 100% fullt innan ren/GC startas.

Uppräknings faserna tenderar att vara dyra när det gäller processor användning (dvs. de är vanligt vis processor gränser) medan kopierings fasen är dyr i förhållande till CPU och I/O (dvs. de är vanligt vis CPU och I/O-bundna). I sammanfattningen är det dock möjligt att säga att:

• Den totala längden på uppräknings faserna beror på mängden data på DDR som behöver räknas upp
• Den totala längden på kopierings fasen beror på mängden av förlorade data på DDR som måste tas bort och hur "fragmenterad" data finns på disken (beskrivs nedan)

Antalet/funktionerna i uppräknings fasen beror på vilken version av DDOS som används på en DDR.

DDOS 5,4 (och tidigare)-full Clean algorithm: Kör 6 eller 10 faser (som visas ovan):

• Innehållet i DDFS-filsystemet räknas upp (dvs. det är filinriktad)
• DDFS identifierar alla filer som finns på DDR och söker sedan igenom varje fil i tur och ordning för att avgöra vilka data som refereras till av filen
• Detta gör att ren/GC kan avgöra vilka data på disken som är "Live"

DDOS 5,5 (och senare)-fysisk ren (PGC): Kör 7 eller 12 faser:

• Innehållet i DDFS är uppräknat nedifrån (dvs. det söker inte längre igenom enskilda filer)
• DDFS upptäcker fil systemets metadata som refererar till fysiska data på disken och söker efter metadata för att avgöra vilka data som hänvisas till
• Detta gör att ren/GC kan avgöra vilka data på disken som är "Live"
• Detta uppnås genom tillsats av en "analys" fas (vilket ökar i takt med att hela fasen ökas)
• I de flesta fall förväntas total varaktighet av fysisk rensning vara kortare än fullt ren för samma system (även om den består av flera enskilda faser).

DDOS 6,0 (och senare)-PFS (Perfect Physical Clean Algorithm) (PPGC):

• Det här är helt enkelt en optimering av den fysiska rensade algoritmen och beskrivs nedan

Observera att DDOS som växlas från den fullständiga rengör-algoritmen till den fysiska rensade algoritmen för att förbättra skalbarheten/prestandan för uppräknings processen-på grund av den fullständiga ren som den inte skalat bra på data DDR med antingen:

• Ett stort antal små filer (som kontext brytare vid förflyttning från uppräkning av en fil till nästa var dyr/långsam)
• Hög avduplicerad kvot (som flera filer refereras till samma fysiska data, så samma data har räknats upp flera gånger)

Identifiering av data-DDR från full till fysiska ren algoritmer automatiskt vid uppgradering från DDOS 5,4 (eller tidigare) till 5,5 (eller senare). Det enda undantaget för detta är system som är konfigurerade med utökad bevarande där innehållet i DDFS-filsystemet måste kontrol leras för "spaning"-filer innan fysisk rensning kan aktive ras-en diskussion av den här processen ligger utanför ramen för det här dokumentet men kontrollen körs automatiskt efter uppgraderingen och den fysiska rensningen är aktive rad när den här kontrollen är klar och ingen manuell åtgärd krävs

Liknande identifierings växling från fysiska till perfekta, rena algoritmer automatiskt när den uppgraderas från DDOS 5. x till 6,0 (eller senare). Observera dock att den perfekta fysiska rensade algoritmen kräver att index ska vara i formatet ' index 2,0 ' innan den kan användas. Observera följande:

• Formatet ' index 2,0 ' har införts med DDOS 5,5 (så alla fil system som skapas på 5,5 eller senare kommer redan att använda index 2,0)
• Fil systemet som skapas på 5,4 eller tidigare har inlednings vis haft index i index 1,0-formatet. När du har uppgraderat till DDOS 5,5 (eller senare) kommer indexen att konverteras till index 2,0 format-konverteringen sker varje gång rensning körs, men endast ~ 1% av index konverteras under varje rensning så att det kan ta upp till två år (under förutsättning att ren körs varje vecka) för att fullständigt konvertera index till 2,0-formatet

Identifiering av data DDR med början av DDOS 5,4 (eller tidigare), men som därefter har uppgraderats till DDOS 5,5 (eller senare) kan tvingas att konvertera index till formatet for index 2,0 av en tidpunkt "index Rebuild". Observera dock att en tid för index Rebuild kräver en tids period av nedtiden medan index är fysiskt återskapas. Detta tar vanligt vis 2-8 timmar att slutföra beroende på storleken/mängden av data på DDR. Kontakta din kontrakterade support leverantör om du vill diskutera hur du utför en index återskapning.

Oavsett vilket som nämnts ovan kan ren/GC-algoritmen kräva ett variabel antal faser, till exempel om den fullständiga rensade algoritmen kräver 6 eller 10 faser. Orsaken till detta är att:

• När DDFS startas reserveras en fast mängd minne som används av ren/GC
• I detta minne rensar/GC skapar data strukturer för att beskriva resultaten av uppräkningen (dvs. Beskrivning av var det finns Real-och död data på disken)
• När en DDR innehåller en relativt liten mängd data kan hela innehållet i DDFS-filsystemet beskrivas i detta område av minnet
• På många system är det dock inte möjligt och det här minnes utrymmet blir för stort innan hela innehållet i DDFS-filsystemet räknades upp
• Som ett resultat av detta utför dessa system "sampling" vilket ökar antalet rensade faser som krävs

När sampling används ren/GC kommer:

• Utför en samplings överföring över hela fil systemet – Observera att uppräkningen inte är slutförd (dvs. det registrerar inte fullständig information om varje del av fil systemet utan i stället uppskattar information för varje del av fil systemet)
• Använd den här samplings informationen för att avgöra vilken del av DDFS-filsystemet som mest åtnjuter en ren/GC-körning mot den (dvs. vilken del av fil systemet skulle ge bäst resultat i termer av utrymme som frigörs om det har rensats)
• Utför en andra Round-uppräkning mot den valda delen av fil systemet vars innehåll nu kan beskrivas fullständigt i det minne som är reserverat för GC

Sampling aktive ras automatiskt under ren/GC om det behövs, men det kommer att orsaka:

• En ökning av antalet faser som behöver utföras av ren/GC
• En motsvarande ökning av den totala varaktigheten av ren/GC

Före DDOS 6,0s huvud delen av identifierings data under ren/GC (om de inte har en relativt liten data uppsättning). Den perfekta fysiska rensade algoritmen omfattar dock olika optimeringar för att minska mängden minne som krävs av rensad/GC vid uppräkning av data i fil systemet. Det innebär att många system som utförde samplingen under ren/GC på DDOS 5. x inte längre kräver Stick prov på DDOS 6,0-Detta minskar därför antalet faser som utförs av ren och orsakar en motsvarande minskning av den totala rensnings tiden (dvs. förbättring av ren prestanda).

Det finns ingen tillgänglig information för att direkt fastställa att ett system har växlat från den fysiska rensnings algoritmen till den perfekta fysiska rengörings algoritmen utöver:

• När systemet körs fysiskt rent på DDOS 5,5-5,7 utfördes 12 faser under rensning
• Efter det system som uppgraderas till DDOS 6,0 (eller senare) utför det endast 7 faser under rensning

Om ett system som kör DDOS 6,0 fortfarande måste köras så aktive ras det automatiskt under ren och det kommer att återgå till att köra 12 faser under ren form.

Oavsett om den rena algoritmen har använts för kopierings fasen (där död data tas bort fysiskt från systemet) fungerar det på samma sätt i alla versioner. Prestandan för kopierings fasen beror vanligt vis på:

• Mängden "dött" data som ska tas bort
• "Fragmentering" av dessa döda data (dvs. hur det sprider sig över flera diskar)

Enligt beskrivningen ovan ska du välja 4,5 MB-behållare som håller döda data, extrahera all real tids data från dessa containrar och skriva in real tids data till nya containrar och sedan ta bort de ursprungligen valda containrarna. Följande exempel beskriver varför fragmentering av döda data är viktig:

exempel 1:

• 10 behållare har valts för kopiering (45Mb total data)
• Alla om dessa behållare inte har några real tids data (dvs. de data som innehas är helt icke refererade/döda)
• Som en resultat kopia måste du helt enkelt markera dessa behållare som borttagna för att frigöra 45Mb fysiskt utrymme på disken

Exempel 2:

• 100 behållare väljs för kopiering (450Mb total data)
• Var och en av dessa behållare rymmer 90% Live data/10% förlorade data
• Om du vill bearbeta dessa behållar kopia måste du:

En betydligt större mängd i/O och CPU krävs för att utföra den kopia som beskrivs i exempel 2 när den jämförs med det i exempel 1, så det tar avsevärt längre tid att frigöra 45Mb fysiskt utrymme i disk i det här exemplet.

Användare har vanligt vis ingen kontroll över "fragmentering" av död data på disken på en DDR eftersom detta är mycket beroende på användnings fall/typ av data som skrivs till systemet. Observera dock att ren/GC upprätthåller statistik som hjälper till att fastställa "fragmenterad" av död data som påträffats under kopierings fasen (vilket gör det möjligt för en användare att avgöra om den här fragmenteringen kan förklara en kopierings fas som eventuellt är i drift). Sådan statistik från den senaste fasen ren/GC samlas i AutoSupport. Till exempel nedan visas en kopierings fas där död data var ganska sammanhängande (dvs. de flesta behållare valdes för kopiering som mest döda data):

procent andel av real tids data som kopierats:              3,6% 4,3%

Nedan visas en kopierings fas där död data fragmenterades (dvs. de flesta behållare som valts för kopieringen är huvudsakligen Real data):

procent andel av real tids data som kopierats:             70,9% 71,5%

Som beskrivs ovan måste rensas eller GC utföra jämför ande mycket mer arbete i det andra scenariot för att fysiskt frigöra utrymme på DDR vilket gör att kopierings fasen reduceras.

Kopiering av fas-genomflöde kan också påverkas negativt av:

• Användning av kryptering: Data kan behöva dekrypteras eller omkrypteras under kopieringen vilket avsevärt ökar den mängd processor som krävs
• Användning av låg bandbredds optimering: Behållare kan behöva en "skiss"-information som ska genereras under kopieringen vilket även orsakar en avsevärd ökning av den mängd processor som krävs

Observera att om du nyligen har aktiverat alla befintliga behållare (oavsett om de har valts för kopiering eller ej) för låg bandbredds optimering och/eller-kryptering, kan det leda till att ren drift (i synnerhet kopierings fasen) kan ta avsevärt längre än normalt.

Ytterligare information om att kontrol lera/ändra ren schemaläggning och begränsning finns i följande KB-artikel: https://support.emc.com/kb/306100

Observera dock att:

• Under normala omständigheter ska ren tids plane ras för att köras den senaste veckan som körs oftare än detta kan medföra att data på disken blir alltför fragmenterade (dvs. har en dålig avstånds plats) vilket kan resultera i dåliga Läs-/replikerings-/data rörelser
• Ren begränsning påverkar inte den totala mängden processor och I/O bandbredd som förbrukas av ren-i stället styrs hur känsligt ren är för andra arbets belastningar på systemet. Till exempel:

• Som standard är Clean-begränsning inställt på 50-det är användarens ansvar att testa ren med olika inställningar, medan DDR förbrukar normal belastning för att fastställa en begränsnings inställning som gör det möjligt att:

• Observera att en tids krävande ren städning inte nödvändigt vis är ett problem så länge som:

• Systemet med utökad bevarande funktion ska konfigureras så att:

• Fullständig information från den senaste rensnings funktionen ingår i följande funktioner och information: