Data Domain-operativsystemet stöder inte proaktiv ombalansering av data över lagringen efter att Data Domain-filsystemets kapacitet har utökats

Precis som med många andra lagringsdisksystem kan kapaciteten hos de flesta modeller av Data Domain Restorer (DDR) ökas genom att externa lagringsskåphyllor (ES30, DS60) läggs till i systemet och Data Domain File System (DDFS) sedan expanderas till dessa skåphyllor. När detta görs:

• Nya skåp: hyllorna är fysiskt anslutna (kabelanslutna, påslagna)
• Data Domain-operativsystemet (DDOS) söker igenom lagringen på nytt för att identifiera förekomsten av nya skåphyllor
• Dessa nya skåphyllor läggs sedan till på en lagringsnivå inom DDR (den aktiva nivån eller en specifik arkivenhet)
• Den här nivån kan sedan utökas online utan att det behövs ett avbrott till DDFS
• Alla nya data som skrivs till den lagringsnivån skrivs över befintliga och nya hyllor
• Data på befintliga hyllor balanseras dock inte om mellan nya skåphyllor

För att förklara detta ytterligare:

• Inom DDOS är enheten för datalagring en 4,5 Mb "container"
• När de skapas skrivs 4,5 Mb-behållare över alla skåphyllor i motsvarande nivåarkivenhet på ett resursallokeringssätt
• När ytterligare skåphyllor läggs till i en nivåarkivenhet börjar DDFS skriva nya 4,5 Mb-behållare till dessa höljen utöver befintliga höljen (de nya höljena inkluderas när resursallokeringsbehållaren skrivs)
• DDOS gör dock inte något specifikt försök (eller erbjuder någon specifik funktionalitet) för att migrera befintliga behållare i nivån från befintliga till nya hyllskåp

Detta innebär att tillägg av hyllskåp kan lämna data "obalanserade" över ansluten lagring. Till exempel:

• En DDR har initialt ett enda hölje i sin aktiva nivå som är 90 % full
• Ytterligare ett hölje läggs till i den aktiva nivån och DDFS utökas till det här höljet
• Skrivningar av nyskapade 4,5 Mb-containrar är nu resursallokering över befintliga och nya höljen
• Detta gör att det befintliga kabinettet saknar ledigt utrymme medan det nyligen tillagda kabinettet är nästan tomt

I det här scenariot tillåter många lagringsdisksystem en administratör att balansera om data över anslutna höljen och proaktivt migrera vissa data från befintliga höljen till nyligen tillagda höljen för att säkerställa att den använda kapaciteten för alla höljen är ungefär lika). Observera dock att DDOS INTE erbjuder denna funktion och på grund av DDFS-designen är den inte nödvändig eftersom ombalansering av data sker naturligt över tid.

Ombalansering av data utförs av två åtgärder:

• Rengöring av sophämtning
• Reparation av ort

Var och en av dessa åtgärder och hur de orsakar automatisk ombalansering av data beskrivs mer detaljerat nedan.

Rengöring av

sophämtningSkräpinsamlingsrensning (GC) är en schemalagd aktivitet som körs regelbundet på en DDR (som standard en gång i veckan mot den aktiva nivån och, förutsatt att utrymmesåtertagning är aktiverat, när det krävs mot arkivenheter). När den körs:

• Identifierar vilka fysiska data i nivåarkivenheten som är "live" (används av en eller flera filer i filsystemet eller objekt, t.ex. ögonblicksbilder) eller "döda" (utan referens av något objekt och därmed överflödigt för systemet)
• Fastställer vilka 4,5 Mb-behållare som innehåller majoriteten av "döda" data i nivåarkivenheten
• Läser dessa 4,5 Mb-behållare och extraherar alla "live"-data som de innehåller – detta "kopieras sedan framåt" till nyskapade 4,5 Mb-behållare som skrivs över alla hyllor i nivåarkivenheten
• Tar bort de gamla 4,5 Mb-behållarna, vilket tar bort döda data som de innehåller och frigör underliggande utrymme på disken för återanvändning

När GC körs på ett system med någon form av dataobalans förväntas de flesta gamla data (och därför de flesta döda data) lagras på äldre hyllor i nivåarkivenheten. Som ett resultat av detta finns de flesta av de behållare som läses, kopieras, vidarebefordras från och raderas på äldre hyllskåp. De nyligen skapade behållarna skrivs dock i resursallokeringsformat mellan alla hyllor på nivån. Det innebär att det mesta utrymmet som frigörs av GC finns på äldre hyllor medan det nyligen förbrukade utrymmet finns på alla hyllor.

Som ett enkelt exempel:

• Den aktiva nivån för en DDR innehåller två hyllor – den första hyllan innehåller 10 000 behållare på 4,5 MB medan den andra hyllan innehåller 100 behållare på 4,5 MB (för varje behållare på den andra hyllan finns det 100 behållare på den första hyllan)
• GC kör och kopierar vidarebefordrar data från 5 000 behållare på den första hyllan
• Realtidsdata i dessa 5 000 containrar gör att 1 000 nya 4,5 Mb-containrar skapas
• Dessa 1 000 nya 4,5 Mb-behållare skrivs över båda hyllorna
• När GC är klar rymmer den första hyllan därför 5500 4,5 Mb behållare medan den andra hyllan rymmer 600 behållare (för varje behållare på den andra hyllan finns det cirka nio behållare på den första hyllan)
• I en enda körning av GC har obalansen mellan behållare mellan den första och andra hyllan minskat med en faktor 10 – detta förväntas minska ytterligare under efterföljande körningar av GC, vilket innebär att data ombalanseras över hyllor naturligt över tid

Reparation av orten:

När en fil skrivs till en DDR utförs följande åtgärder på hög nivå:

• Filen är uppdelad i logiska segment (så kallade segment) på 4–12 kB
• Varje segment kontrolleras för att se om det redan finns på disken inom den nivå som filen skrivs till
• Om segmentet redan finns är det duplicerade data och segmentet i den nyskrivna filen ersätts med en pekare till befintliga data på disken
• Om segmentet inte finns är det unika data och paketeras därför i en ny 4,5 Mb-behållare och skrivs till disk

Alla filer har begreppet "lokalitet", dvs. hur sekventiella datasegmenten som filen refererar till är på disken på DDR-disken. Det är uppenbart att filer som har höga dedupliceringsförhållanden (innehåller en stor mängd duplicerade data) sannolikt har sämre lokalitet än en unik fil eftersom deras data ersätts med pekare till befintliga data som kan spridas över containrar/diskar inom motsvarande nivåarkivenhet när de matas in.

För att uppnå bra läsprestanda för data på en DDR krävs att filen har god "lokalitet" (dess data är relativt sekventiella på disken) så att DDFS-algoritmer för läsning i förväg kan fungera optimalt. Observera också att DDFS förutsätter att den fil som mest sannolikt kommer att läsas från (för återställning eller replikering) är den senaste kopian av en viss säkerhetskopia. Som ett resultat av detta utförs för vissa typer av data (t.ex. virtuell syntetteknik) en process som kallas "lokalitetsreparation" för att "optimera" lokaliteten för nyskrivna fildata. Vid körning, ortsreparation:

• Undersök data som refereras av filen och leta efter avsnitt där data inte är sekventiella på disken (visar dålig plats)
• Läs dessa icke-sekventiella data från disken och skriv dem igen sekventiellt (som dubblettdata) till nyligen skapade 4,5 Mb-behållare

Det förväntas sedan att den gamla (icke-sekventiella) kopian av dubblettdata identifieras som "död" under nästa körning av GC och tas bort från systemet. Ett resultat av det är att:

• I system där det råder obalans i data förväntas de flesta gamla, icke-sekventiella data finnas på de gamla, mer fullbelagda skåphyllorna
• När dessa data skrivs om sekventiellt som dubblettdata placeras de i nya 4,5 Mb-containrar som är resursallokering över alla höljen på motsvarande nivå
• Som ett resultat av detta finns majoriteten av "döda" (gamla dubblettdata) som skapas av lokalitetsreparation på gamla, mer fullbefolkade hyllor
• När GC körs hittas majoriteten av "döda" data på gamla mer fullständiga hyllor och tas bort (vilket frigör utrymme på dessa hyllor) enligt beskrivningen ovan

Slutsats

Som ett resultat av detta kan en DDR, genom normal användning av funktionen för reparation och rengöring av lokalitet, transparent balansera om data över hyllor över tid. Detta sker utan ytterligare åtgärder från administratörerna och innebär att det inte finns något behov av särskilda funktioner för ombalansering av data, vilket ibland ses på andra lagringsdisksystem. För att öka hastigheten med vilken ombalansering sker är det därför nödvändigt att antingen

• Öka hastigheten med vilken dataomsättning i DDR
• Öka mängden data som repareras lokalt på DDR

Om du vill diskutera något av dessa alternativ ytterligare kontaktar du din kontrakterade supportleverantör och uppger information om den här artikeln.