Data Domain: Vymazatelné místo představuje odhad

Často panují nejasnosti ohledně hodnoty "Cleanable GiB" uvedené v systému Data Domain a nesprávná očekávání ohledně množství místa, které bude obnoveno po spuštění čištění.

Uvedené číslo "Cleanable GiB" představuje pouhý odhad a není možné získat přesnou hodnotu, kolik místa bude získáno spuštěním čištění, a to kvůli technologickým volbám při vývoji systému souborů Data Domain.

Následuje stručné vysvětlení, proč se odhady čistitelného prostoru mohou podstatně lišit od skutečně získaného prostoru. Jsou zde však další faktory, které zde nejsou zohledňovány a které mohou způsobit, že se odhad a množství místa na disku skutečně uvolněného po spuštění čištění budou podstatně lišit
 

Když jsou data přijata systémem Data Domain, hodnota po kompresi je vypočítána a uložena jako statická data pro každý soubor. Hodnota "Cleanable" je jednoduše součtem hodnot po kompresi pro všechny odstraněné soubory od posledního spuštění čištění DD.
 

Hodnota Vymazatelné se stane nepřesnou, pokud byly segmenty odstraněných souborů použity k odstranění duplicitních dat v jiných souborech, které nebyly odstraněny. Pokud existuje jediný soubor odkazující na existující jedinečný segment, proces čištění systému DD nebude tyto segmenty považovat za znovu uvolněné. Takže i když byl post-comp souboru přidán do čítače "Cleanable GiB", jako by všechny jeho jedinečné segmenty měly být odstraněny, některé (nebo mnohé) nemusí, protože jsou znovu použity jinými soubory.
 

Podrobnější příklad ukazující tento efekt následuje:

Předpokládejme, že máte 5 souborů přidaných jeden po druhém do systému Data Domain, ve kterém předtím nejsou žádná další data.

Vzhledem k tomu, že první 100GB soubory obsahovaly všechna jedinečná data, je jejich kompresní poměr 1x (za předpokladu, že první soubor neměl žádnou redundanci v samotném souboru). 2.–5. soubory dokázaly deduplikovat data 1. souboru a každý ze starších souborů, když byly přidány, přičemž každý z nich získal rostoucí deduplikaci kvůli rostoucím souborům, proti kterým se deduplikoval.

File 1: precomp: 100 GB postcomp: 100 GB compression ratio: 1x
File 2: precomp: 100 GB postcomp:  50 GB compression ratio: 2x
File 3: precomp: 100 GB postcomp:  25 GB compression ratio: 4x
File 4: precomp: 100 GB postcomp:  25 GB compression ratio: 4x
File 5: precomp: 100 GB postcomp:   1 GB compression ratio: 100x

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         500           -      -                -
/backup: post-comp      1000         201         799    20%                0
----------------   ---------   ---------   ---------   ----   --------------

Příklad 1. Stav po smazání prvních 3 souborů z /backup :
 

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         200           -      -                -
/backup: post-comp      1000         201         799    20%              175
----------------   ---------   ---------   ---------   ----   --------------

Pokud spustíte čištění po tomto procesu, můžete získat zpět 125 místo plných 175 vyčistitelných. To je způsobeno skutečností, že poslední 2 soubory sdílejí segmenty se soubory 1-3.  Vyčištění neobnoví zbývajících 50 GB místa, protože tyto segmenty jsou stále používány soubory 3–5.
 

Příklad 2: Použijte stejný výchozí bod jako v příkladu 1, předpokládejme, že byl odstraněn soubor 1, poté provede fastcopy v celé složce /backup (tj. všech 5 souborů) a poté odstraní soubory 2-4. 

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         800           -      -                -
/backup: post-comp      1000         201         799    20%              200
----------------   ---------   ---------   ---------   ----   --------------

Hodnota "Size GiB" pro pre-comp pochází z (500-100)=400*2=800, což dává 500 pro 5 původních souborů, odečtením 100 pro odstranění souboru 1 dostaneme 400 GiB.  Dále 400 GiB vynásobeno 2 kvůli fastcopy ve všech 4 zbývajících souborech.

Všimněte si, že využitý prostor po kompenzaci je stále stejný, protože filecopy přidává pouze malé množství místa, které se skládá z ukazatelů metadat na původní data. Využití místa se nezměnilo navzdory odstranění souboru 1, protože nebyl spuštěn příkaz "filesys clean start" (pro zahájení čištění). 
 

Po vyčištění uvidíme:
 

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         800           -      -                -
/backup: post-comp      1000         176         824    18%                0
----------------   ---------   ---------   ---------   ----   --------------

Všimněte si, že i když bylo 200 GB zobrazeno jako vymazatelné, ve skutečnosti bylo vyčištěno pouze 25 GB. Hodnota "Cleanable GiB" se zobrazovala jako 200, protože velikost souboru "post-comp" u souborů 1 až 4 činila 200 GB.  Byl odstraněn pouze soubor 1, který měl 100 GB, ale 75 GB z něj bylo stále používáno ostatními 4 soubory (z důvodu deduplikace).  

To se může zdát divné, protože "Soubor 2" až "Soubor 4" byl také odstraněn, ale pamatujte, že ačkoli systém zobrazí "Soubor 2" až "Soubor 4" jako odstraněné, skutečné datové segmenty pro tyto soubory nemohly být odstraněny, protože tyto soubory byly zkopírovány do jiné složky.   Teprve poté, co byly odstraněny všechny verze fastcopy, lze místo zcela obnovit čištěním.

Jelikož vymazatelný GiB je pouze "odhad" a nemusí být přesný, může někdy dokonce odrážet velkou nebo stejnou velikost jako fyzická kapacita systému Data Domain.

To může vést k nejasnostem, zda povolit spuštění plánovaného čištění DDFS, nebo provést ručně, pokud se využití místa DDFS blíží 100 % kvůli tomu, že vymazatelný GiB zobrazuje hodnotu poblíž nebo stejnou hodnotu jako "/data: post-comp".

Kvůli lepšímu a spolehlivějšímu způsobu odhadu množství místa, které by se při spuštění uvolnilo místo na disku, je nyní možné od systému DDOS 7.7.x z rozhraní příkazového řádku určit, kolik bude možné znovu uvolnit pomocí funkce "Total Cleanable-Space", kterou bude moci uvolnit další GC na úrovni Active. Zde je shrnutí rozhraní příkazového řádku:
 

# filesys cleanable-space calculate
Cleanable space calculation started. Use 'filesys cleanable-space watch' to monitor progress.

Proces provede to samé jako běžné uvolňování paměti, projde fázemi 1 až 4, ale přeskočí fázi 5 (kopírování), která by efektivně zkopírovala kontejnery a uvolnila nefunkční místo na disku. Jako takový bude trvat tak dlouho, jak dlouho bude trvat dokončení čistých fází 1 až 4, než se vrátí hodnota, takže to není něco, co by se mělo pravidelně spouštět pro aktualizovaný odhad, ale pouze v případě potřeby. Jinými slovy, příkaz "filesys cleanable-space calculate" spustí GC na úrovni Active a pouze přeskočí část, ve které uvolní místo.

Proces může být monitorován takto:
 

# filesys cleanable-space watch
Beginning 'filesys cleanable-space calculation' monitoring.  Use Control-C to stop monitoring.

Cleaning: phase 1 of 4 (pre-merge)
  100.0% complete, 96233 GiB free; time: phase  0:02:07, total  0:02:07

Cleaning: phase 2 of 4 (pre-analysis)
  100.0% complete, 96233 GiB free; time: phase  0:06:51, total  0:08:59

Cleaning: phase 3 of 4 (pre-enumeration)
  100.0% complete, 96233 GiB free; time: phase  0:00:20, total  0:09:20

Cleaning: phase 4 of 4 (pre-select)
  100.0% complete, 96233 GiB free; time: phase  0:00:25, total  0:09:46

Po dokončení máte přístup k čistitelnému výsledku měření:

# filesys cleanable-space status

Cleanable space on active tier is 94649698202 bytes. Last calculated on 2023/08/25 03:29:51
Cleanable space calculation finished at 2023/08/25 03:29:51.

Pokud se má nyní spustit DD GC v testu ve výše uvedeném příkladu, uvolní se 94649698202 bajtů. To je 88,1 GiB, zatímco v době výpočtu byl odhad hlášený "df" v laboratoři, kterou DD použil, 41,9 GiB. Samozřejmě, že jakmile budou provedeny změny ve FS (nové zálohy, další odstranění, vytváření a vypršení platnosti snapshotů atd.), výpočet se spustí.

V případě potřeby lze k zastavení výše uvedeného procesu použít následující příkaz:

# filesys cleanable-space stop

The 'filesys cleanable-space stop' command stops calculating cleanable space in the system.
Are you sure? (yes|no) [no]: yes

ok, proceeding.

# filesys cleanable-space status
Cleanable space on active tier is 2607064 bytes. Last calculated on 2021/06/27 23:23:05
Cleanable space calculation started at 2021/06/27 23:27:58 and was aborted at 2021/06/27 23:28:19.
Cleaning was aborted by user.

Upozorňujeme, že toto rozhraní příkazového řádku se vztahuje pouze na úroveň DD Active. Neexistuje žádný ekvivalentní proces pro výpočet vymazatelné jednotky DD, která má vlastní odhad podléhající stejným nejistotám, jaké jsou popsány výše.