Data Domain: Úvod k dlouhodobému uchovávání/čištění cloudové vrstvy/funkci Garbage Collection v zařízeních Data Domain Restorer (DDR)

Operační systém Data Domain Operating System (DDOS) 6.0 zavádí novou funkci známou jako Cloud Retention nebo LTR (Long Term Retention). Tato funkce umožňuje přidat k určitým modelům zařízení Data Domain Restorer (DDR) s přidruženou licencí CLOUD_CAPACITY druhou úroveň objektového úložiště od poskytovatele cloudových služeb.

V systémech využívajících funkci LTR se soubory přijaté zařízením DDR zpočátku zapisují do aktivní vrstvy (místně připojené úložiště). Zásady přesunu dat / prahové hodnoty stáří se pak konfigurují na základě fondů MTree tak, aby určité soubory, které vyžadují dlouhodobé uchovávání, byly později migrovány z aktivní do cloudové vrstvy procesem přesunu dat (pravidelně naplánovaná úloha).

Soubory v cloudové vrstvě je možné odstranit obvyklým způsobem, ale přidružené místo v cloudovém úložišti nebo úložišti objektů se hned neuvolní pro další použití. Chcete-li odstranit nadbytečná data z cloudu, je nutné vyčistit cloudovou vrstvu.

Struktura cloudové vrstvy:

Cloudová vrstva je rozdělena na cloudové jednotky. Pozor:

• Cloudová vrstva může obsahovat až dvě cloudové jednotky
• Každá cloudová jednotka může být tak velká, jako je maximální podporovaná velikost aktivní vrstvy pro daný model zařízení DDR.
• Každou cloudovou jednotku je možné zřídit od jiného poskytovatele úložiště objektů

Například:

# cloud unit list
Name                      Profile        Status
-----------------------   ------------   ------
B-unit                    LTR-ECS-Ben    Active <=== ECS provider
cloud-unit-virtustream1   virtustream1   Active <=== Virtustream provider
-----------------------   ------------   ------

Základní koncepty čištění cloudu:

• Čištění cloudu probíhá při spuštění pouze u jedné cloudové jednotky – pokud chcete zjistit, která cloudová jednotka se má čistit, v protokolech DDFS (/ddr/var/log/debug/ddfs.info) se zobrazí následující zpráva – v tomto případě se čistí cloudová jednotka cloud-unit-virtustream1:

• Pokud je v systému nakonfigurováno více cloudových jednotek, čištění cloudu provede jejich kruhové dotazování při každém spuštění čištění dané jednotky.
• Čištění cloudu lze spustit ručně nebo automaticky prostřednictvím plánu – pro ruční spuštění se používá následující příkaz:

• Čištění aktivní vrstvy a čištění cloudu nemohou běžet současně (jelikož obě používají stejné paměťové struktury v rámci systému DDFS).
• Pokud je spuštěno čištění aktivní vrstvy (spouští se ručně nebo prostřednictvím plánu) a dojde k pokusu o spuštění čištění cloudu, dojde k chybě, tj.:

• Pokud se čištění cloudové vrstvy spustilo automaticky (tj. podle plánu) a spustí se čištění aktivní vrstvy, čištění cloudové jednotky se zruší a dá mu přednost. To je v protokolech DDFS zaznamenáno následujícím způsobem:

• Pokud jste čištění cloudu spustili ručně a pokusíte se spustit čištění aktivní vrstvy, nepodaří se vám to – čištění cloudu se nejprve dokončí, tj.:

• Aby bylo možné spustit čištění cloudu, musí cloudová jednotka zaznamenat minimálně nadbytečnost 1 % dat (tj. >= 1 % dat, která jsou aktuálně v cloudové jednotce, musí být považována za nadbytečná, a tedy odstranitelná). Pokud tomu tak není a čištění cloudu spustíte ručně, zobrazí se v příkazovém řádku následující zpráva:

• Pokud systém obsahuje dvě cloudové jednotky a plánované čištění první jednotky z nějakého důvodu selže (např. nedostatečné množství nadbytečných dat), pak se čištění automaticky pokusí spustit na druhé jednotce (tj. není nutné čekat na další naplánované spuštění čištění cloudu pro vyčištění druhé jednotky)
• Čištění cloudu je možné omezit (podobně jako čištění aktivní vrstvy), aby bylo možné určit, jaká akce se má provést, když je systém pod významným jiným zatížením (tj. vkládání dat, obnovení nebo replikace).

Plánování čištění cloudu:

V systému DDOS 6.0 a novějších se způsob, jakým se plánuje čištění aktivní vrstvy, nezměnil – ve výchozím nastavení je čištění aktivní vrstvy naplánováno tak, aby se spouštělo jednou týdně v úterý v 06:00, tj.:

# filesys clean show schedule
Filesystem cleaning is scheduled to run "Tue" at "0600".

Čištění cloudu je ve výchozím nastavení naplánováno tak, aby se spouštělo po každém 4. vyvolání naplánovaného čištění aktivní vrstvy. Chcete-li zobrazit plán čištění cloudu, použijte následující příkaz:

# cloud clean frequency show
Cloud tier cleaning frequency is set to run after every 4 active tier cleaning cycles.

V důsledku toho se čištění cloudu v systému s výchozí konfigurací zahájí každé 4 týdny – pokud má systém dvě cloudové jednotky, každá jednotka se vyčistí jednou za 8 týdnů.

Pokud chcete změnit frekvenci čištění cloudu, můžete použít následující příkaz:

# cloud clean frequency set 2
Cloud tier cleaning frequency is set to run after every 2 active tier cleaning cycles.

Pokud chcete resetovat čištění cloudu na výchozí plán po každých 4 vyčištěních aktivní vrstvy, můžete použít následující příkaz:

# cloud clean frequency reset
Cloud tier cleaning frequency is reset to default (every 4 active tier cleaning cycles).

Upozorňujeme, že plán čištění cloudu nezahrnuje ručně spuštěné cykly čištění aktivní vrstvy. Výsledkem je, že ve výše uvedeném systému i v případě, že by se čištění aktivní vrstvy spouštělo ručně každý den, by se čištění cloudové vrstvy spouštělo jenom jednou za 4 týdny.

Naplánované čištění cloudu je také možné zcela zakázat pomocí následujícího příkazu:

# cloud clean frequency set never
Cloud tier cleaning frequency is set to "never".

V takovém případě se čištění cloudu spustí pouze při ručním spuštění.

Chcete-li zastavit aktuálně spuštěné čištění cloudu, použijte následující příkaz:

# cloud clean stop

Chcete-li zjistit, kdy se čištění cloudu spustilo naposledy, použijte následující příkaz:

# cloud clean status
Cloud tier cleaning finished at 2016/08/01 20:54:43.

Algoritmus čištění cloudu:

Čištění cloudu použije stejný algoritmus čištění, jaký je nakonfigurovaný pro aktivní vrstvu. Systém DDOS 6.0 (a novější) má výchozí nastavení PPGC (Perfect Physical Garbage Collection), lze ho však změnit na PGC (Physical Garbage Collection) pomocí systémových parametrů.

Upozorňujeme, že fyzické uvolňování paměti byste neměli zakazovat, protože použití tradičního/úplného čisticího algoritmu k čištění cloudové jednotky může vést k panice nebo restartování systému DDFS.

Algoritmus používaný pro čištění cloudu se zobrazí v protokolech DDFS při spuštění čištění, tj.:

06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern: Algorithm selected: Physical Cleaning <=== PPGC or PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Algorithm selected: Full Cleaning <=== Traditional GC

Všimněte si, že z výše uvedeného výstupu není možné rozlišit mezi PPGC nebo PGC – konkrétní použitý algoritmus je zřejmý z obecného počtu fází spuštěných čištění:

Tradiční/úplný GC: 10 fází
PGC: 12 fází
PPGC: 6 fází

Pokud chcete získat další informace o změně algoritmu čištění používaného v systému, obraťte se na smluvního poskytovatele podpory

Rozdíly mezi fázemi kopírování čištění aktivní vrstvy a cloudu:

Fáze kopírování čištění je fáze, kdy dochází k fyzickému odstranění nadbytečných dat v zařízení DDR / opětovnému získání místa. Všimněte si, že existují rozdíly mezi tím, jak fáze kopírování funguje u aktivní a cloudové vrstvy:

Aktivní vrstva:

• Data zapsaná do aktivní vrstvy zařízení DDR jsou obsažena v kontejnerech o velikosti 4,5 MB.
• Ve výchozím nastavení bude kontejner považován za „kopii“ pouze v případě, že obsahuje <= 92 % „živých“ (tj. aktivně odkazovaných) dat
• Živá data se extrahují z kontejneru a zapíší do nového kontejneru (spolu s živými daty z jiných zkopírovaných kontejnerů) na konci systému souborů
• Indexy na disku se aktualizují tak, aby odrážely nový kontejner s živými daty
• Původní kontejner (obsahující živá i mrtvá data) se poté odstraní a uvolní místo na disku.

Cloudová vrstva:

• Data zapsaná do cloudové vrstvy zařízení DDR mají odlišnou strukturu – místo umístění do 4,5MB kontejnerů se do cloudové jednotky zapisují jednotlivé bloky dat (64kB komprimované oblasti) – POZNÁMKA: u verze DDOS 6.1.2.0 a novější se budou na cloudovou jednotku ukládat větší objekty, podrobnosti najdete v části Data Domain: Velké objekty pro cloudovou vrstvu.
• Namísto extrahování živých dat ze stávající komprimované oblasti a jejich kopírování dopředu bude čištění cloudu brát v úvahu pouze komprimované oblasti, které obsahují výhradně mrtvá data určená k odstranění.

Tento rozdíl je způsoben inherentními náklady na čtení/zápis velkého množství dat v cloudovém úložišti, ale znamená to, že cloudová jednotka by se mohla uměle zaplnit (tj. mohla by obsahovat velké množství komprimovaných oblastí, z nichž každá obsahuje velmi malé množství živých dat, což brání jejich odstranění).

Pokud tato situace nastane, je možné nastavit systémové parametry a vynutit si „defragmentační čištění“ cloudové jednotky – to zkopíruje živá data ze stávajících komprimovaných oblastí, aby se živá data konsolidovala v co nejmenším počtu oblastí, což umožní uvolnění místa.

Pro další informace o spuštění „defragmentačního čištění“ se obraťte na smluvního poskytovatele podpory.