Data Domain: Přehled fází čištění/uvolňování paměti pro systém souborů Data Domain (DDFS)

Systém souborů Data Domain (DDFS) se liší od mnoha běžných implementací systému souborů v tom, kdy je soubor odstraněn ze systému souborů, který tento soubor používá, není okamžitě k dispozici pro opakované použití. Důvodem je to, že úložiště data Domain Restore (DDR) okamžitě neví, zda jsou data, na která se odstraněný soubor odkazuje, také deduplikována podle jiných souborů, a proto je bezpečné je odstranit.

Čištění (někdy označované jako uvolňování paměti/GC) je proces, kterým společnost DDR:

• Určuje, která data na disku jsou nadsáhnout (na kterou již odkazují objekty, jako jsou soubory nebo snímky).
• Fyzicky odstraní nadbytečných dat, která jsou k dispozici pro opakované použití (např. v. o nových datech).

Čištění/uvolňování paměti je obvykle naplánováno na spouštění v pravidelných intervalech (ve výchozím nastavení začíná každé úterý) a může to být:

• S dlouhou dobou trvání
• Výpočetní náročnosti

Upozorňujeme však, že není k dispozici jinak než v rámci spouštění služby čištění nebo GC, při které mohou být data odebrána nebo fyzicky uvolněna v úložišti datového úložiště (tj. nejsou k dispozici žádní zástupci pro urychlení tohoto procesu).

V tomto článku jsou podrobněji popsány služby vymazání/GC, které jim vysvětlí:

• Fáze, které se obvykle spouští
• Různé čisté algoritmy použité v různých verzích DDOS

Žádný

Pokaždé, když provádíte čištění/uvolňování paměti, bude mít dva hlavní účely – nejprve musí na DDR nalézt na stručný přehled o tom, jak je to hotové, následující:

• Čištění/uvolňování paměti obsahuje výčet obsahu systému souborů DDFS, kde se vyhledávají objekty, jako jsou soubory, snímky a protokoly replikace, které v systému aktuálně existují.
• Poté určí všechny fyzické údaje na disku, na který se tyto objekty aktivně odkazují.
• Data, na která je odkazováno jako "Live" a která nelze z ní odstranit, jinak by objekty odkazující na tato data byly poškozeny (nebylo by již možné je přečíst, protože na disku již neexistují)
• Data, na která se neodkazují žádné objekty, jsou označována jako "mrtvé" a jsou nadpoloviční – tato data lze bezpečně vyjmout ze systému.
• Všechna data na DDR jsou zabalena do objektů s velikostí 4,5 MB, které jsou známy jako kontejnery.
• Pomocí výčtu Clean/GC lze určit, které kontejnery 4,5 MB obsahují nedoručitelná data a množství mrtvých dat v jednotlivých
• Ve výchozím nastavení bude čištění/uvolňování paměti označeno 4,5 MB, které uchovává > 8% mrtvých dat pro "zpracování".

V případě, že je to nutné, musí demontovat nedoručitelná data na DDR – stručné vysvětlení toho, jak je to hotové:

• Kontejnery vybrané ke zpracování jsou znovu kontrolovány, aby se ujistili, že jsou držiteli dobré velikosti mrtvých dat.
• Živá data jsou extrahována z těchto kontejnerů a zapsána do nových kontejnerů 4,5 MB na konci souborového systému.
• Jakmile se vyplní vybrané kontejnery (včetně mrtvých dat, které obsahují), odstraní se z disku, který fyzicky uvolňuje místo na disku.

Proces vyčištění je rozdělen do počtu "fází" s celkovým počtem fází závislým na:

• Verze DDOS se používá v DDR (ve výchozím nastavení se používá čistý algoritmus podle této verze aplikace DDOS).
• Konfigurace/obsah systému

Obecně platí, že postup nalezení "mrtvých" dat a výběr odpovídajících kontejnerů se uskuteční v několika fázích. vzhledem k tomu, že demontáž uhynulých dat proběhne v jedné fázi označované jako "kopie". Například určité verze aplikace DDOS by měly spouštět čisté fáze následujícím způsobem:

1. Předběžné vyčíslení – vypsat obsah systému souborů DDFS
2. Předběžné sloučení – provedení sloučení indexu DDFS, aby bylo zajištěno, že nejnovější kopie informací o indexu bude vyprázdněna na disk.
3. Předběžné filtrování – slouží k určení, zda jsou v systému souborů DDFS duplicitní data, a pokud ano, je-li to
4. Před výběrem-určete, které kontejnery 4,5 MB by měly být zpracovány "čistění".
5. Copy (kopírovat) – fyzicky extrahujte živá data z vybraných kontejnerů, zapište do nových kontejnerů a poté odstraňte vybrané kontejnery.
6. Souhrn – znovu sestavit souhrnné vektory (které se používají jako optimalizováno během přijímání nových dat).

V uvedeném příkladu se fáze 1-4 používají k určení, kde "mrtvá" data v DDR (dále jako "fáze výčtu" ve zbývající části dokumentu), a že fáze 5 (kopie) se používá k fyzickému odebrání těchto dat.

Upozorňujeme, že na systém nebude fyzicky uvolněn žádný prostor, dokud nezačnete čistit/GC do fáze kopírování. V důsledku toho může nastat významná prodleva mezi zahájením čistého spouštění a prostorem, který je třeba uvolnit (kvůli procesu vyčíslení, který musí být prvním úspěšně dokončen). Pro tyto systémy nemusíte mít možnost vyplňovat 100% plného rozsahu před spuštěním čištění/GC.

Fáze výčtu jsou obvykle nákladné z hlediska využití procesoru (tzn. jde o obecně vázáné PROCESORy) vzhledem k tomu, že fáze kopírování je nákladná z hlediska procesoru a I/O (tzn. obecně jde o PROCESORy a I/O). V souhrnu je však možné říci, že:

• Celková délka fází výčtu závisí na množství dat v DDR, která je třeba vyčíslit.
• Celková délka fáze kopírování závisí na množství mrtvých dat v rámci DDR, která je třeba odstranit a jak "fragmentovat", že data jsou na disku (viz dále níže).

Počet/funkce fází výčtu závisí na uvolňování DDOS, které se používá na DDR.

DDOS 5,4 (a starší) – plný čistý algoritmus: Spustí 6 nebo 10 fází (jak je uvedeno výše):

• Obsah systému souborů DDFS se sestavuje shora dolů (tzn. je to na střed souboru).
• DDFS zjistí všechny soubory, které v DDR existují, poté zkontroluje každý soubor a určí, na kterou data tento soubor odkazuje.
• To umožňuje vyčistit/GC a určit, která data na disku jsou "živá".

DDOS 5,5 (a vyšší) – fyzický čistý algoritmus (PGC): Spustí 7 nebo 12 fází:

• Obsah DDFS se vyčísluje zdola nahoru (tzn. již nekontroluje jednotlivé soubory)
• DDFS zjistí metadata systému souborů, která odkazují na fyzická data na disku a kontrolujte, zda metadata odkazují na údaje.
• To umožňuje vyčistit/GC a určit, která data na disku jsou "živá".
• To je dosahováno přídavkem fáze "rozboru" (je tedy nárůst počtu fází pomocí plného čistého algoritmu).
• Ve většině případů je však nutné, aby celková doba trvání fyzického čištění byla kratší než kompletní čištění stejného systému (navzdory setrvání více individuálních fází).

DDOS 6,0 (a vyšší) – ideální fyzický čistý algoritmus (PPGC):

• Toto je pouze optimalizace fyzického čistého algoritmu, která je popsána dále níže

Upozorňujeme, že DDOS se přepnul z plného čistého algoritmu do fyzického čistého algoritmu, aby se zlepšila škálovatelnost a výkon procesu vyčíslení – od nejvyšší možného počtu plného čistého algoritmu, který se v DDR nemění s:

• Vysoký počet malých souborů (jako kontextový přepínač při přechodu z výčtu jednoho souboru na další byl drahý/pomalý)
• Vysoká míra odstranění duplicit (jako několik souborů odkazujících na stejnou fyzickou data, takže se u nich u stejných dat několikrát nacházela)

DDR přepne z plného do fyzického čistého algoritmu automaticky při upgradu z DDOS 5,4 (nebo starší) na 5,5 (nebo novější). Jedinou výjimkou jsou systémy s rozšířeným uchováváním, které musí být před povolením fyzického čištění zkontrolován obsah systému souborů DDFS – diskuze o tomto procesu je mimo rozsah tohoto dokumentu. Tato kontrola se však spustí automaticky po upgradu a po dokončení této kontroly je povoleno fyzické čištění.

Podobně jako DDR přepínají z fyzického na dokonalý fyzický čistý algoritmus, když je upgradován z DDOS 5. x na 6,0 (nebo novější). Upozorňujeme, že ideální fyzický čistý algoritmus vyžaduje, aby byly indexy ve formátu ' index 2,0 ' předtím, než je lze použít. Pozor:

• Formát ' index 2,0 ' byl představen s DDOS 5,5 (takže se systémy souborů vytvořené v 5,5 nebo novějších již používají index 2,0)
• Systém souborů vytvořený na 5,4 nebo dříve měl nejdříve indexy ve formátu indexu 1,0. Po upgradu na DDOS 5,5 (nebo novější) se indexy převádějí na index. 2,0 převod formátu se odehrává vždy, když je to možné, pouze 1% indexů se během každého čištění přemění, takže může trvat až 2 roky (za předpokladu, že se týdenní čistá doba běhu) plně převedou indexy do formátu 2,0.

DDR, ve kterých je spuštěn DDOS 5,4 (nebo dříve), ale které byly následně inovovány na DDOS 5,5 (nebo novější), mohou být nuceni převést indexy na formát indexu 2,0 o jedno časové sestavení indexu. Upozorňujeme, že opakované sestavení indexu vyžaduje časové období, zatímco indexy jsou fyzicky rebudování – Tato operace obvykle trvá dokončení 2-8 hodin v závislosti na velikosti/množství dat v DDR. Chcete-li diskutovat o opakovaném sestavení indexu, obraťte se na svého poskytovatele podpory pro smlouvu.

Jak je uvedeno výše, nezávisle na použitém algoritmu Clean/GC může vyčistit vyžadovat proměnný počet fází – například úplný čistý algoritmus může vyžadovat 6 nebo 10 fází. Důvodem je to, že:

• Když je zahájeno DDFS, rezervuje pevně stanovené množství paměti, které bude používat vyčištění/GC.
• V rámci této paměti nástroj Vyčištění/GC vytváří datové struktury, které popisují výsledky výpočtu (tzn. kde existují živá a uhynulá data na disku).
• Pokud DDR obsahuje relativně malé množství dat, může být v této části paměti uveden celý obsah systému souborů DDFS.
• V mnohých systémech to však není možné a Tato paměť je vyčerpána před uvedením celého obsahu systému souborů DDFS.
• V důsledku toho tyto systémy provádějí "vzorkování", které zvyšují počet potřebných čistých fází.

Když se použije vzorkování Clean/GC, bude:

• Provedení vzorkovacího průchodu v rámci celého systému souborů – Upozorňujeme, že tento výčet není "dokončen" (tzn. nezaznamenává úplné informace o jednotlivých částech systému souborů, ale místo toho zaznamená informace pro jednotlivé části systému souborů)
• Pomocí těchto informací o vzorkování můžete určit, která část systému souborů DDFS bude mít největší užitek s čištěním nebo GCem v porovnání s ní (tzn. která část systému souborů vede k tomu, aby bylo možné co nejlépe se vracet, pokud bylo vyčištěno).
• Provede druhý úplný výčet z vybrané části systému souborů, jejíž obsah lze nyní plně popsat v paměti vyhrazené pro GC.

Možnost vzorkování je automaticky povolena během čištění nebo uvolňování paměti, pokud to však vyžaduje:

• Zvýšení počtu fází, které je třeba provést pomocí nástroje Vyčištění/GC
• Odpovídající nárůst celkové doby čištění/GC

Před DDOS 6,0 je většina DDR schopna provést vzorkování během čištění nebo uvolňování paměti (Pokud nedrží relativně malou sadu dat). Ideální fyzický čistý algoritmus však zahrnuje různé optimalizace, které snižují objem paměti potřebné funkcí vyčistit/GC při vytváření výčtu dat v systému souborů. To znamená, že mnoho systémů, které prováděly vzorkování během čištění nebo GC na DDOS 5. x již nebude vyžadovat vzorkování na DDOS 6,0, to proto snižuje počet fází prováděných čistým a způsobuje odpovídající snížení celkového času čistého spuštění (tzn. zlepšení čistého výkonu).

Nejsou k dispozici žádné informace o tom, jak přímo zjistit, že se systém přepnul z fyzického čistého algoritmu na ideální fyzický čistý algoritmus jiný než:

• Když systém provozuje fyzický nástroj Clean on DDOS 5,5-5,7 během čištění vykonává 12 fází.
• Po upgradu systému na DDOS 6,0 (nebo novější) provede během čištění pouze 7 fází.

Pokud je systém se systémem DDOS 6,0 stále potřeba provést vzorkování, bude automaticky povolen během čištění a během čištění se může vrátit zpět na 12 fází.

Bez ohledu na čistý algoritmus použitý ve fázi kopírování (v případě, kdy jsou uhynulá data fyzicky odstraněna ze systému) funguje podobně v rámci všech vydání. Výkon fáze kopírování je obvykle závislý na následujících:

• Množství "mrtvých" dat, která je třeba vyjmout.
• "Fragmentaci" těchto mrtvých dat (tzn. jejich rozprostření na více discích)

Jak je popsáno výše, je možné zkopírovat na bloky 4,5 MB, které uchovávají nedoručitelná data, extrahovat veškerá živá data z těchto kontejnerů a zasílat Tato živá data do nových kontejnerů a následně odstraňovat původně vybrané kontejnery. V následujících příkladech jsou popsány důvody, proč je fragmentace mrtvých dat důležitá:

Příklad 1:

• je vybráno 10 zásobníků ke kopírování (45Mb data celkem).
• Vše, pokud tyto kontejnery neuchovávají žádná živá data (tj. data, která držíte, jsou zcela neodkazovaná/uhynulá).
• V důsledku toho musí být tyto kontejnery označeny jako odstraněné, a to bez 45Mb fyzického prostoru na disku.

Příklad 2:

• pro kopírování (450Mb data celkem) jsou vybírány kontejnery 100.
• Každý z těchto kontejnerů obsahuje 90% Live data/10% mrtvého data.
• Chcete-li zpracovat tyto kontejnery, postupujte následovně:

Aby bylo možné provádět kopii popsanou v příkladu 2 v porovnání s tímto příkladem, musí být jasně vyšší množství vstupně-výstupních akcí a procesoru, a proto bude na disku v tomto příkladu výrazně delší fyzický prostor 45Mb.

Uživatelé obvykle nemají kontrolu nad "fragmentací" uhynulých dat na disku v DDR, protože to záleží na skříni použití/typu dat, která jsou zapsána v systému. Upozorňujeme, že vyčištění/uvolňování paměti uchovává statistiky, které pomáhají určit "fragmentaci" mrtvých dat, ke kterým došlo během fáze kopírování (v důsledku toho může uživatel určit, zda tato fragmentace bude vysvětlit potenciálně dlouho probíhající kopírovací fáze). Tyto statistiky z nejnovější fáze služby Clean and GC jsou shromažďovány v automatické podpoře. V následujícím příkladu je uvedena fáze kopírování, ve které se neuhynulá data poměrně sousedí (např. Většina kontejnerů vybraných pro kopírování převážně uhynulých dat):

procentuální podíl aktivních dat v kopírovaném umístění:              3,6% 4,3%

V následující části je uvedena fáze kopírování, ve které byla provedena defragmentace mrtvých dat (např. Většina kontejnerů vybraných pro kopírování převážně dynamických dat):

procentuální podíl aktivních dat v kopírovaném umístění:             70,9% 71,5%

Jak je popsáno výše, vyčištění/GC bude mít poměrně mnoho práce ve druhém scénáři a fyzické volné místo v DDR, které způsobí snížení propustnosti kopírovací fáze.

Propustnost fází kopírování může také negativně ovlivnit:

• Použití šifrování: Data může být potřeba dešifrovat nebo znovu šifrovat během kopírování, které výrazně zvýší množství potřebného procesoru.
• Použití optimalizace nízké šířky pásma: V kontejnerech mohou být během kopírování zapotřebí údaje "náčrtek", které také způsobují výrazné zvýšení množství potřebného procesoru.

Upozorňujeme, že pokud je optimalizace a/nebo šifrování s nízkou šířkou pásma nedávno povolena, může být nutné šifrovat všechny stávající kontejnery (bez ohledu na to, zda jsou vybrané pro kopírování nebo nikoliv), nebo mít v průběhu následného čištění tyto informace vytvořeny z náčrtu, což může způsobit, že operace vyčištění (konkrétně fáze kopírování) bude trvat delší dobu, než je běžná.

Další poznámky ohledně kontroly a změny čistého plánu a omezení jsou k dispozici v následujícím článku databáze znalostí: https://support.emc.com/kb/306100

Upozorňujeme, že:

• V normálních případech by mělo být čištění naplánováno tak, aby se spouštělo na maximum jednou týdně, což je často spuštěné, což může způsobit, že se data na disku stanou příliš fragmentován (to znamená špatnou oblast pracoviště), což může mít za následek nedostatečnou výkonnost při čtení/replikaci/přesouvání dat.
• Čistý omezovač nemá vliv na celkovou šířku pásma procesoru a propustnost I/O, které spotřebovává čištění, a to I v případě, že se jedná o způsob čištění, který se vztahuje k jinému pracovnímu zatížení systému. Například:

• Ve výchozím nastavení je funkce vyčištění omezovače nastavena na 50 – je odpovědností uživatele provádět čisté provozní zatížení s různým nastavením omezení, zatímco v průběhu řešení DDR dochází k určení nastavení omezení, které umožňuje:

• Upozorňujeme, že dlouhodobě čistý provoz nemusí nutně být problémem, dokud:

• Systém využívající rozšířené možnosti uchovávání informací by měl být nakonfigurován následovně:

• V části autosupports a Details (podrobnosti) jsou k dispozici úplné informace o nejnovější čisté operaci: