Data Domain: Jak vyřešit problémy s vysokým využitím místa nebo nedostatkem dostupné kapacity v zařízeních DDR (Data Domain Restorer)

 

• Jedná se o oblast disku, kam se ukládají nové soubory / data a kde zůstává většina souborů zařízení DDR, dokud klientská zálohovací aplikace neukončí jejich platnost nebo je neodstraní.
• V zařízeních DDR konfigurovaných s funkcí ER (Extended Retention) nebo LTR (Long Term Retentition) je možné pravidelně přesouvat data za účelem migrace starých souborů z aktivní vrstvy do archivní či cloudové vrstvy.
• Jediným způsobem, jak uvolnit místo v aktivní vrstvě, které zabírají odstraněné / migrované soubory, je spustit proces čištění / úlohu Garbage Collection.

• V aktivní vrstvě může být nedostatek volného místa, takže se zobrazí následující výstrahy / zprávy:

• Pokud je aktivní vrstva zaplněna ze 100 %, nebude možné do zařízení DDR zapsat žádná nová data, což může způsobit selhání zálohování / replikace – v takovém případě se mohou zobrazit například následující výstrahy / zprávy:

• Za určitých okolností může zaplnění místa v aktivní vrstvě způsobit přepnutí systému DDFS (Data Domain File System) do režimu pouze ke čtení, takže nebude možné odstranit stávající soubory.

• Vysvětlit, proč se může aktivní vrstva zaplnit.
• Popsat jednoduchou sadu kontrol, kterými lze určit příčinu vysokého využití aktivní vrstvy, a odpovídající nápravné kroky.

• Tento článek není vyčerpávající (tj. může dojít k určitým situacím, kdy se aktivní vrstva zařízení DDR zaplní / zaznamená vysoké využití z důvodu, který není v tomto dokumentu popsán). Předpokládá se však, že článek pokrývá většinu běžných problémů / příčin.
• Tento článek nepojednává o vysokém využití archivní a cloudové vrstvy.

  Aktivní vrstva DDR může z několika důvodů zaznamenat neočekávaně vyšší využití:

• U klienta nedochází ke správnému vypršení platnosti/odstranění záložních souborů/sady uložení z důvodu nesprávných zásad uchovávání nebo konfigurace záložní aplikace
• Kvůli zpoždění replikace se v aktivní vrstvě uchovává velké množství starých dat, která čekají na replikaci.
• Data, která se zapisují do aktivní vrstvy, mají neočekávaně nižší celkový poměr komprese
• Systém nebyl správně nadimenzován, tj. je zkrátka příliš malý na to, aby mohl pojmout množství dat, které se na něj pokouší uložit
• Zálohy se skládají z velkého počtu velmi malých souborů – tyto soubory zabírají mnohem více místa, než se po prvním zápisu očekává. Tento prostor by se však měl během čištění / úlohy Garbage Collection znovu uvolnit.
• V systémech konfigurovaných s funkcí ER / LTR nedochází k pravidelnému přesunu dat, kvůli čemuž staré soubory, které by měly být migrovány do archivní / cloudové vrstvy, zůstanou v aktivní vrstvě.
• Nedochází k pravidelnému spouštění čištění / úlohy Garbage Collection
• V zařízení DDR jsou přítomny staré snapshoty Mtree nebo velké množství snapshotů Mtree, které brání úloze čištění znovu uvolnit z prostoru odstraněné soubory / data

Krok 1 – Určete, zda je nutné spustit čištění aktivní vrstvy

Operační systém DDOS (Data Domain Operating System) se pokusí zachovat hodnotu čítače s názvem „Cleanable GiB“ pro aktivní vrstvu. Jedná se o odhad, kolik fyzického prostoru (post-comp) by mohlo být v aktivní vrstvě znovu uvolněno spuštěním čištění / úlohy Garbage Collection. Tento čítač lze zobrazit příkazy „filesys show space“ / „df“:
 
Pokud platí jedna z uvedených podmínek:

• Hodnota čítače „Cleanable GiB“ je velká
• Systém DDFS je zaplněn ze 100 % (a je tedy v režimu pouze pro čtení)

Než budete pokračovat v dalších krocích v tomto dokumentu, je třeba provést čištění a nechat jej dokončit. Chcete-li spustit čištění, použijte příkaz „filesys clean start“, tj.:
 
K potvrzení, že čištění bylo spuštěno podle očekávání, lze použít příkaz „filesys status“, tj.:
 
Pozor:

• Pokud nelze čištění spustit, požádejte o další pomoc smluvního poskytovatele podpory – příčinou může být chyba systému „missing segment error“.
• Pokud je čištění již spuštěno, při dalším pokusu o spuštění se zobrazí následující zpráva:

• Žádné místo v aktivní vrstvě nebude uvolněno, dokud čištění nedosáhne fáze kopírování (ve výchozím nastavení se jedná o fázi 9 v systému DDOS 5.4.x a starším a o fázi 11 v systému DDOS 5.5.x a novějším). Další informace o fázích čištění viz: https://support.emc.com/kb/446734
• Čištění nemusí znovu uvolnit místo označené čítačem „Cleanable GiB“, jelikož je tato hodnota v podstatě odhadem. Další informace o tomto tématu viz: https://support.emc.com/kb/485637
• Čištění nemusí během jednoho cyklu uvolnit veškerý potenciální prostor – v zařízeních DDR s velmi velkými datovými sadami bude čištění probíhat v části systému souborů s největším počtem přebytečných dat (tj. za účelem uvolnění co největšího prostoru během doby čištění). V některých případech může být nutné čištění spustit vícekrát, než se uvolní veškerý potenciální prostor.
• Pokud byla hodnota čítače „Cleanable GiB“ příliš velká, může to znamenat, že čištění nebylo spouštěno v pravidelných intervalech – zkontrolujte, že byl nastaven plán čištění:

Po dokončení čištění určete pomocí příkazů „filesys show space“ / „df“, zda byly problémy s využitím vyřešeny. Pokud je využití stále vysoké, pokračujte zbývajícími kroky v tomto článku.

Krok 2 – Zkontrolujte, zda oproti zdrojovým kontextům replikace dochází k velké prodlevě replikace

Nativní replikace systému Data Domain stojí na základě konceptu „kontextů replikace“. Například pokud je třeba replikovat data mezi systémy:

• Kontexty replikace se vytvářejí ve zdrojovém a cílovém zařízení DDR.
• Dojde k inicializaci kontextů.
• Po dokončení inicializace bude replikace pravidelně odesílat aktualizace/data Delta ze zdroje do cíle, aby zajistila synchronizaci dat v systémech.

Pokud se zdrojový kontext replikace zpožďuje, stará data mohou zůstat na disku zdrojového systému (prodleva kontextů replikace nemůže způsobit nadměrné využití v cílovém systému):

• Kontexty replikace adresářů (používají se při replikaci jednoho adresářového stromu z adresáře /data/col1/backup mezi systémy):

•  Kontexty replikace Mtree (používají se při replikaci libovolného fondu Mtree jiného než /data/col1/backup mezi systémy):

• Kontexty replikace sběru (používané při replikaci celého obsahu z jednoho zařízení DDR do jiného systému):

 Chcete-li zjistit, zda jsou kontexty replikace zpožděny, je třeba provést následující kroky:

• Určete název hostitele aktuálního systému:

• Určete datum a čas v aktuálním systému:

• Zobrazte seznam kontextů replikace konfigurovaných v systému s parametrem „synced as of time“. Upozorňujeme, že požadované kontexty jsou ty, kde parametr „destination“ NEOBSAHUJE název hostitele aktuálního systému (což znamená, že aktuální systém je zdrojem) a parametr „synced as of time“ je značně zastaralý:

Kontexty, pro které je současný systém zdrojem a které vykazují značnou prodlevu, nebo kontexty, které již nejsou vyžadovány, by měly být přerušeny. To lze provést spuštěním následujícího příkazu ve zdrojovém a cílovém systému:
 
Chcete-li například přerušit kontexty „Interesting“ uvedené výše, je třeba ve zdroji a cíli spustit následující příkazy:
 
Pozor:

• Po přerušení kontextů bude nutné provést čištění aktivní vrstvy, aby se v ní opět uvolnil potenciální prostor.
• Pokud po přerušení kontextů použijete replikaci Mtree, snapshoty replikace Mtree mohou zůstat na disku. Před spuštěním čištění proveďte krok 5 a ukončete platnost veškerých přebytečných snapshotů.
• Pokud je zdrojový / cílový fond Mtree konfigurován tak, aby migroval data do archivní, nebo cloudové vrstvy, postupujte při přerušování kontextů replikace Mtree opatrně, jelikož by tyto kontexty nemuselo být možné v budoucnu znovu vytvořit / inicializovat. Důvodem je to, že se po inicializaci kontextu replikace Mtree ve zdrojovém systému vytvoří snapshot Mtree, který obsahuje podrobnosti o všech souborech ve fondu Mtree (bez ohledu na vrstvu). Tento snapshot je poté zcela replikován do aktivní vrstvy cílového systému. Kvůli tomu nebude možné v případě, kdy aktivní vrstva cílového systému nemá dostatek volného místa pro příjem všech dat Mtree ze zdrojového systému, dokončit inicializaci. Další informace o tomto problému vám poskytne váš smluvní poskytovatel podpory.
• Pokud dojde k přerušení kontextu replikace sběru, kontext nebude možné znovu vytvořit/inicializovat bez předchozího zničení instance DDFS v cílovém zařízení DDR (a ztráty všech dat v tomto systému). V důsledku toho může následná inicializace trvat výrazně dlouhou dobu / zabrat výraznou šířku pásma sítě, jelikož všechna data ze zdroje musí být fyzicky znovu replikována do cílového systému.

Krok 3 – Vyhledejte fondy Mtree, které již nejsou potřeba

Obsah systému DDFS je logicky rozdělen do fondů Mtree. Je běžné, že jednotlivé zálohovací aplikace/klienti provádí zápisy do jednotlivých fondů Mtree. Pokud je zálohovací aplikace vyřazena z provozu, nebude již schopna zapisovat data do zařízení DDR nebo je z ní mazat, což může způsobit, že v systému zůstanou uchované staré či nadbytečné fondy Mtree. Data v těchto fondech Mtree budou i nadále existovat a zabírat místo na disku zařízení DDR. V důsledku toho by se měly odstranit veškeré takové nadbytečné fondy Mtree. Například:

• Získejte seznam fondů Mtree v systému:

• Všechny fondy Mtree, které již nejsou potřeba, byste měli odstranit pomocí příkazu „mtree delete“, tj.:

• Místo na disku, které odstraněný fond Mtree zabírá, se znovu uvolní při příštím spuštění čištění aktivní vrstvy / úlohy Garbage Collection.

Pozor:

• Před odstraněním fondů Mtree, které slouží jako cílové umístění pro replikaci Mtree (tj. ve výstupu seznamu Mtree mají stav RO/RD), by mělo nejdříve dojít k přerušení příslušných kontextů replikace.
• Fondy Mtree, které se používají jako logické úložné jednotky (LSU) DDBoost nebo fondy virtuální páskové knihovny (VTL), nemusí být možné odstranit pomocí příkazu „mtree delete“ – další podrobnosti o odstranění takových fondů Mtree naleznete v příručce správce systému Data Domain.
• Nelze odstranit fondy Mtree, které jsou konfigurované pro zajišťovací zámek (tj. mají stav RLCE nebo RLGE) – u jednotlivých souborů ve fondu Mtree je nutné zrušit zajišťovací zámek a odstranit fondy ručně – další podrobnosti naleznete v příručce správce systému Data Domain.

Krok 4 – Zkontrolujte staré / přebytečné snapshoty Mtree

Snapshot systému Data Domain představuje snapshot k určitému bodu v čase odpovídajícího fondu Mtree. V důsledku toho:

• Snapshot bude obsahovat informace o veškerých souborech, které existují ve fondu Mtree v době vytvoření snapshotu.
• Zatímco snapshot bude existovat i po odstranění / smazání těchto souborů, funkce čištění nebude moci znovu uvolnit fyzický prostor na disku, který soubory zabírají – data musí být v systému přítomná pro případ, že se někdo později pokusí získat přístup ke kopii souborů v snapshotu.

Chcete-li určit, zda některé fondy Mtree obsahují staré či nadbytečné snapshoty, je třeba provést následující kroky:

• Získejte seznam fondů Mtree v systému pomocí příkazu „mtree list“, jak je uvedeno v kroku 3.
• Získejte seznam stávajících snapshotů každého fondu Mtree pomocí příkazu „snapshot list“:

• V případě stávajících snapshotů použijte výstup z příkazu „snapshot list mtree [název fondu mtree]“ a určete snapshoty, které:

• Pokud příkaz „snapshot list“ spustíte znovu, tyto snapshoty se nyní zobrazí jako „expired“:

Pozor:

• Není možné určit, kolik fyzických dat jednotlivý snapshot nebo sada snapshotů uloží na disk – jediná hodnota ohledně prostoru spojená se snapshotem, je údaj o předem komprimované (logické) velikosti fondu Mtree z doby vytvoření snapshotu (jak je patrné ve výše uvedeném výstupu).
• Snapshoty s názvem „REPL-MTREE-AUTO-YYYY-MM-DD-HH-MM-SS“ jsou spravovány replikací Mtree a za normálních okolností by nemělo být nutné ručně ukončovat jejich platnost (pokud tyto snapshoty již nejsou potřeba, replikace ukončí jejich platnost automaticky). Pokud jsou takové snapshoty velmi staré, znamená to, že je odpovídající kontext replikace pravděpodobně velmi zpožděný (jak je popsáno v kroku 2).
• Po přerušení kontextu replikace Mtree tato replikace vytvoří snapshoty s názvem „REPL-MTREE-RESYNC-RESERVE-YYYY-MM-DD-HH-MM-SS“. Díky nim lze zabránit opětovné úplné synchronizaci dat replikace v případě, že později dojde k opětovnému vytvoření přerušeného kontextu (například pokud byl kontext přerušen kvůli chybě). Pokud se replikace znovu nevytvoří, lze platnost těchto kontextů ukončit ručně, jak je popsáno výše.
• Snapshoty s vypršenou platností budou v systému existovat až do příštího spuštění čištění / úlohy Garbage Collection – v tomto případě budou fyzicky odstraněny a smazány z výstupu příkazu „snapshot list mtree [název fondu mtree]“ – funkce čištění pak může znovu uvolnit jakékoli místo na disku, které tyto snapshoty zabíraly.

Krok 5 – Zkontrolujte, zda se v systému nenachází neočekávaný počet starých souborů

Výpisy automatické podpory ze zařízení DDR obsahují histogramy, které uvádí rozdělení souborů v zařízení DDR podle věku – například:
 
To se může hodit, pokud chcete určit, zda jsou v systému přítomny soubory, jejichž platnost ještě nevypršela nebo které nebyly odstraněny, jak zálohovací aplikace klienta očekávala. Pokud například zálohovací aplikace, u které byla maximální doba uchování pro jakýkoliv soubor nastavena na 6 měsíců, provedla zápis do výše uvedeného systému, je okamžitě zřejmé, že aplikace neukončuje platnost nebo neodstraňuje soubory podle očekávání, jelikož je v zařízení DDR k dispozici přibližně 80 000 souborů starších než 6 měsíců.

Upozorňujeme, že:

• Ukončování platnosti / odstraňování souborů má na starost zálohovací aplikace.
• Zařízení DDR nikdy automaticky neukončí platnost / neodstraní soubory – pokud mu zálohovací aplikace explicitně nenařídí odstranit soubor, bude soubor dál existovat v zařízení DDR a zabírat jeho místo.

Kvůli tomu by problémy, jako je tento, měl nejprve prozkoumat tým podpory dodavatele zálohovací aplikace.

V případě potřeby může podpora systému Data Domain poskytnout další reporty za účelem:

• Zadejte název / dobu úpravy všech souborů v zařízení DDR seřazených podle věku (aby bylo možné určit název / umístění jakýchkoli starých dat).
• Rozdělte histogramy stáří souborů do samostatných reportů pro aktivní / archivní / cloudovou vrstvu (kde je povolena funkce ER / LTR).

Postup:

• Shromážděte důkazy podle popisu v odstavci „Shromažďování sfs_dump“ v části Poznámky tohoto dokumentu.
• Otevřete požadavek na servisní službu u smluvního poskytovatele podpory.

Po odstranění starých / přebytečných souborů bude nutné spustit čištění / úlohu Garbage Collection aktivní vrstvy, aby se znovu uvolnil fyzický prostor v aktivní vrstvě.

Krok 6 – Vyhledejte zálohy, které obsahují velký počet malých souborů

Kvůli návrhu systému DDFS mohou malé soubory (v podstatě jakýkoli soubor menší než přibližně 10 Mb) při prvním zápisu do zařízení DDR zabírat nadměrné místo. Může za to architektura „SISL“ (Stream Informed Segment Layout), která způsobuje, že malé soubory zabírají více samostatných 4,5Mb bloků místa na disku. Například 4Kb soubor může při prvotním zápisu zabrat na fyzickém disku až 9 Mb místa.

Toto nadměrné množství prostoru se následně znovu uvolní po spuštění čištění / úlohy Garbage Collection (data z malých souborů se totiž poté seskupí do menšího počtu 4,5Mb bloků), nicméně se může stát, že menší modely zařízení DDR budou při spuštění takových záloh vykazovat nadměrné využití a zaplnění.

Výpisy automatické podpory obsahují histogramy souborů rozdělených podle velikosti, například:
 
Pokud je patrný důkaz o tom, že zálohování provádí zápis velkého počtu malých souborů, systém se mezi jednotlivými cykly čištění / úlohy Garbage Collection může potýkat s významným dočasným zvýšením využití. V této situaci je vhodnější změnit metodologii zálohování tak, aby se všechny malé soubory před zápisem do zařízení DDR zahrnuly do jednoho většího archivu (například do souboru tar). Upozorňujeme, že žádný takový archiv by neměl být komprimován ani šifrován (to by poškodilo poměr komprese a deduplikace těchto dat).

Krok 7 – Zkontrolujte, zda je poměr deduplikace nižší, než se očekávalo

Hlavním účelem zařízení DDR je deduplikovat a komprimovat přijímaná data. Poměr deduplikace a komprese velmi závisí na použití systému a typu dat, které obsahuje, avšak v mnoha případech bude platit „očekávaný“ celkový poměr komprese založený na výsledcích získaných prostřednictvím testování konceptů apod. K určení aktuálního celkového poměru komprese systému (a tedy toho, zda splňuje očekávání) lze použít příkaz „filesys show compression. Například:
 
Ve výše uvedeném příkladu systém dosahuje v aktivní vrstvě celkového poměru komprese 65,3x (což je velmi dobré). Pokud však tato hodnota ukazuje, že celkový poměr komprese nesplňuje daná očekávání, bude pravděpodobně nutné další šetření. Upozorňujeme, že zkoumání poměru komprese, který je neočekávaně nižší, je komplexní situace, která může mít mnoho hlavních příčin. Další informace o tomto zkoumání najdete v následujícím článku: https://support.emc.com/kb/487055

Krok 8 – Zkontrolujte, zda systém slouží jako zdroj pro replikaci sběru

Pokud používáte replikaci sběru, když je zdrojový systém fyzicky větší než cílový systém, bude velikost zdrojového systému uměle omezena tak, aby odpovídala velikosti cílového systému (tj. část disku zdrojového systému bude označena jako nepoužitelná). Důvodem je to, že při použití replikace sběru musí být cílový systém kopií zdrojového systému na úrovni bloků. Pokud je však zdrojový systém fyzicky větší než cílový systém, může se do zdrojového systému zapsat nadměrné množství dat, které pak není možné replikovat do cílového systému (protože je již zaplněný). Této situaci se lze vyhnout omezením velikosti zdrojového systému tak, aby odpovídala velikosti cílového systému.

• Pomocí příkazů z kroku 2 zkontrolujte, zda je systém slouží jako zdroj pro replikaci sběru. Spusťte tedy příkaz „replication status“ a zjistěte, zda nějaký kontext replikace začíná na „col://“ (což značí replikaci kolekce) a v cílovém systému NEOBSAHUJE název hostitele místního systému (což znamená, že tento systém musí být zdrojem kontextu replikace).
• Pokud je systém zdrojem pro replikaci sběru, zkontrolujte velikost aktivní vrstvy obou systémů tak, že se k nim přihlásíte a spustíte příkaz „filesys show space“ – porovnejte u obou velikost „post-comp“.
• Pokud je zdrojový systém výrazně větší než cílový systém, pak bude velikost jeho aktivní vrstvy uměle omezena.
• Chcete-li umožnit využití veškerého místa ve zdrojovém systému pro data, je třeba provést následující kroky:

Krok 9 – Zkontrolujte, zda pravidelně probíhá přesun dat

Pokud je zařízení DDR konfigurováno s funkcí ER (Extended Retention), nebo LTR (Long Term Retention), bude k němu připojena druhá vrstva úložiště (archivní vrstva v případě funkce ER nebo cloudová vrstva v případě funkce LTR). V této situaci jsou zásady pro přesun dat pravděpodobně konfigurovány s fondy Mtree, aby bylo možné migrovat starší / neupravená data vyžadující dlouhodobé uchování z aktivní vrstvy do alternativní vrstvy úložiště, takže prostor zaplněný těmito soubory v aktivní vrstvě může být fyzicky znovu uvolněn pomocí čištění / úlohy Garbage Collection. Pokud jsou zásady pro přesun dat konfigurovány nesprávně nebo pokud proces přesunu dat neprobíhá pravidelně, stará data zůstanou v aktivní vrstvě déle, než se očekávalo, a budou nadále zaplňovat fyzické místo na disku.

• Nejprve ověřte, zda je systém konfigurován pro funkci ER nebo LTR. Spusťte tedy příkaz „filesys show space“ a pokuste se najít archivní či cloudovou vrstvu – upozorňujeme, že aby bylo možné tyto alternativní vrstvy úložiště používat, musí mít velikost „post-comp“ > 0 GB:

• Pokud je systém konfigurován s funkcí ER, nebo LTR, zkontrolujte, zda zásady pro přesun dat u fondů Mtree odpovídají očekávání, a nastavte je tak, aby se stará data přesunula do alternativní vrstvy úložiště:

• Pokud je systém nakonfigurován s funkcí ER nebo LTR, zkontrolujte, zda je přesun dat naplánován v pravidelných intervalech, aby bylo možné fyzicky migrovat soubory / data z aktivní vrstvy do alternativního úložiště:

• Pokud je systém konfigurován s funkcí ER nebo LTR, zkontrolujte, kdy proběhl poslední přesun dat:

• Po dokončení přesunu dat by se mělo spustit čištění aktivní vrstvy (upozorňujeme, že se po dokončení přesunu dat může spustit automaticky), aby se fyzicky uvolnil prostor v aktivní vrstvě využívaný migrovanými soubory:

Krok 10 – Přidejte do aktivní vrstvy další úložiště

Pokud jste provedli všechny předchozí kroky, cyklus čištění aktivní vrstvy se dokončí, ale v aktivní vrstvě je stále nedostatek volného místa, je pravděpodobné, že systém nebyl správně nadimenzován pro dané pracovní zatížení. V tomto případě je třeba provést jeden z následujících kroků:

• Snižte pracovní zatížení systému – například:

• Přidejte do aktivní vrstvy systému další úložiště a rozšiřte jeho velikost:

Podpora systému Data Domain může generovat řadu reportů například s následujícími informacemi:

• Seznam všech souborů v určité vrstvě (tj. aktivní / archivní / cloudová) seřazených podle stáří
• Odhadovaný poměr velikosti a komprese podle fondu Mtree/hlavního adresářového stromu
• Seznam všech souborů v určitém fondu Mtree seřazených podle stáří
• atd.

K tomu je nutné shromáždit následující informace:

• Nový balíček podpory ze zařízení DDR – další informace viz následující odkaz:https://support.emc.com/kb/323283.
• Výstup „sfs_dump“ nebo „sfs_dump -c“:

• Report o umístění souboru (požadováno, pokud je systém nakonfigurován s funkcí ER nebo LTR):

Pokud potřebujete pomoc se sběrem výše uvedených položek nebo s jakýmkoli krokem v tomto archivu, obraťte se na smluvního poskytovatele podpory.