Data Domain: Wprowadzenie do retencji długoterminowej /czyszczenia warstwy chmury/odśmiecania pamięci w Data Domain Restorers (DDR)

Data Domain Operating System (DDOS) 6.0 wprowadza nową funkcję znaną jako retencja w chmurze lub retencja długoterminowa (LTR). Ta funkcja pozwala na dodanie drugiej warstwy obiektowej pamięci masowej dostarczanej przez dostawcę chmury do niektórych modeli Data Domain Restorer (DDR) z powiązaną licencją CLOUD_CAPACITY.

W systemach wykorzystujących LTR pliki przyjmowane przez DDR są początkowo zapisywane w aktywnej warstwie (lokalnie dołączonej pamięci masowej). Zasady przenoszenia danych/progi wiekowe są następnie konfigurowane na podstawie mtree, tak aby niektóre pliki wymagające długoterminowego przechowywania były później migrowane z warstwy aktywnej do warstwy chmury przez proces przenoszenia danych (regularnie zaplanowane zadanie).

Pliki w warstwie chmury można usuwać w normalny sposób, jednak powiązane miejsce w chmurze/pamięci masowej obiektu nie jest natychmiast odzyskiwane do użytku. Aby usunąć zbędne dane z chmury, należy wyczyścić warstwę chmury.

Struktura warstwy chmury:

Poziom chmury jest podzielony na „jednostki chmury”. Uwaga:

• Warstwa chmury może zawierać maksymalnie dwie jednostki chmury
• Każda jednostka chmury może być tak duża jak maksymalny obsługiwany rozmiar aktywnej warstwy dla danego modelu DDR
• Każda jednostka chmury może być dostarczona przez innego dostawcę obiektowej pamięci masowej

Na przykład:

# lista jednostek chmury
Status profilu nazwy
----------------------- ------------ ------
B-unit LTR-ECS-Ben Active <== Dostawca ECS
cloud-unit-virtustream1 virtustream1 Aktywny <== Dostawca Virtustream
----------------------- ------------ ------

Podstawowe koncepcje czyszczenia chmury:

• Czyszczenie chmury działa tylko na pojedynczej jednostce chmury podczas każdego uruchomienia — aby określić czyszczoną jednostkę chmury, w dziennikach DDFS (/ddr/var/log/debug/ddfs.info) można znaleźć następujący komunikat — w tym przypadku czyszczona jest jednostka chmury cloud-unit-virtustream1:

• Jeśli w systemie skonfigurowano wiele jednostek chmury, funkcja czyszczenia w chmurze będzie czyścić te jednostki w systemie round robin, próbując wyczyścić pojedynczą jednostkę za każdym razem, gdy funkcja czyszczenia w chmurze zostanie uruchomiona.
• Cloud Clean można uruchomić ręcznie lub automatycznie za pomocą harmonogramu — aby uruchomić ręcznie, należy użyć następującego polecenia:

• Czyszczenie warstwy aktywnej i czyszczenie w chmurze nie mogą być uruchamiane równolegle (ponieważ obie używają tych samych struktur pamięci w DDFS)
• Jeśli czyszczenie warstwy aktywnej jest uruchomione (uruchomione ręcznie lub za pośrednictwem harmonogramu) i zostanie podjęta próba uruchomienia czyszczenia w chmurze, wystąpi błąd, tj:

• Jeśli czyszczenie w chmurze zostało uruchomione automatycznie (tj. za pośrednictwem harmonogramu) i uruchomione zostanie czyszczenie aktywnej warstwy, czyszczenie jednostki chmury zostanie przerwane, aby umożliwić uruchomienie czyszczenia aktywnej warstwy. Wskazują na to następujące informacje w dziennikach DDFS::

• Jeśli czyszczenie chmury zostało uruchomione ręcznie i zostanie podjęta próba uruchomienia warstwy aktywnej, czyszczenie warstwy aktywnej nie zostanie uruchomione — czyszczenie w chmurze zostanie przeprowadzone do końca, tj:

• Aby można było rozpocząć czyszczenie w chmurze, w jednostce chmury musi wystąpić co najmniej 1% „rotacji” danych (tj. >= 1% danych znajdujących się obecnie w jednostce chmury musi zostać uznanych za zbędne, a zatem możliwe do usunięcia). Jeśli tak nie jest, po ręcznym uruchomieniu czyszczenia w chmurze w wierszu polecenia zostanie wyświetlony następujący komunikat:

• Jeśli system zawiera dwie jednostki chmury, a zaplanowane czyszczenie w pierwszej jednostce nie powiedzie się z jakiegoś powodu (na przykład niewystarczająca rotacja), czyszczenie automatycznie spróbuje uruchomić się na drugiej jednostce (tj. nie ma wymogu oczekiwania na następne zaplanowane uruchomienie czyszczenia w chmurze, aby druga jednostka została wyczyszczona).
• Czyszczenie w chmurze może być dławione (podobnie jak czyszczenie warstwy aktywnej), aby określić, jakie działania należy podjąć, gdy system jest pod znacznym innym obciążeniem (np. pozyskiwanie/odtwarzanie/replikacja).

Planowanie czyszczenia w chmurze:

W systemie DDOS 6.0 i nowszych sposób, w jaki aktywne czyszczenie warstwy jest zaplanowane, nie zmienił się — domyślnie aktywne czyszczenie warstwy jest zaplanowane na uruchamianie raz w tygodniu o 6:00 we wtorek, tj.

# filesys clean show schedule
CFilesystem cleaning is scheduled to run "Tue" at "0600".

Czyszczenie w chmurze jest domyślnie zaplanowane do uruchomienia po każdym 4 wywołaniu zaplanowanego czyszczenia warstwy aktywnej. Aby wyświetlić harmonogram czyszczenia w chmurze, należy użyć następującego polecenia:

# cloud clean frequency show
Cloud tier cleaning frequency is set to run after every 4 active tier cleaning cycles.

W rezultacie w systemie z domyślną konfiguracją czyszczenie w chmurze będzie uruchamiane co 4 tygodnie — jeśli system ma dwie jednostki chmury, każda jednostka będzie czyszczona raz na 8 tygodni.

Aby zmienić częstotliwość czyszczenia w chmurze, można użyć następującego polecenia:

# cloud clean frequency set 2
Cloud tier cleaning frequency is set to run after every 2 active tier cleaning cycles.

Aby zresetować częstotliwość czyszczenia w chmurze do domyślnego harmonogramu co 4 aktywne cykle czyszczenia warstwy, można użyć następującego polecenia:

# cloud clean frequency reset
Cloud tier cleaning frequency is reset to default (every 4 active tier cleaning cycles).

Uwaga: harmonogram czyszczenia w chmurze nie obejmuje ręcznie uruchamianych aktywnych cykli czyszczenia warstwy. W rezultacie, w powyższym systemie, nawet jeśli aktywne czyszczenie warstwy byłoby uruchamiane ręcznie każdego dnia, czyszczenie warstwy chmury uruchamiałoby się tylko raz na 4 tygodnie.

Możliwe jest również całkowite wyłączenie zaplanowanego czyszczenia w chmurze za pomocą następującego polecenia:

# cloud clean frequency set never
Cloud tier cleaning frequency is set to "never".

W tym przypadku czyszczenie w chmurze będzie uruchamiane tylko wtedy, gdy zostanie uruchomione ręcznie.

Aby zatrzymać aktualnie uruchomione czyszczenie w chmurze, można użyć następującego polecenia:

# cloud clean stop

Aby określić, kiedy ostatnio uruchomiono czyszczenie w chmurze, można użyć następującego polecenia:

# cloud clean status
CCloud tier cleaning finished at 2016/08/01 20:54:43.

Algorytm czyszczenia w chmurze:

Czyszczenie w chmurze będzie używać tego samego algorytmu czyszczenia, który został skonfigurowany dla aktywnej warstwy. W systemie DDOS 6.0 (i nowszych) domyślnie jest to doskonałe fizyczne odśmiecanie pamięci (PPGC), jednak można to zmienić na fizyczne odśmiecanie pamięci (PGC) za pomocą parametrów systemowych.

Nie należy wyłączać fizycznego odśmiecania pamięci, ponieważ użycie tradycyjnego/pełnego algorytmu czyszczenia do wyczyszczenia jednostki chmury może spowodować panikę/restart DDFS

Algorytm używany do czyszczenia w chmurze jest wyświetlany w dziennikach DDFS po uruchomieniu czyszczenia, tj.np:

06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern:. Algorithm selected: Physical Cleaning <=== PPGC or PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Algorithm selected: Full Cleaning <=== Traditional GC

Zauważ, że z powyższych danych wyjściowych nie jest możliwe rozróżnienie pomiędzy PPGC lub PGC — konkretny algorytm jest widoczny ze względu na liczbę faz uruchamianych przez clean — ogólnie:

Tradycyjne/pełne GC: 10 faz
PGC: 12 faz
PPGC: 6 faz

W celu uzyskania dalszych informacji na temat zmiany algorytmu czyszczenia używanego w systemie skontaktuj się z zakontraktowanym dostawcą pomocy technicznej

Różnice między fazami kopiowania aktywnego czyszczenia i czyszczenia w chmurze:

Faza kopiowania czyszczenia jest fazą, w której nadmiarowe dane na DDR są fizycznie usuwane/przestrzeń jest odzyskiwana. Należy pamiętać, że istnieją różnice między działaniem fazy kopiowania w warstwie aktywnej i w chmurze:

Warstwa aktywna:

• Dane zapisywane w aktywnej warstwie pamięci DDR mieszczą się w kontenerach o pojemności 4,5 MB.
• Domyślnie kontener będzie brany pod uwagę do „kopiowania” przez czyszczenie tylko wtedy, gdy zawiera <= 92% „aktywnych” (tj. aktywnie przywoływanych) danych.
• Dane na żywo zostaną wyodrębnione z kontenera i zapisane w nowym kontenerze (wraz z danymi na żywo z innych skopiowanych kontenerów) na końcu systemu plików
• Indeksy na dysku są aktualizowane w celu odzwierciedlenia nowego kontenera przechowującego dane na żywo.
• Oryginalny kontener (przechowujący zarówno aktywne, jak i martwe dane) jest następnie usuwany, a podstawowa przestrzeń dyskowa jest udostępniana do użytku

Poziom w chmurze:

• Dane zapisywane w warstwie chmury DDR mają inną strukturę — zamiast umieszczania w kontenerach 4,5 Mb do jednostki chmury zapisywane są pojedyncze fragmenty danych (regiony kompresji 64 Kb) (UWAGA: w przypadku systemu DDOS 6.1.2.0 i nowszych obiekty przechowywane w jednostce chmury będą większe, patrz Domena danych:. Duży rozmiar obiektu dla warstwy chmury, jeśli chodzi o szczegóły)
• Zamiast wyodrębniać aktywne dane z istniejącego regionu kompresji i kopiować je do przodu, czyszczenie w chmurze weźmie pod uwagę tylko te regiony kompresji, które zawierają wyłącznie martwe dane do usunięcia

Różnica ta wynika z nieodłącznego kosztu związanego z odczytywaniem/zapisywaniem dużej ilości danych w pamięci masowej w chmurze, jednak oznacza to, że jednostka chmury może zostać sztucznie zapełniona (tj. zawierać dużą liczbę regionów kompresji, z których każdy zawiera bardzo małą ilość aktywnych danych, co uniemożliwia ich usunięcie).

Jeśli taka sytuacja wystąpi, możliwe jest ustawienie parametrów systemowych wymuszających „czyszczenie defragmentacyjne” jednostki chmury — spowoduje to skopiowanie do przodu aktywnych danych z istniejących regionów kompresji w celu skonsolidowania aktywnych danych w jak najmniejszej liczbie regionów kompresji, co pozwoli na zwolnienie miejsca.

W celu uzyskania dalszych informacji na temat uruchamiania „czyszczenia defragmentacyjnego” prosimy o kontakt z zakontraktowanym dostawcą pomocy technicznej.