Data Domain: Przegląd faz czyszczenia/pamięci DDFS (GC) Data Domain File System (GC)

System plików Data Domain (DDFS) jest inny niż w przypadku wielu popularnych implementacji systemu plików, ponieważ usunięcie pliku z przestrzeni systemowej, w której plik jest używany, nie jest natychmiast dostępny do ponownego użycia. Powodem takiego problemu jest fakt, że dane, do których odwołuje się usunięty plik, nie są od razu powielone, ponieważ dane, do których dana DDR kopia została odwołana, są również całkowicie zduplikowane przez inne pliki, a zatem można bezpiecznie usunąć te dane.

Oczyszczanie (czasami nazywane wygromadzeniem śmieci/GC) jest procesem, za pomocą którego DDR:

• Umożliwia określenie, które dane na dysku są zbędne (tzn. nie są już odwołujące się do nich obiekty, np. pliki lub migawki).
• Fizyczne usunięcie zbędnych danych z niepotrzebnej pamięci dyskowej jest dostępne do ponownego użycia (tzn. spożywane są nowe dane)

Zazwyczaj harmonogram czysty/GC jest zaplanowany do pracy w regularnych odstępach czasu (domyślnie trwa on 6am w każdy wtorek).

• Długo działa
• Obliczanie kosztowne

Należy pamiętać, że nie jest to jednak możliwe, ponieważ nie jest wykonywane żadne działanie czyste/GC, w którym można wyjmować dane i zwolnić miejsce na dysku fizycznym w magazynie danych (tzn. nie ma skrótów umożliwiających przyspieszenie tego procesu).

Ten artykuł opisuje bardziej szczegółowe informacje o czystej/GC wyjaśniającej:

• Etapy czystej pracy
• Różne czyste algorytmy stosowane w różnych wersjach DDOS

Brak

Za każdym razem, gdy jest uruchamiany system czysty/GC, w obu przypadkach musi znajdować się niepotrzebne dane na DDR-krótki przegląd informacji na temat sposobu wykonywania tej czynności:

• Czysty/GC Wyliczenie zawartości systemu plików DDFS szuka obiektów, takich jak pliki, migawki i dzienniki replikacji, które znajdują się obecnie w systemie.
• Następnie określa wszystkie fizyczne dane na dysku, do którego wszystkie są przywoływane przez te obiekty.
• Dane, które są aktywnie wywoływane, są uznawane za "żywe" i nie można ich usunąć z DDR w przeciwnym razie obiekty odwołujące się do tych danych byłyby uszkodzone (nie mogą być już odczytywane, ponieważ dane źródłowe, od których są zależne, nie będą już istniały na dysku).
• Dane, które nie są aktywnie przywoływane przez jakikolwiek obiekt, są uznawane za martwe i są zbędne. dane te można bezpiecznie wyjąć z systemu.
• Wszystkie dane w DDR są pakowane w obiekty o wielkości od 4,5 MB do wielkości nazywane są kontenerami
• Za pomocą wyliczenia czyste/GC można ustalić, które kontenery 4,5 MB przechowują martwe dane i ilość nieaktywnych danych w poszczególnych
• Domyślnie w czyszczeniu/GC wybrane są kontenery o mocy 4,5 MB > 8% nieaktywnych danych dla "Processing"

Po drugie, należy usunąć martwe dane z DDR-krótkie wyjaśnienie, w jaki sposób wykonuje się to w następujący sposób:

• Pojemniki wybrane do przetwarzania zostaną ponownie sprawdzone, aby upewnić się, że przechowują dobrą ilość martwych danych.
• Dane na żywo są wydobywane z tych pojemników i zapisywane w nowych kontenerach 4,5 MB na końcu systemu plików
• Po wykonaniu tej opcji Wszystkie kontenery (w tym martwe dane, które znajdują się w nich) zostaną usunięte z dysku. zwolniona ilość miejsca na dysku

Proces czyszczenia jest podzielony na liczbę "faz" z całkowitą liczbą faz zależnych od:

• Używana wersja programu DDOS na DDR (z tego względu czysty, domyślnie używany algorytm, wersja DDOS)
• Konfiguracja/zawartość systemu

Ogólnie, jednak proces odłączania danych "martwych" i selekcji odpowiadających pojemników odbywa się na kilku etapach, podczas gdy usuwanie martwych danych odbywa się w jednej fazie zwanej "kopią". Na przykład niektóre wersje DDOS będą uruchamiać czyste etapy w następujący sposób:

1. Wstępne Wyliczenie — Wyliczenie zawartości systemu plików DDFS
2. Przed scaleniem — wykonaj DDFS indeksu scalonego, aby upewnić się, że najnowsza kopia informacji o indeksie jest opróżniona na dysk.
3. Przed filtrowaniem-Sprawdź, czy w systemie plików DDFS są zduplikowane dane i jeśli tak, to
4. Pre-Select (wybór wstępny) — Określ, które pojemniki 4,5 MB mają być przetwarzane przez oczyszczenie
5. Copy-fizycznie Wyodrębnij dane z wybranych kontenerów, Zapisz je w nowych kontenerach, a następnie Usuń wybrane kontenery
6. Podsumowanie – rekonstrukcja wektorów zbiorczych (które są wykorzystywane do optymalizacji podczas spożycia nowych danych)

W powyższym przykładzie etapy 1-4 są używane do określenia, w którym miejscu znajdują się dane "martwe" w DDR (zwanych "fazami wyliczenia" w pozostałej części niniejszego dokumentu). do fizycznego usunięcia tych danych jest używane faza 5 (Copy).

Pamiętaj, że w systemie nie będzie można fizycznie uwolnić wolnej przestrzeni do momentu, aż zostanie wyczyszczona faza kopiowania. Ze względu na to, że może to doprowadzić do znacznego opóźnienia między rozpoczęciem czystego i wolnym miejscem do wydzielenia (z powodu procesu wyliczania, z którego pierwszym przeprowadzeniem pracy). W związku z tym systemy nie należy wypełniać 100% miejsca przed rozpoczęciem czyszczenia/GC.

Etapy wyliczania są kosztowne w ujęciu poziomym wykorzystania procesora (tzn. są one zazwyczaj powiązane z PROCESORAmi). faza kopiowania jest kosztowna zarówno w przypadku procesora, jak i wejścia/wyjścia (tzn. zazwyczaj są to zasoby procesora i wejścia/wyjścia). Podsumowując, można jednak powiedzieć, że:

• Łączna długość etapów wyliczenia zależy od ilości danych na DDR, które należy wyliczyć.
• Łączna długość fazy kopiowania zależy od ilości nieużywanych danych na DDR, które należy usunąć, oraz sposobu "fragmentacji" danych na dysku (dokładniej omówionej poniżej).

Liczba/funkcja wyliczanych faz zależy od uwalniania DDOS używanych w DDR.

DDOS 5,4 (i starszy) — całkowicie czysty algorytm: Działa 6 lub 10 faz (jak pokazano powyżej):

• Zawartość systemu plików DDFS jest wyliczana w dół (tzn. jest to urządzenie zorientowane na pliki).
• DDFS wykrywa wszystkie pliki, które znajdują się w DDR następnie skanuje każdy plik w celu określenia danych, do których odwołuje się dany plik.
• Umożliwia to czyszczenie i GC określanie danych na dysku "Live".

DDOS 5,5 (i nowsze) — fizyczny czysty algorytm (PGC): Działa 7 lub 12 faz:

• Zawartość DDFS jest wyliczana w dół (tzn. nie skanuje pojedynczych plików).
• DDFS wykrywa metadane systemu plików, które odwołują się do danych fizycznych na dysku i skanują je w celu określenia danych, do których odwołania znajdują się
• Umożliwia to czyszczenie i GC określanie danych na dysku "Live".
• Jest to osiągnięte przez dodanie fazy "Analysis" (z tego względu zwiększenie liczby faz w stosunku do pełnego czystego algorytmu).
• W większości przypadków jednak całkowity czas jego czyszczenia musi być krótszy niż całkowicie czysty do tego samego systemu (pomimo tego, że będzie miał więcej różnych faz).

DDOS 6,0 (i nowsze)-doskonała, nieidealny, fizyczny algorytm czyszczenia (PPGC):

• Jest to Optymalizacja do fizycznego algorytmu czystego algorytmu i omówiona poniżej

Zauważ, że DDOS przełączono z pełnym czystym algorytmem do fizycznego algorytmu czyszczenia, aby poprawić skalowalność/wydajność procesu wyliczania-z powodu górnego charakteru pełnego czystego algorytmu, którego nie skaluje się dobrze w przypadku danych DDR, przy czym:

• Duża liczba małych plików (jako przełącznik kontekstu podczas przenoszenia z jednego pliku do drugiego, co może być droższe/wolniejsze)
• Wysoko wysoki współczynnik deduplikacji (jako wiele plików, do których przywoływano te same dane fizyczne, tak aby te same dane były wyliczane wielokrotnie)

W przypadku aktualizacji z DDOS 5,4 (lub wcześniejszych) do 5,5 (lub nowszej) automatycznie przełączenie DDR na fizyczne czyste algorytmy DDR. Jedynym wyjątkiem jest to, że system jest skonfigurowany z rozszerzonym utrzymaniem, w którym zawartość systemu plików DDFS musi być sprawdzona w celu wyszukania plików "", zanim będzie można włączyć fizyczne oczyszczenie — dyskusja na temat tego procesu wykracza poza zakres tego dokumentu. jednak kontrola ta będzie uruchamiana automatycznie po wykonaniu aktualizacji i przy zakończeniu sprawdzania, a nie jest wymagane wykonanie żadnych czynności.

Podobne odłączenie DDR umożliwia automatyczne usuwanie fizycznych algorytmów fizycznych, kiedy są uaktualniane z DDOS 5. x do 6,0 (lub nowsze). Należy jednak pamiętać, że idealny fizyczny algorytm czyszczenia wymaga obecności indeksów w formacie "index 2,0", zanim będzie można go używać. Uwaga:

• Format "index 2,0" został wprowadzony z DDOS 5,5 (wszystkie systemy plików utworzone w dniu 5,5 lub nowszym będą już używać indeksu 2,0).
• System plików utworzony w dniu 5,4 lub starszym początkowo miał indeksy w formacie indeksu 1,0. Po podłączeniu do DDOS 5,5 (lub nowszego) indeksy zostaną przekształcone na format 2,0 format-konwersja odbywa się przy każdym działaniu czysto, ale tylko o 1% indeksów jest konwertowany w trakcie każdego czyszczenia, aby mógł on potrwać do 2 lat (przy założeniu, że jest czysty co tydzień) w celu pełnego przekonwertowania indeksów do formatu 2,0

Program DDR początkowo uruchomiony DDOS 5,4 (lub starszy), który następnie został uaktualniony do DDOS 5,5 (lub nowszej), może zostać zmuszony do przekonwertowania indeksów na format indeksu 2,0 za pomocą jednokrotnej Rebuild index. Należy jednak pamiętać, że Rekonstruowanie indeksu wymaga okresu Down, kiedy indeksy są fizycznie odbudowane-ta operacja zazwyczaj trwa 2-8 godzin w zależności od rozmiaru/ilości danych na DDR. Aby omówić przebudowę indeksu, należy skontaktować się z działem pomocy technicznej.

Jak wspomniano powyżej, niezależnie od stosowanego algorytmu czyste/GC, czyste mogą wymagać zmiennej liczby faz — na przykład cały czysty algorytm może wymagać 6 lub 10 faz. Przyczyny tego problemu są następujące:

• Po uruchomieniu DDFS rezerwuje stałą ilość pamięci, która ma być używana przez czyste/GC.
• W ramach tej pamięci czyste/GC tworzy struktury danych opisujące wyniki wyliczania (tzn. Opis, w jaki sposób dane występują, a na dysku są aktywne)
• Gdy DDR zawiera stosunkowo małą ilość danych, cała zawartość systemu plików DDFS może być opisana w tym obszarze pamięci
• W wielu systemach nie jest to możliwe, a obszar pamięci zostanie wyczerpany przed wyliczeniem całej zawartości systemu plików DDFS.
• W związku z tym systemy te przeprowadzają próbki "pobieranie próbek", które zwiększają liczbę wymaganych czystych faz

W przypadku użycia próbki czysty/GC będzie:

• Przeprowadź pobieranie próbek z wyliczania w całym systemie plików — Zauważ, że to wyliczenie nie jest kompletne (tzn. nie zapisuje pełnych informacji na temat poszczególnych części systemu plików, ale raczej przybliżone informacje dla każdej części systemu plików)
• Informacje te należy wykorzystać do określenia, która część systemu plików DDFS może być korzystna, aby można było skorzystać z czystej/GC z nią funkcji (tzn. która część systemu plików mogłaby dać najlepsze zwroty w odniesieniu do zwolnionego miejsca, jeśli zostało oczyszczone).
• Przeprowadź drugą rundę pełnego wyliczenia w stosunku do wybranej części systemu plików, którego zawartość może zostać całkowicie opisana w części pamięci zarezerwowanej dla GC.

Próbkowanie jest włączane automatycznie podczas czyszczenia/GC, jeśli jest to wymagane, może być przyczyną:

• Zwiększenie liczby faz, które należy wykonać przez czyste/GC
• Odpowiedni wzrost całkowitego czasu czyszczenia/GC

Przed przystąpieniem do DDOS 6,0 większość danych DDR pobiera próbki podczas czyszczenia/GC (chyba że są umieszczone stosunkowo małe zestawy danych). Idealnym fizycznym algorytmem czyszczenia jest jednak szereg optymalizacji w celu zmniejszenia ilości pamięci wymaganej przez czyste/GC podczas wyliczania danych w systemie plików. Oznacza to, że w przypadku wielu systemów, w których wykonywane są próbki podczas czyszczenia/GC na DDOS 5. x nie będzie już wymagać pobierania próbek na DDOS 6,0. Dlatego też Liczba faz wykonywanych przez czyste i powoduje odpowiedni spadek całkowitych czystych godzin pracy (tj. poprawa stanu czystej wydajności).

Nie są dostępne żadne informacje umożliwiające bezpośrednie określenie, że system został przełączony od fizycznego algorytmu czyszczenia do najlepszego, fizycznego algorytmu czyszczącego, innego niż:

• Kiedy system był fizycznie czysty na DDOS 5,5-5,7, przeprowadzono 12 faz podczas czyszczenia.
• Po uaktualnieniu systemu do DDOS 6,0 (lub nowszego) wykonuje on tylko 7 faz podczas czyszczenia.

Jeśli system z systemem DDOS 6,0 nadal wymaga przeprowadzenia próbkowania, będzie on włączany automatycznie podczas czyszczenia, a następnie powróci do 12 faz podczas czyszczenia.

Niezależnie od tego, czy zastosowano czysty algorytm, faza kopiowania (w przypadku, gdy martwe dane są fizycznie usunięte z systemu) w podobny sposób do wszystkich wydań. Wydajność fazy kopiowania jest ogólnie zależna od:

• Ilość danych niemartwych, które należy usunąć.
• "Fragmentacja" tych martwych danych (tzn. w jaki sposób są rozpraszane na dysku)

Zgodnie z opisem podanym powyżej Program skopiuje pojemniki o mocy 4,5 MB, na którym przechowywane są martwe dane, wyodrębnianie wszelkich aktywnych danych z pojemników i zapisywanie danych w nowych kontenerach, a następnie Usuwanie wybranych kontenerów. Następujące przykłady opisują, dlaczego fragmentacja nieaktywnych danych jest ważna:

przykład 1:

• wybrałeś 10 kontenerów do kopiowania (45Mb danych ogółem)
• Wszystkie, jeśli te pojemniki nie przechowują aktywnych danych (tzn. przechowywanych danych jest całkowicie nieodwołana/martwa)
• W związku z tym kopia musi oznaczać, że te kontenery zostały usunięte, aby uwolnić 45Mb fizyczny obszar dysku.

Przykład 2:

• do kopiowania (450Mb całkowite dane) są wybrane kontenery 100
• Każdy z tych kontenerów obejmuje 90% danych w przypadku braku danych.
• Aby przetworzyć tę kopię kontenera, należy:

Od tego momentu do wykonania kopii wskazanej w przykładzie 2 wymagane jest wyraźnie zwiększenie ilości czasu i/O, a w przypadku porównania z powyższym przykładem 1 potrwa znacznie dłużej, aby uwolnić 45Mbe fizyczne miejsce na dysku.

Użytkownicy na ogół nie mają wpływu na fragmentację martwych danych na dysku na DDR, ponieważ jest to bardzo duże zależą od przypadku użycia/rodzaju danych zapisanych w systemie. Należy jednak pamiętać, że w czyszczeniu/GC są przechowywane dane statystyczne ułatwiające określenie "fragmentacji" martwych danych, które zostały wykryte podczas fazy kopiowania (co umożliwia użytkownikowi określenie, czy Fragmentacja może wyjaśnić potencjalnie długotrwałą fazę kopiowania). Takie dane statystyczne, które znajdują się w ostatniej fazie czyszczenia/GC, są gromadzone w autopomocy technicznej. Na przykład poniżej przedstawiono etap kopiowania, w którym martwe dane były stosunkowo przyległe (tzn. większość kontenerów wybranych do kopiowania w większości nieaktywnych danych):

procent danych aktywnych w kopiowanych:              3,6% 4,3%

W poniższej tabeli przedstawiono etap kopiowania, w którym martwe dane zostały pofragmentowane (tzn. większość kontenerów wybranych do kopiowania w większości danych na żywo):

procent danych aktywnych w kopiowanych:             70,9% 71,5%

Zgodnie z opisem powyżej czysty/GC, będzie konieczne powiększanie znacznie większej ilości pracy w drugim scenariuszu w celu fizycznego wolnego miejsca na DDR, co spowoduje zmniejszenie wydajności fazy kopiowania.

Wydajność fazy kopiowania może być również niekorzystnym wpływem na następujące możliwości:

• Korzystanie z szyfrowania: Może być konieczne odszyfrowanie lub ponowne zaszyfrowanie danych podczas kopiowania, co znacznie wydłuża ilość wymaganego procesora.
• Wykorzystanie optymalizacji przepustowości niskiej: Pojemniki mogą wymagać informacji o "szkicu", które mają być wygenerowane podczas kopiowania, co również powoduje znaczny wzrost ilości wymaganych zasobów

Pamiętaj, że w przypadku wyczerpania optymalizacji przepustowości i/lub szyfrowania wszystkich istniejących kontenerów (bez względu na to, czy zostały wybrane do kopiowania, czy nie), może być konieczne zaszyfrowanie i/lub w trakcie kolejnego czyszczenia wygenerowane są informacje o szkicu. może to spowodować, że operacja czyszczenia (w szczególności faza kopiowania) będzie trwać znacznie dłużej niż zwykle.

Dalsze uwagi na temat sprawdzania/modyfikacji czystego harmonogramu i przepustnicy są dostępne w następującym artykule KB: https://support.emc.com/kb/306100

Uwaga:

• W normalnych warunkach czyste powinny być zaplanowane do uruchomienia co najwyżej raz na tydzień, co jest częścią czystą, niż może spowodować, że dane na dysku zostaną nadmiernie pofragmentowane (tzn. są powodowane na słabej lokalizacji przestrzennej), co może doprowadzić do słabej wydajności odczytu/replikacji/przepływu danych.
• Czyste przepustnice nie wpływa na łączną ilość czasu procesora i pasma wejścia/wyjścia zużytą przez czysto-zamiast tego steruje się działaniem wrażliwym na działanie systemu. Na przykład:

• Domyślnie czyste ustawienie wymuszone jest ustawione na 50 – użytkownik jest odpowiedzialny za przetestowanie uruchomionego czyszczenia przy użyciu różnych ustawień przepustnicy, podczas gdy DDR działa normalnie, aby określić ustawienie przepustnicy, które umożliwia:

• Należy pamiętać, że długotrwałe czyszczenie nie musi być sprawne tak długo, jak:

• System wykorzystujący rozszerzoną funkcję przechowywania powinien być skonfigurowany tak, aby:

• Wszystkie informacje z najnowszej operacji czyszczenia są zawarte w autopracach i szczegółach: