System operacyjny Data Domain nie obsługuje proaktywnego równoważenia danych w pamięci masowej po zwiększeniu pojemności systemu plików Data Domain

Podobnie jak w przypadku wielu innych macierzy pamięci masowej pojemność większości modeli Data Domain Restorer (DDR) można zwiększyć, dodając do systemu zewnętrzne półki obudowy pamięci masowej (ES30, DS60), a następnie rozszerzając na te półki system plików Data Domain File System (DDFS). Po wykonaniu:

• Nowe półki obudów są fizycznie przymocowane (okablowane zasilane)
• System operacyjny Data Domain (DDOS) ponownie skanuje pamięć masową w celu zidentyfikowania nowych półek obudowy
• Te nowe półki obudowy są następnie dodawane do warstwy pamięci masowej w ramach DDR (warstwa aktywna lub określona jednostka archiwum)
• Warstwę tę można następnie rozszerzyć w trybie online bez konieczności przestoju do DDFS
• Wszystkie nowe dane zapisane w tej warstwie pamięci masowej są zapisywane na istniejących i nowych półkach
• Dane na istniejących półkach nie są jednak równoważone w nowych półkach obudów

Dalsze wyjaśnienie:

• W systemie DDOS jednostką pamięci masowej jest „kontener” o pojemności 4,5 Mb
• Podczas tworzenia kontenery 4,5 Mb są zapisywane na wszystkich półkach obudów w odpowiedniej jednostce archiwum warstwy w sposób okrężny
• Po dodaniu dodatkowych półek obudów do jednostki archiwum warstwy DDFS rozpoczyna zapisywanie nowych kontenerów 4,5 Mb w tych obudowach oprócz istniejących obudów (nowe obudowy są uwzględniane podczas zapisu kontenera okrężnego)
• DDOS nie podejmuje jednak żadnej konkretnej próby (ani nie oferuje żadnej konkretnej funkcjonalności) migracji istniejących kontenerów w warstwie z istniejących do nowych obudów półek

Oznacza to, że dodanie obudów półek może spowodować „nierównowagę” danych w podłączonej pamięci masowej. Na przykład:

• Rozwiązanie DDR ma początkowo pojedynczą obudowę w warstwie aktywnej, która jest zapełniona w 90%
• Do warstwy aktywnej zostanie dodana dodatkowa obudowa, a na tej obudowie zostanie rozszerzony system DDFS
• Zapisy nowo utworzonych kontenerów 4,5 Mb są teraz okrężne w istniejących i nowych obudowach
• To sprawia, że w istniejącej obudowie brakuje wolnego miejsca, podczas gdy nowo dodana obudowa jest prawie pusta

W tym scenariuszu wiele macierzy pamięci masowej umożliwia administratorowi przywrócenie równowagi danych między dołączonymi obudowami i proaktywną migrację niektórych danych z istniejących obudów do nowo dodanych obudów dla pewności, że wykorzystana pojemność wszystkich obudów będzie w przybliżeniu równa). Należy jednak pamiętać, że DDOS NIE oferuje tej funkcjonalności i ze względu na konstrukcję DDFS nie jest ona wymagana, ponieważ równoważenie danych odbywa się naturalnie w czasie.

Równoważenie danych odbywa się za pomocą dwóch operacji:

• Czyszczenie funkcji odśmiecania pamięci
• Naprawa lokalności

Każda z tych operacji i sposób, w jaki powodują one automatyczne równoważenie danych, zostały omówione bardziej szczegółowo poniżej.

Czyszczenie funkcji odśmiecania pamięci

Czyszczenie funkcji odśmiecania pamięci (GC) to zaplanowane działanie, które jest uruchamiane regularnie w DDR (domyślnie raz w tygodniu w warstwie aktywnej i — przy założeniu, że odzyskiwanie miejsca jest włączone — gdy jest to wymagane dla jednostek archiwum). Po uruchomieniu:

• Określa, które dane fizyczne w jednostce archiwum warstwy są „aktywne” (używane przez jeden lub więcej plików w systemie plików lub obiektach, takich jak migawki) albo „martwe” (do których nie ma odniesień żaden obiekt, a więc są zbędne dla systemu)
• Określa kontenery o pojemności 4,5 Mb zawierające większość „martwych” danych w jednostce archiwum warstwy
• Odczytuje te kontenery 4,5 Mb i wyodrębnia wszystkie zawarte w nich dane „na żywo” — są one następnie „kopiowane dalej” do nowo utworzonych kontenerów 4,5 Mb, które są zapisywane na wszystkich półkach w jednostce archiwum warstwy
• Usuwa stare kontenery 4,5 Mb, usuwając zawarte w nich martwe dane i zwalniając miejsce na dysku do ponownego wykorzystania

Gdy GC działa w systemie z jakąkolwiek formą nierównowagi danych, oczekuje się, że większość starych danych (a tym samym większość martwych danych) będzie przechowywana na starszych półkach w jednostce archiwum warstwy. W rezultacie większość kontenerów, które są odczytywane, kopiowane, przekazywane i usuwane, znajduje się na starszych obudowach półkowych. Nowo utworzone kontenery są jednak zapisywane w formacie okrężnym między wszystkimi półkami w warstwie. W rezultacie większość miejsca zwolnionego przez GC znajduje się na starszych półkach, podczas gdy nowo wykorzystana przestrzeń znajduje się na wszystkich półkach.

Oto prosty przykład:

• Aktywna warstwa DDR zawiera dwie półki — pierwsza półka zawiera 10 000 kontenerów 4,5 Mb, podczas gdy druga półka zawiera 100 kontenerów 4,5 Mb (na każdy kontener na drugiej półce znajduje się 100 kontenerów na pierwszej półce)
• GC uruchamia i kopiuje dane z 5000 kontenerów na pierwszej półce
• Dane na żywo w tych 5000 kontenerach powodują utworzenie 1000 nowych kontenerów 4,5 Mb
• Te 1000 nowych kontenerów 4,5 Mb jest zapisanych na obu półkach
• Po zakończeniu GC pierwsza półka mieści 5500 kontenerów 4,5 Mb, podczas gdy druga półka mieści 600 kontenerów (na każdy kontener na drugiej półce przypada około dziewięciu kontenerów na pierwszej półce)
• W jednym cyklu GC nierównowaga kontenerów między pierwszą a drugą półką została zmniejszona 10-krotnie — oczekuje się, że zostanie zmniejszona jeszcze bardziej podczas kolejnych serii GC, co oznacza, że dane są naturalnie równoważone na półkach w czasie

Naprawa lokalności:

Po zapisaniu pliku w DDR wykonywane są następujące operacje wysokiego poziomu:

• Plik jest dzielony na logiczne fragmenty (nazywane segmentami) o rozmiarze 4–12 Kb
• Każdy segment jest sprawdzany w celu zweryfikowania, czy już istnieje na dysku w warstwie, w której zapisywany jest plik
• Jeśli segment już istnieje, są to zduplikowane dane, a segment w nowo zapisanym pliku jest zastępowany wskaźnikiem do istniejących danych na dysku
• Jeśli segment nie istnieje, są to unikatowe dane i dlatego zostają spakowane do nowego kontenera 4,5 Mb i zapisane na dysku

Wszystkie pliki mają koncepcję „lokalności”, czyli tego, jak sekwencyjne segmenty danych, do których odwołuje się dany plik, znajdują się na dysku w DDR. Oczywiście pliki, które mają wysokie współczynniki deduplikacji (zawierają dużą ilość zduplikowanych danych), prawdopodobnie mają gorszą lokalizację niż unikalny plik, ponieważ po przyswojeniu ich dane są zastępowane wskaźnikami do istniejących danych, które mogą być rozproszone po kontenerach/dyskach w odpowiedniej jednostce archiwum warstwy.

Osiągnięcie dobrej wydajności odczytu danych w DDR wymaga, aby plik miał dobrą „lokalność” (jego dane są względnie sekwencyjne na dysku), aby algorytmy odczytu z wyprzedzeniem DDFS mogły działać optymalnie. Należy również pamiętać, że DDFS zakłada, że plik, z którego najprawdopodobniej zostanie odczytany (w celu przywrócenia lub replikacji), jest najnowszą kopią danej kopii zapasowej. W rezultacie w przypadku niektórych typów danych (takich jak wirtualne syntetyki) wykonywany jest proces zwany „naprawą lokalności” w celu „optymalizacji” lokalności nowo zapisanych danych plików. Po uruchomieniu naprawy lokalności:

• Sprawdź dane, do których odwołuje się plik, szukając sekcji, w których dane nie są sekwencyjne na dysku (wyświetla słabą lokalność)
• Odczytaj te niesekwencyjne dane z dysku i zapisz je ponownie sekwencyjnie (jako zduplikowane dane) w nowo utworzonych kontenerach 4,5 Mb

Oczekuje się wtedy, że stara (niesekwencyjna) kopia zduplikowanych danych zostanie zidentyfikowana jako „martwa” podczas następnego uruchomienia GC i usunięta z systemu. W związku z tym:

• W systemach, w których występuje nierównowaga danych, oczekuje się, że większość starych, niesekwencyjnych danych będzie znajdować się na starych, bardziej zapełnionych półkach obudów
• Gdy te dane są przepisywane sekwencyjnie jako zduplikowane dane, zostają umieszczane w nowych kontenerach 4,5 Mb, okrężnych we wszystkich obudowach w odpowiedniej warstwie
• W rezultacie, większość „martwych” (starych, zduplikowanych danych) powstałych w wyniku naprawy miejscowości znajduje się na starych, bardziej zajętych półkach
• Po uruchomieniu GC większość „martwych” danych znajduje się na starych, bardziej zapełnionych półkach i jest usuwana (zwalniając miejsce na tych półkach) zgodnie z powyższym opisem

Wniosek

W rezultacie dzięki normalnemu korzystaniu z funkcji naprawy i czyszczenia lokalności (GC) DDR może z czasem w przejrzysty sposób równoważyć dane na półkach. Odbywa się to bez dodatkowego udziału administratorów i oznacza, że nie ma potrzeby stosowania dedykowanych operacji równoważenia danych, jak czasami spotyka się w przypadku innych macierzy pamięci masowej. W celu zwiększenia szybkości, z jaką odbywa się równoważenie, konieczne jest zatem:

• zwiększenie szybkości, z jaką dane są „migrowane” w DDR
• zwiększenie ilości danych naprawianych lokalnie w systemie DDR

Aby dokładniej omówić którąś z tych opcji, skontaktuj się ze swoim dostawcą usług pomocy technicznej, podając dane tego artykułu.