Avamar: Pojęcia i szkolenie dotyczące zarządzania pojemnością

Informacje na temat zarządzania pojemnością związane z Data Domain można znaleźć w rozdziale „Odzyskiwanie pamięci w pełnym systemie Data Domain” Podręcznika wdrażania systemów Avamar i Data Domain. Przewodniki odpowiednie dla danego środowiska operacyjnego znajdują się w sekcji Jak znaleźć dokumentację Avamar w witrynie Dell Support.

Cele tego artykułu:
 

• Podsumowanie typów danych przechowywanych na partycjach /data*.
• Wprowadzenie pojęcia „pojemność systemu operacyjnego” i porównanie go z pojęciem „pojemność użytkownika (czasami zwanym „pojemnością GSAN”).
• Wyjaśnienie, dlaczego nie należy uruchamiać systemu Avamar, gdy limit pojemności użytkownika jest bliski.
• Wymienienie czynników, które przyczyniają się do obciążenia punktów kontrolnych.
• Opisanie sposobu monitorowania wykorzystania partycji danych.
• Opisanie symptomów, które występują, gdy pojemność systemu operacyjnego wymyka się spod kontroli.
• Wymienienie typowych przyczyn wyświetlania MSG_ERR_DISKFULL komunikatu.
• Zarysowanie metod odzyskiwania wykorzystywanych w sytuacjach, gdy wysokie wykorzystanie pojemności systemu operacyjnego zakłóca normalne funkcjonowanie systemu.
• Opisanie symptomów pojawiających się, gdy pojemność użytkownika przekracza limit pojemności użytkownika.
• Omówienie rozwiązania sytuacji, w której dochodzi do wysokiej pojemności użytkownika.

W tym artykule założono, że czytelnik zna rozdział „Zarządzanie pojemnością” Podręcznika najlepszych praktyk operacyjnych Avamar.

Przewodniki odpowiednie dla danego środowiska operacyjnego znajdują się w sekcji Jak znaleźć dokumentację Avamar w witrynie Dell Support.

Do typowych problemów, które powodują lub wskazują na zbyt dużą pojemność systemu operacyjnego, zalicza się sytuacje, gdy:

• Sprawdzenie punktu kontrolnego (hfscheck) kończy się niepowodzeniem.
• Nie można uruchomić funkcji odśmiecania pamięci i zwracany jest komunikat MSG_ERR_DISKFULL.
• Nie można utworzyć punktu kontrolnego.

Typowymi objawami, które są ściśle powiązane ze zbyt wysoką pojemnością użytkownika („User Capacity)”, są:

• Tworzenie kopii zapasowych kończy się niepowodzeniem.
• Przychodzące zadania replikacji kończą się niepowodzeniem.
• Interfejs administratora ukazuje system w trybie „Admin” w oknie kopii zapasowych.

Zobacz sekcję Rozwiązanie.

W jaki sposób są przechowywane dane w sieci Avamar?

Zarządzanie pojemnością Avamar dotyczy danych znajdujących się na partycjach /data* wszystkich węzłów danych Avamar. Zaliczają się do nich:

• Deduplikowane dane kopii zapasowych
• Dane parzystości RAIN
• Dane o obciążeniu punktów kontrolnych.

Poza replikacją i RAID Avamar ma dostęp do warstw nadmiarowości takich jak parzystość RAIN i dane punktów kontrolnych.

Wolne miejsce jest wymagane również do prawidłowego wykonywania zadań konserwacyjnych, takich jak odśmiecanie pamięci czy asynchroniczne operacje na segmentach.

Poniżej znajduje się graficzne przedstawienie miejsca w fizycznej pamięci masowej, które jest dostępne na partycjach danych w węzłach pamięci masowej Avamar.

 

Jak dane są przechowywane na partycjach danych?

Na powyższym diagramie można zobaczyć proste przedstawienie sposobu wykorzystania miejsca na partycjach danych.

Wartość 100% po lewej stronie oznacza całkowitą ilość miejsca dostępnego w systemie operacyjnym na partycjach danych.

Jeśli którakolwiek zpartycji danych używa ponad 85% całkowitego miejsca, przeprowadzenie odśmiecania pamięci nie jest możliwe.

Znacznik wykorzystania 100% pojemności użytkownika (w trybie tylko do odczytu) oznacza, że na przechowywanie deduplikowanych danych przeznaczyć można maksymalnie 65% całkowitego miejsca na partycji danych. Miejsce poniżej znacznika 100% pojemności użytkownika odpowiada wartości wykorzystania serwera, która jest widoczna w interfejsie UI administratora. Jeśli ilość deduplikowanych danych przechowywanych na jakiejkolwiek partycji danych w dowolnym węźle osiągnie 65%, system Avamar rozpoczyna pracę w trybie tylko do odczytu i odmówi dalszego tworzenia kopii zapasowej danych.

Możemy teraz zrozumieć, że z poziomu interfejsu użytkownika Avamar Administrator użytkownik ma wgląd w miejsce zajęte przez kopie zapasowe, ale nie widzi miejsca wykorzystanego na partycjach danych systemu operacyjnego.

 

Dlaczego nie należy uruchamiać systemu Avamar, gdy limit pojemności użytkownika jest bliski:

Istnieje zależność między wysoką wartością pojemności użytkownika a obciążeniem punktu kontrolnego, która powoduje, że ze względu na coraz większe zapełnienie systemu nawet niewielkie zwiększenie ilości danych w kopii zapasowej może spowodować duże zwiększenie obciążenia punktów kontrolnych.

Pełne omówienie powodów tego stanu rzeczy wykracza poza zakres tego artykułu. Należy jednak pamiętać, że: Im bardziej system Avamar zbliża się do wartości 100% pojemności użytkownika, tym mniej pojemności systemu operacyjnego jest dostępne dla obciążenia punktów kontrolnych.

Jak można zobaczyć na powyższym diagramie, w przypadku zapełnionego systemu obciążenie punktów kontrolnych jest ograniczone do 20% całkowitego miejsca systemu operacyjnego na partycjach danych.

Aby system Avamar mógł działać niezawodnie przy wysokim poziomie pojemności użytkownika, musi spełniać następujące kryteria:

• System musi charakteryzować się niskim wskaźnikiem dziennej zmienności danych (nie większym niż 1%).
• Pojemność musi utrzymywać się na stałym poziomie (zgodnie z opisem zawartym w rozdziale „Zarządzanie pojemnością” Podręcznika najlepszych praktyk operacyjnych Avamar). Przewodniki odpowiednie dla danego środowiska systemu operacyjnego można znaleźć tutaj: Wyszukiwanie dokumentacji Avamar w witrynie Dell Support.
• Zadania konserwacyjne powinny być codziennie kończone pomyślnie.

Jeśli którekolwiek z tych stwierdzeń staje się nieprawdziwe, prawdopodobnie obciążenie punktu kontrolnego będzie stopniowo rosnąć lub nagle wzrastać i powodować poważne problemy z działaniem systemu.

 

Czynniki przyczyniające się do obciążania punktów kontrolnych:

Następujące czynniki mogą spowodować wzrost obciążenia punktu kontrolnego.

• Asynchroniczne operacje na segmentach (domyślnie włączone)
• Liczba punktów kontrolnych przechowywanych w systemie
• Codzienne sprawdzanie poprawności punktów kontrolnych nie kończy się powodzeniem.
• W jakim stopniu segmenty są puste, gdy są ponownie wykorzystywane przez serwer Avamar (staje się to poważniejszym problemem przy większym wykorzystaniu serwera)
• Dzienny wskaźnik zmienności kopii zapasowej<

W pewnym stopniu administrator systemu posiada kontrolę nad tymi czynnikami. Konfiguracja operacji asynchronicznych może być wykorzystywana jedynie jako wsparcie, ale administratorzy mogą usuwać niepotrzebne punkty kontrolne, badać awarie punktów kontrolnych i wpływać na wykorzystanie serwera i dzienny wskaźnik zmienności danych.

 

Jak monitorować wykorzystanie partycji danych:

Prawidłowym sposobem monitorowania wykorzystania partycji danych systemu operacyjnego jest użycie następującego polecenia Avamar z węzła Avamar Utility Node.

Na przykład:

admin@utilitynode:~/>: avmaint nodelist | grep fs-percent
        fs-percent-full="7.8"
        fs-percent-full="6.3"
        fs-percent-full="6.4"
        fs-percent-full="6.4"
        fs-percent-full="7.6"
        fs-percent-full="6.2"
        fs-percent-full="6.1"
        fs-percent-full="6.6"
        fs-percent-full="7.8"
        fs-percent-full="6.4"
        fs-percent-full="6.5"
        fs-percent-full="6.8"

Te dane wyjściowe dostarczą prawdziwy odczyt w zakresie wykorzystania pojemności systemu operacyjnego. W przypadku sieci, w której węzły danych używają puli plików, polecenie w systemie Linux df nie jest istotne, gdyż segmenty są wstępnie przydzielone w puli plików, a wiele segmentów może nie być używanych.

 

Co się stanie, gdy pojemność systemu operacyjnego wymknie się spod kontroli?

Z punktu widzenia użytkownika pierwszym wskaźnikiem tego, że użycie partycji danych jest poza kontrolą, jest jego wzrost powyżej poziomu 85%.

Odśmiecanie pamięci nie może zostać uruchomione i kończy się MSG_ERR_DISKFULL komunikatem o błędzie.

Oto sytuacja, w której często dochodzi do nieporozumień: Użytkownik często interpretuje MSG_ERR_DISKFULL komunikat jako informację o braku wolnego miejsca na kopie zapasowe w systemie.

Interpretacja ta nie jest jednak prawidłowa, użytkownik sprawdza zazwyczaj wartość wykorzystania serwera w interfejsie użytkownika Avamar Administrator i uznaje wartość, na przykład 60%, za akceptowalną.

Użytkownik może próbować usunąć kopie zapasowe z interfejsu zarządzania kopiami zapasowymi w interfejsie użytkownika Avamar. Nawet jeśli poziom pojemności użytkownika jest wysoki, usunięcie kopii zapasowych nie spowoduje poprawy sytuacji, gdyż funkcja odśmiecania pamięci nie może zostać uruchomiona i nie można za jej pomocą usunąć z systemu fragmentów danych, które utraciły ważność.

Jeśli w systemie występuje problem zarówno z wysokim wykorzystaniem pojemności systemu operacyjnego, jak i pojemności użytkownika, w pierwszej kolejności należy skoncentrować się na rozwiązaniu problemu z pojemnością systemu operacyjnego.

W przypadku wysokiego wykorzystania pojemności systemu operacyjnego systemowi może zabraknąć miejsca na tworzenie punktów kontrolnych.

 

Co jest przyczyną komunikatu MSG_ERR_DISKFULL?

Najczęstszą przyczyną jest zbyt duże obciążenie punktu kontrolnego. Do typowych przyczyn wysokiego obciążenia punktu kontrolnego można zaliczyć:

• Wielokrotne nieudane próby sprawdzenia punktu kontrolnego (hfscheck).
• Niepowodzenie hfscheck może mieć wiele podstawowych przyczyn (nagłe anulowanie, awaria oprogramowania itd.).
• System jest zbyt przepełniony i cechuje się wysokim dziennym wskaźnikiem zmienności danych.
• System wymaga większej liczby węzłów danych, aby poradzić sobie ze wskaźnikiem zmienności danych i przechowywać dane.
• System został skonfigurowany pod kątem tworzenia kopii zapasowych większej liczby danych lub klientów niż przewidziano dla tego rozmiaru systemu.
• Przechowywanych jest zbyt wiele punktów kontrolnych (Avamar zapisuje domyślnie dwa punkty kontrolne, z których jeden został sprawdzony).
• Administrator systemu utworzył niepotrzebne punkty kontrolne.
• W ostatnim czasie przeprowadzono konserwację, ale nie przywrócono domyślnych, zachowanych punktów kontrolnych.

Aby rozwiązać problem z komunikatem MSG_ERR_DISKFULL, należy zapoznać się z poniższym artykułem: Zadania konserwacyjne Avamar kończą się niepowodzeniem, wyświetlając błąd „MSG_ERR_DISKFULL” z powodu przekroczenia >89% pojemności partycji „Danych” na system operacyjny.

 

Działania mające na celu zbadanie i naprawienie problemu z wysokim wykorzystaniem pojemności systemu operacyjnego.

1. Ustalenie czasu zakończenia ostatniego polecenia hfscheck. W tym celu należy użyć Avamar Administrator lub wiersza poleceń w węźle Avamar Utility Node.

• W Avamar Administrator przejdź kolejno do karty Server > Checkpoint Management.
• Sprawdź najnowszą datę i godzinę na liście w kolumnie Checkpoint Validation (Sprawdzenie punktu kontrolnego). Powinna ona być nie starsza niż 24 godziny.

• Za pomocą wiersza poleceń węzła Avamar Utility Node uruchom polecenie: cplist.

admin@utilitynode:~/>: cplist

cp.20110114111419 Fri Jan 14 11:14:19 2011   valid rol ---  nodes   3/3 stripes   1131
cp.20110114194457 Fri Jan 14 19:44:57 2011   valid --- ---  nodes   3/3 stripes   1131

 

2. Sprawdź, czy sprawdzenie hfscheck zakończyło się powodzeniem czy niepowodzeniem.

Last hfscheck: finished Sat Jan 15, 11:07:17 2011 after 06m 41s >> checked 528 of 528 stripes (OK)

admin@utilitynode:~/>: dpnctl status maint

Identity added: /home/admin/.ssh/dpnid (/home/admin/.ssh/admin_key)
dpnctl: INFO: Maintenance windows scheduler status: enabled.

• Jeśli harmonogram przerw konserwacyjnych jest nieaktywny, wyłączony lub zawieszony, włącz go za pomocą polecenia: dpnctl start maint
• Opcjonalnie utwórz nowy punkt kontrolny i uruchom sprawdzenie hfscheck lub poczekaj na zakończenie następnej zaplanowanej przerwy konserwacyjnej.

Po pomyślnym zakończeniu sprawdzenia hfscheck (po rozwiązaniu wszelkich problemów lub ponownym uruchomieniu harmonogramu konserwacji) najstarszy punkt kontrolny zostanie „wycofany”, a pojemność systemu operacyjnego powinna się znacznie zmniejszyć.

• Jeśli pojemność systemu operacyjnego jest nadal zbyt wysoka, a odśmiecanie pamięci wciąż kończy się niepowodzeniem i wyświetleniem komunikatu MSG_ERR_DISKFULL, niezbędne może być wsparcie zespołu pomocy technicznej firmy Dell.
• W przeciwnym razie, jeśli pojemność systemu operacyjnego jest wystarczająco niska i pozwala na przeprowadzenie procesu odśmiecania pamięci, spróbuj obniżyć pojemność użytkownika, a następnie obniż poziom „wykorzystania serwera”.

 

 

Działania mające na celu obniżenie wysokiej pojemności użytkownika:

W przeciwieństwie do pojemności systemu operacyjnego na poziomy pojemności użytkownika łatwo i bezpośrednio może wpływać administrator systemu Avamar.

1. Dopilnuj, aby odśmiecanie pamięci było uruchamiane codziennie i nie było przerywane przez tworzenie kopii zapasowych.

Jest to jedna z najważniejszych spraw, gdyż nawet system o właściwym rozmiarze osiągnie szybko wysoką pojemność użytkownika, jeśli odśmiecanie pamięci nie będzie uruchamiane regularnie lub nie będzie działać niezawodnie.

Sprawdź, jak pokazano wcześniej, czy przerwa konserwacyjna jest włączona, i użyj skryptów capacity.sh i sched.sh do sprawdzenia, czy odśmiecanie pamięci jest uruchomione i czy usuwa dane.

Przed Avamar 7.x nie można było uruchamiać kopii zapasowych podczas przerwy „ograniczenia” odśmiecania pamięci.

Funkcja map bitowych z odniesieniami do skrótów wprowadzona w Avamar 7.x umożliwia tworzenie kopii zapasowych podczas czynności konserwacyjnych związanych z odśmiecaniem pamięci. Ta funkcja wymaga, aby „mapy” te miały co najmniej 5 minut „spokoju” dziennie, podczas którego nie są uruchamiane żadne kopie zapasowe, aby można było je zresetować.

Dostęp do treści dotyczących tej funkcji można uzyskać, korzystając z łącza do artykułu Avamar: Od Avamar w wersji 7 funkcja odśmiecania pamięci zgłasza „pominięte skróty”, których nie można wyczyścić z powodu „map bitowych z odniesieniami do skrótów”, gdy dane są w użyciu.

2. Nie dodawaj nowych klientów do siatki.
 

W przypadku, gdy siatka Avamar zbliża się do granicy pojemności, należy niezwłocznie zaprzestać dodawania nowych klientów, aby zapobiec pogorszeniu sytuacji.

Jeśli masz inną siatkę Avamar, która działa przy niższym poziomie wykorzystania serwera, rozważ dodanie nowych klientów do tej siatki zamiast do serwera, który ulega przepełnieniu.


3. Dowiedz się, którzy klienci zużywają najwięcej pamięci masowej.

Aby rozwiązać problem z pojemnością, ustal, którzy klienci odpowiadają za pojawianie się w systemie Avamar największej ilości danych.

Skrypt capacity.sh(uruchamiany z wiersza poleceń węzła narzędzi Avamar) może również służyć do identyfikacji klientów, którzy cechują się najwyższym wskaźnikiem zmienności.

Zarejestrowani użytkownicy produktów firmy Dell mogą uzyskać dostęp do treści, korzystając z łącza do artykułu Avamar: Jak zarządzać pojemnością za pomocą skryptu capacity.sh, aby uzyskać więcej informacji na temat korzystania ze skryptu capacity.sh.

Często okazuje się, że „największe zapotrzebowanie” wykazują ci klienci, którzy tworzą kopie zapasowe baz danych SQL lub serwerów poczty e-mail. Dlatego warto zwrócić na nich szczególną uwagę.

Po zidentyfikowaniu klientów o dużym wskaźniku zmienności, ponownie sprawdź zasady przechowywania, aby dowiedzieć się, czy można obniżyć pewne ustawienia w celu zmniejszenia wymagań w zakresie przechowywania do akceptowalnego poziomu.

Jeśli dostępny jest inny system Avamar, weź pod uwagę możliwość migracji klientów o dużej lub wysokiej zmienności z bardziej lub mniej wykorzystywanych systemów przy użyciu interfejsu Avamar Client Manager.

Jeśli poziom pojemności użytkownika jest wysoki (>90%), może być konieczne wygaszanie starych kopii zapasowych za pośrednictwem interfejsu zarządzania kopiami zapasowymi lub za pomocą narzędzia do tworzenia kopii zapasowych. 

Użytkownicy produktów firmy Dell mogą uzyskać dostęp do treści, korzystając z łącza do artykułu Zarządzanie pojemnością Avamar: Jak zbiorczo usuwać i wygaszać kopie zapasowe za pomocą narzędzia „modify-snapups”.

Usunięcie kopii zapasowych nie powoduje natychmiastowego obniżenia poziomu wykorzystania serwera. Pozwala ono funkcji odśmiecania pamięci na usuwanie danych przy kolejnym uruchomieniu tej funkcji. Usuwanie starych kopii zapasowych stanowi rozwiązanie krótkoterminowe. Kopie zapasowe zostaną zastąpione w ciągu najbliższych dni. Jeśli kopie zapasowe są usuwane, należy również dopasować zasady przechowywania.

Po usunięciu kopii zapasowych i zmianie zasad przechowywania uważnie monitoruj ilość danych w systemie za pomocą skryptu capacity.sh. Dostrzegalna powinna być zwiększona wartość „usuniętych” danych, a wartość „Zmiana netto” powinna stać się ujemna. Po usunięciu niepotrzebnych danych z systemu wartość „Usunięte” zacznie powracać do normalniejszych poziomów. W dalszym ciągu monitoruj wartość „Usunięte”.

Jeśli wartość netto zmiany nie stanie się wartością ujemną, sprawdź w dzienniku odśmiecania pamięci, jak długo funkcja odśmiecania pamięci jest w rzeczywistości uruchomiona i jaką ilość pracy wykonuje w czasie przerwy konserwacyjnej.

Użytkownicy produktów firmy Dell mogą uzyskać dostęp do treści, korzystając z łącza do artykułu Avamar: Jak zarządzać pojemnością za pomocą skryptu capacity.sh, aby uzyskać więcej informacji na temat korzystania ze skryptu capacity.sh.

Często wysokie wykorzystanie w systemie Avamar spowodowane jest naturalnym i spodziewanym przyrostem ilości danych. Należy udostępnić więcej miejsca, aby kontynuować tworzenie produkcyjnych kopii zapasowych.

Sposób wykonania tej czynności zależy od typu systemu Avamar.

• Systemy jednowęzłowe i systemy Avamar Virtual Edition (AVE)

Systemy te nie mogą być rozbudowywane. Zamów drugi, większy system Avamar i wyślij zapytanie do Dell Professional Services dotyczące przeprowadzenia migracji z mniejszego systemu do większego. Professional Services można zaangażować jedynie za pośrednictwem przedstawiciela handlowego firmy Dell.
Nowy system może składać się z jednego węzła, rozwiązania AVE lub może być systemem wielowęzłowym, o ile zapewnia więcej miejsca niż serwer źródłowy.

• Systemy wielowęzłowe

W systemach tych może działać maksymalnie 16 węzłów danych. Aby uzyskać szczegółowe informacje, skontaktuj się z przedstawicielem handlowym firmy Dell. Zwykłe kanały pomocy technicznej nie wykonują dodawania węzłów, więc nie należy otwierać zgłoszenia serwisowego w celu żądania wykonania tych prac.

• Wdrażanie systemu Data Domain

Wdrożenie systemu Data Domain jako urządzenia pamięci masowej typu back-end jest praktycznym sposobem zwiększenia pojemności dostępnej dla klientów, którzy mają kopie zapasowe w systemie Avamar. Omów dostępne opcje ze swoim przedstawicielem handlowym firmy Dell.

Przydatne narzędzia

• status.dpn
• capacity.sh
• Avalanche
• Raport DPN
• replcnt.sh
• Avamar Client Manager

Najlepsze praktyki:

• Staraj się zapobiegać sytuacjom, w których wartość wykorzystania serwera Avamar (pojemność użytkownika) przekracza 80%.
• Niższa wartość pojemności użytkownika zwiększa odporność na nieoczekiwane zmiany w zakresie ilości dodawanych danych, a także może uchronić przed sytuacją, w której system będzie niezdatny do pracy w przypadku nieoczekiwanych awarii lub krótkoterminowych problemów z zadaniami konserwacyjnymi.
• W przypadku, gdy system Avamar wykorzystuje 80% pojemności użytkownika, wymaga on od administratora systemu staranniejszego monitorowania, aby zagwarantować, że zadania konserwacyjne zostały pomyślnie ukończone i system nie działa w trybie tylko do odczytu.