Avamar: Zachowanie i teoria wydajności kopii zapasowych

Celem tego artykułu jest opisanie tego, co dzieje się podczas tworzenia kopii zapasowej Avamar, ze szczególnym uwzględnieniem pomocy czytelnikowi w zrozumieniu zachowania związanego z wydajnością tworzenia kopii zapasowych.

Ten artykuł jest uzupełnieniem następujących artykułów:

• Avamar: Rozwiązywanie problemów z niską wydajnością kopii zapasowych
• Avamar: Dostrajanie kopii zapasowych w celu szybkiego zakończenia

Co się dzieje podczas tworzenia kopii zapasowej Avamar?

Proces tworzenia kopii zapasowej avtar :

1) Ładuje pliki i pliki pamięci podręcznej skrótów do pamięci

2017-06-09 23:00:25 avtar Info <5586>: Loading cache files from C:\Program Files\avs\var
2017-06-09 23:00:25 avtar Info <8650>: Opening filename cache file 'C:\Program Files\avs\var\f_cache2.dat'
2017-06-09 23:00:25 avtar Info <5573>: - Loaded filename cache file (6,532,792 bytes)
2017-06-09 23:00:26 avtar Info <8650>: Opening hash cache file 'C:\Program Files\avs\var\p_cache.dat'
2017-06-09 23:00:28 avtar Info <5573>: - Loaded hash cache file (402,653,728 bytes)
2017-06-09 23:01:01 avtar Info <6426>: Done loading cache files

2) Utworzenie migawek VSS (w systemie Windows):

2017-06-09 23:04:32 avtar Info <19008>: Obtaining available VSS providers
2017-06-09 23:04:32 avtar Info <8776>: Freezing volumes now...
2017-06-09 23:04:32 avtar Info <8780>: Creating the shadow copy set (DoSnapshotSet) ... 
2017-06-09 23:14:33 avtar Info <8781>: Shadow copy set successfully created.
2017-06-09 23:14:34 avtar Info <6074>: VSS snapshot set creation successful

3) Spaceruje po wszystkich plikach zdefiniowanych przez zestaw danych W przypadku wszystkich plików w źródłowym zbiorze danych
avtar pobiera pełną ścieżkę i łączy ją z metadanymi podobnymi do stat, aby obliczyć skrót w celu jednoznacznej identyfikacji pliku.

Aby uzyskać więcej informacji, zobacz Avamar: Co się stanie, gdy avtar odczyta plik podczas fazy skanowania plików.

4) Porównaj obliczone skróty z wartościami w lokalnych pamięciach podręcznych klienta. Avtar wyszukuje skrót pliku w pamięci podręcznej plików.

Sprawdza, czy jest nowy, czy też został zmodyfikowany od czasu poprzedniej kopii zapasowej.

Jeśli wyszukiwanie pamięci podręcznej plików zakończy się pomyślnie, plik istnieje i pozostaje niezmieniony.

Jeśli wyszukiwanie zakończy się niepowodzeniem, plik jest nowy lub uległ zmianie. Musi być odczytany i przetworzony.

Aby uzyskać więcej informacji, zobacz Klient Avamar — co musi się zmienić, zanim avtar uzna plik za zmodyfikowany?

5) Przetwarzaj nowe i zmodyfikowane pliki

W przypadku każdego nowego lub zmodyfikowanego pliku avtar musi:

• Odczytaj cały plik
• Podziel go na fragmenty o zmiennej wielkości
• Kompresja każdego kawałka
• Oblicz skrót dla każdego fragmentu

6) Sprawdź, czy na serwerze Avamar brakuje skrótów.

Avtar wysyła dane dotyczące brakujących skrótów przez sieć do serwera Avamar, aby sprawdzić, czy już istnieją. Są to tak zwane żądania "ispresent".

7) Dane są zapisywane na serwerze Avamar (i w razie potrzeby w Data Domain). 

Aby uzyskać bardziej szczegółowy przepływ pracy, zobacz załączony Avtarprocess.pdf.


Przegląd kopii zapasowej Avamar z perspektywy wydajności:

Biorąc pod uwagę powyższe etapy, podzieliliśmy je na "fazy", które mają największy wpływ na wydajność tworzenia kopii zapasowych:

Faza 0. Tworzenie migawek usługi VSS.

Usługa kopiowania woluminów w tle (VSS) tworzy migawki woluminów określonych w źródłowym zestawie danych. Aplikacje mogą nadal zapisywać dane na woluminie podczas wykonywania kopii zapasowej.
Avamar tworzy kopię zapasową "zamrożonej" migawki tylko do odczytu woluminu, a nie woluminu zapisu. Dzięki temu ma spójny zestaw danych do tworzenia kopii zapasowych.

Migawki usługi VSS trwają kilka sekund. Jeśli na kliencie występują problemy z usługą VSS, to opóźnienie lub uniemożliwia kontynuowanie tworzenia kopii zapasowej.

Etap 1. Faza skanowania plików. Proces avtar statystykuje wszystkie pliki w docelowym zestawie danych

W przypadku klientów z milionami plików ta faza może być najbardziej czasochłonna.
Dane bazy danych zawierają niewiele, większych plików, więc faza skanowania plików zajmuje niewiele czasu. Klienci bazy danych zazwyczaj zużywają swój czas podczas fazy #2.

W przypadku klienta z dyskami obrotowymi w konfiguracji RAID 5 typowa wydajność skanowania plików wynosi ~1 milion plików na godzinę. Waha się to od 300 000 do 3 milionów na godzinę. Zależy to od środowiska klienta i charakterystyki danych objętych kopią zapasową.

Począwszy od wersji 7.3, klienci Linux tworzący kopie zapasowe w Data Domain mogą korzystać z funkcji Linux Fast Incremental (LFI). Pozwala to uniknąć skanowania całego zestawu danych za każdym razem, gdy kopia zapasowa jest uruchamiana.

Zasoby krytyczne: wydajność wyszukiwania losowego dysku, na którym przechowywane są dane kopii zapasowej.

Etap 2. Avtar odczytuje zmienione pliki, a następnie fragmentuje, kompresuje i haszuje dane.

W tej fazie odbywa się wiele obliczeń. Dla każdego zmodyfikowanego lub nowego pliku avtar dzieli go na małe fragmenty. Kompresuje każdy fragment i oblicza skrót jako "odcisk palca" w celu identyfikacji fragmentu.

Pliki w kopiach zapasowych baz danych są często duże i zmieniają się codziennie. Avtar spędza większość czasu w tej fazie. Najlepiej jest korzystać z oficjalnych wtyczek bazy danych Avamar, aby zapewnić wydajną obsługę bazy danych, wykorzystując funkcję tworzenia przyrostowych kopii zapasowych, dzienniki transakcji itd.

Typowa wydajność przetwarzania plików wynosi około 100 GB na godzinę, ale może się różnić do 300 GB na godzinę. Jest to zależne od środowiska.

Zasoby o znaczeniu krytycznym: Dysk i procesor

klienta W przypadku tworzenia kopii zapasowych w sieci LAN, w przypadku których nie ma wąskich gardeł w wysyłaniu danych do serwera Avamar, fazy #1 i #2 zajmują najwięcej czasu.

Na poniższym wykresie należy wziąć pod uwagę, że wielkość obszaru w słupkach wykresu odpowiada czasowi, jaki trwa tworzenie kopii zapasowej. Zmienione pliki mogą drastycznie wydłużyć wymagany czas, zwłaszcza jeśli te pliki są duże.

W przypadku zestawów danych systemu plików należy spodziewać się zmiany ~0–3% plików dziennie.

Avtar musi 'stat()' każdy plik, który zmienia się poprzez wykonanie dwóch operacji we/wy, jednej w celu sprawdzenia atrybutów pliku, a drugiej w celu sprawdzenia atrybutów bezpieczeństwa.

Aby osiągnąć porównawczą wydajność skanowania wynoszącą jeden ~1 milion plików/godzinę dla kopii zapasowych systemu plików, avtar wymaga około dwóch milionów operacji wyszukiwania na godzinę lub 600 operacji wyszukiwania na sekundę.

Oto przykład: Jeśli współczynnik zmian kopii zapasowej wynosi 3%, 97 na 100 plików wymaga dwóch operacji przeszukiwania dysków w celu określenia, czy uległy zmianie. Pozostałe trzy, które uległy zmianie, muszą zostać zeskanowane, podzielone na fragmenty, skompresowane i zahaszowane.

Uwzględnia to tylko fazę skanowania plików i nie uwzględnia zasobów we/wy wymaganych do przetwarzania plików, które zostały zmodyfikowane.
Im więcej danych w zmodyfikowanych plikach, tym więcej pracy potrzeba do wykonania kopii zapasowej.

Etap 3. Sprawdzanie istnienia skrótów na serwerze

AvamarFazy #1 i #2 generują skróty, które wskazują elementy kopii zapasowej. Elementami tymi mogą być unikatowe fragmenty plików, systemy plików lub całe kopie zapasowe.

Skróty są zapisywane w plikach pamięci podręcznej klienta i porównywane z skrótami obecnymi na serwerze Avamar w celu sprawdzenia, czy należy dodać nowe dane. Dzieje się tak niezależnie od tego, czy magazynem docelowym jest serwer Avamar, czy Data Domain.

Porównania skrótów między klientem Avamar a serwerem są zazwyczaj szybkie. Nie powinny one stanowić wąskiego gardła kopii zapasowej, jeśli serwer Avamar jest;

• Zdrowe
• Przy normalnych poziomach obciążenia
• Znajduje się w tym samym segmencie sieci LAN co klient.

Ponieważ skróty mają tylko rozmiar 20 bajtów, na tę fazę ma większy wpływ opóźnienie sieci niż przepustowość sieci. Gdy skrót dociera do serwera Avamar, ogólne obciążenie i wydajność wyszukiwania losowego podsystemu dyskowego węzłów danych określają, jak szybko skrót jest pobierany i porównywany z skrótem wysyłanym przez klienta.

Zasoby o znaczeniu krytycznym: Czas reakcji sieci i wydajność losowego wyszukiwania węzłów danych Avamar.

Wydajność wyszukiwania losowego w skali fizycznej Avamar z uwzględnieniem liczby i rozmiaru węzłów danych. Systemy AVE działają gorzej, porównywalnie z systemami z jednym węzłem.

Etap 4. Wysyłanie nowego fragmentu przez sieć do serwera Avamar lub Data Domain

Gdy klient wysyła do serwera nowy, unikatowy fragment (o rozmiarze do 64 KB), wydajność zależy przede wszystkim od przepustowości sieci. Dotyczy to głównie klientów opartych na sieci WAN, którzy każdego dnia generują dużą ilość zmienionych danych. Może również mieć wpływ na osoby korzystające z przeciążonych łączy sieciowych. 

Poniżej przedstawiono schematy przepływu danych, w którym klient wysyła dane do systemu Avamar oraz do zintegrowanego systemu Avamar — Data Domain.






Zasoby o znaczeniu krytycznym: Przepustowość sieci między klientem a serwerem

Faza 5. Dane zapisywane na serwerze Avamar lub w Data Domain

Dane kopii zapasowej muszą być zapisane na serwerze Avamar lub w systemie Data Domain.

Zasoby o znaczeniu krytycznym: Wydajność zapisu na dysku serwera Avamar i ogólne ładowanie.