Avamar: Rozwiązywanie problemów ze zmniejszoną wydajnością tworzenia kopii zapasowych

  
Typowe objawy powolnego tworzenia kopii zapasowych:

• Tworzenie kopii zapasowej nie zostaje ukończone w zaplanowanym oknie czasowym. Monitor aktywności zgłasza komunikat „Client time out — end”.
• Tworzenie kopii zapasowej nie może się rozpocząć przed upłynięciem zaplanowanego okna czasowego. Monitor aktywności zgłasza komunikat „Client time out — end”
• Zbieranie elementów bezużytecznych regularnie kończy się niepowodzeniem z komunikatem MSG_ERR_BACKUPSINPROGRESS lub MSG_ERR_TRYAGAINLATER 

Zbierz informacje:
Zbierz szczegółowe informacje o problemie: 

• Informacje wymagane przez dział pomocy technicznej przy badaniu problemów z wydajnością tworzenia kopii zapasowych przez klienta Avamar.

Określ, która część łańcucha tworzenia kopii zapasowych ma najpoważniejsze wąskie gardło:
Poniższy schemat przedstawia główne komponenty systemu tworzenia kopii zapasowych.  


Wąskie gardła ZAWSZE istnieją, ale trzeba się starać zorientować, gdzie występują.
Jeśli uda się to zrobić i zlikwidować wąskie gardło, wydajność powinna się poprawić. 
Gdy wąskie gardło zostanie zlikwidowane, może wyjść na jaw kolejne wąskie gardło. Naszym ostatecznym celem jest doprowadzenie do sytuacji, w której czas tworzenia kopii zapasowej jest akceptowalny. 


Wąskie gardła po stronie serwera Avamar:
Jeśli WSZYSTKIE kopie zapasowe na serwerze Avamar są tworzone wolno, rozważ możliwość występowania problemu po stronie serwera.  
Jeśli WSZYSTKIE kopie zapasowe na serwerze Avamar są tworzone wolno w określonych porach dnia, weź pod uwagę możliwość rywalizacji po stronie serwera lub występowania wąskiego gardła sieci.
W przypadku problemu z wydajnością jednego lub kilku klientów tworzenia kopii zapasowych skup się na każdym kliencie z osobna.


Kondycja serwera:
Sprawnie działający serwer Avamar raczej nie stanowi wąskiego gardła przy tworzeniu kopii zapasowych. 

Sprawdź kondycję serwera kopii zapasowych.  

• Avamar: Jak uruchomić skrypt kontroli stanu proactive_check.pl na serwerze Avamar
• Jeśli kopie zapasowe są wysyłane do Data Domain, sprawdź informacje o automatycznej obsłudze DD lub skontaktuj się z pomocą techniczną Data Domain, aby zweryfikować kondycję Data Domain

Avamar ogranicza połączenia klienckie, aby utrzymać akceptowalny poziom wydajności.


Rywalizacja po stronie serwera:

Jeśli w pewnych porach dnia wydajność tworzenia kopii zapasowych jest niska, może to oznaczać rywalizację.

• Skrypt sched.sh może wizualnie przedstawić działania, które były wykonywane równolegle przy powolnym tworzeniu kopii zapasowej.
• Zobacz Avamar: Jak używać skryptu sched.sh do sprawdzania historycznej aktywności związanej z tworzeniem kopii zapasowych, replikacją i konserwacją na serwerze Avamar Server.
• Sprawdź trwające zadania konserwacji, uruchamiając polecenie status.dpn
• Sprawdź, ile sesji klienckich jest aktywnych

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Opracuj harmonogramy konserwacji i tworzenia kopii zapasowych tak, aby nie nakładały się na siebie.
• Przejrzyj dane wyjściowe poleceń status.dpn i top w celu sprawdzenia obciążenia węzłów danych
• Uruchom polecenie mapall 'iostat -x' w węzłach danych. Sprawdź wartości %iowait, %idle i %util, aby stwierdzić, czy przepustowość we/wy któregoś z dysków nie jest nasycona.
• Aby określić wydajność konkretnego klienta, przetestuj tworzenie kopii zapasowej, gdy serwer Avamar nie wykonuje zadań konserwacji, innych kopii zapasowych lub replikacji.

Wydajność pozyskiwania kopii zapasowych przez Data Domain:
Zaloguj się do portalu Dell Support i zapoznaj się z poniższymi informacjami:

• Data Domain: Rozwiązywanie problemów z łącznością i wydajnością Data Domain DDBoost z wykorzystaniem narzędzia DDPCONNCHK

Wąskie gardła po stronie sieci:
Sieć może stanowić wąskie gardło, jeśli kopia zapasowa klienta jest tworzona za pośrednictwem sieci WAN.

Opóźnienie sieci:
Wpływa na szybkość, z jaką klienci mogą sprawdzać, czy na serwerze Avamar znajdują się skróty.  

• Uruchom polecenie ping z poziomu klienta do serwera Avamar i sprawdź utratę pakietów i opóźnienie w sieci.

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Jeśli klient i serwer są rozdzielone siecią WAN, to czy łącze może przesyłać niezbędne dane w oknie tworzenia kopii zapasowej?
W tym przypadku dane, które muszą zostać przesłane, zajmują4,316 GB.

Wszystkie te wartości są ze sobą powiązane:

• Ilość nowych danych w kopii zapasowej
• Czas dostępny na utworzenie kopii zapasowej
• Efektywna przepustowość sieci

Większe ilości nowych danych wymagają większej przepustowości sieci lub dłuższego czasu na utworzenie kopii zapasowej.
Czynniki te mają praktyczne ograniczenia, ale mogą być w pewnym stopniu kontrolowane przez użytkownika.
Zastanów się, czy którymś z nich można manipulować, aby w dostępnym czasie utworzyć kopię zapasową.


Jeśli podejrzewane jest wąskie gardło w sieci lub problem z komunikacją z serwerem:
Potwierdź przepustowość sieci między klientem a urządzeniem kopii zapasowej. 

• Avamar — uruchamianie polecenia iperf między dwoma systemami Avamar w celu przetestowania wydajności i przepustowości sieci

Włącz rejestrowanie avtar comstats w celu ułatwienia rozwiązywania problemów.

• Avamar: Włączanie i interpretowanie rejestrowania avtar COMSTATS w celu diagnozowania problemów z komunikacją

Wąskie gardła po stronie klienta:

• Tworzenie kopii zapasowej Avamar nie powiodło się z komunikatem „Time Out - End”, ponieważ nadal wykonywana jest początkowa kopia zapasowa

Upewnij się, że tworzenie kopii zapasowej nie zostało przedwcześnie anulowane:
Wyszukaj w dzienniku tworzenia kopii zapasowych hasło „canceled”. Poniżej przedstawiono przykład, w którym zniecierpliwiony użytkownik anulował tworzenie kopii zapasowej L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

W takich przypadkach, gdy tworzenie kopii zapasowej kończy się łagodnie, dane są zachowywane jako „CZĘŚCIOWA” kopia zapasowa.

• Avamar: Funkcja tworzenia częściowych kopii zapasowych i najlepsze praktyki dotyczące tworzenia początkowych kopii zapasowych

Mimo że dzienniki częściowych kopii zapasowych wskazują wydajność tworzenia kopii zapasowej, odpowiednia analiza wymaga dziennika z ukończonej kopii zapasowej.


Sprawdź dziennik pod kątem problemów z rozmiarem pamięci podręcznej plików lub pamięci podręcznej skrótów:

• Zobacz Avamar — sprawdzanie dziennika klienta Avamar pod kątem problemów z rozmiarem pamięci podręcznej plików lub pamięci podręcznej skrótów

Sprawdź, czy flagi ograniczania wydajności nie są przekazywane do avtar:
Ograniczanie wydajności procesora lub sieci Avtar znacznie zmniejsza wydajność tworzenia kopii zapasowych. 
Zobacz Avamar: Ograniczanie wykorzystania zasobów systemowych (procesor, sieć, we/wy i pamięć) przez klienta Avamar.

Można to wykryć w dzienniku tworzenia kopii zapasowej.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Czy istnieje wąskie gardło procesora lub pamięci klienta Avamar?
Kopia zapasowa Avamar jest tworzona tak szybko, jak pozwala na to sprzęt przy konkurowaniu z innymi usługami o zasoby. Zwracaj uwagę na „codzienne zadania” klienta i na to, kiedy jest on zajęty. 

Monitoruj klienta za pomocą Menedżera zadań lub Eksploratora procesów (w systemie Windows) lub polecenia „top” (UNIX lub Linux). Mogą one ujawnić wystąpienie nasycenia procesora podczas tworzenia kopii zapasowej. 

Firma Dell oferuje wewnętrzne narzędzie „LogAnalyzer”, które wyświetla wykresy wykorzystania zasobów i wydajności w funkcji czasu. Aby z niego skorzystać, podejmij współpracę z pomocą techniczną.

Podczas tworzenia kopii zapasowej pliki pamięci podręcznej są ładowane do pamięci. Sprawdź wykorzystanie pamięci przez klienta, aby stwierdzić, czy nie ma błędów stronicowania lub oznak braku pamięci RAM na kliencie.

Jest to mniejszy problem, gdy klienci Avamar 7.x na potrzeby Data Domain korzystają z „pamięci podręcznej stronicowania” (f_cache2.dat).
Pamięć podręczna stronicowania zmniejsza zużycie pamięci na kliencie w porównaniu z tradycyjną „monolityczną” pamięcią podręczną avtar.


Sprawdź, czy nie ma wąskiego gardła we/wy po stronie klienta:
Po zmianie rozmiaru pamięci podręcznej klienta kolejnym czynnikiem decydującym o wydajności tworzenia kopii zapasowej jest system pamięci masowej, w którym znajdują się dane kopii zapasowej i z którego są przesyłane do avtar.


Upewnij się, że docelowe urządzenie pamięci masowej jest sprawne:
Upewnij się, że z docelowym urządzeniem pamięci masowej nie ma problemów, które uniemożliwiałyby uzyskanie optymalnej wydajności. 
 

Upewnij się, że oprogramowanie innych firm nie konkuruje z avtar o operacje we/wy:
Czy jakiekolwiek aplikacje na kliencie konkurują z klientem Avamar o operacje we/wy pamięci masowej?
Skanowanie antywirusowe w czasie rzeczywistym lub podczas otwierania oprogramowania antywirusowego bardzo mocno wpływa na wydajność klienta Avamar.  

• Wydajność tworzenia kopii zapasowych Avamar Client znacznie spada z powodu skanowania plików w czasie rzeczywistym przez oprogramowanie antywirusowe

• Korzystanie z równoległości woluminów w celu poprawy wydajności tworzenia kopii zapasowych Avamar

Upewnij się, że klient nie tworzy kopii zapasowej danych za pomocą systemu plików CIFS lub NFS:
Tworzenie kopii zapasowych danych CIFS lub NFS jest obsługiwane tylko przez akcelerator NDMP. 

• Avamar i obsługa mapowanych udziałów sieciowych CIFS (SMB) i NFS. 

Sprawdź, czy używana jest kompresja lub szyfrowanie pamięci masowej:
Wydajność tworzenia kopii zapasowych może być niższa niż oczekiwana, jeśli dane docelowe znajdują się w docelowej pamięci masowej, w której dane są kompresowane lub szyfrowane na poziomie systemu plików.  


Analizowanie wąskich gardeł zasobów klienta systemu Windows za pomocą narzędzia Perfmon:
Poniższy artykuł pomaga tworzyć wykresy wydajności w celu zorientowania się, czy klient oczekuje na określony zasób w danym momencie. Rozważ używanie z wykresami utworzonymi przez narzędzie LogAnalyzer.

• Avamar — używanie narzędzia perfmon systemu Microsoft Windows do monitorowania wydajności klientów Avamar 

Kopia zapasowa plików .pst archiwum programu Outlook
Tworzenie kopii zapasowej z wieloma lub dużymi plikami .pst może przebiegać powoli. 

• Zagadnienia dotyczące wydajności podczas korzystania z systemu Avamar do tworzenia kopii zapasowych plików .pst archiwum programu Outlook

Testy porównawcze wydajności pamięci masowej 
Sprawdź wydajność urządzenia pamięci masowej, na którym znajdują się dane docelowe.

• Testowanie wydajności dysków klientów Avamar w systemie Linux 

Niska wydajność tworzenia kopii zapasowych ze względu na charakter danych, których kopie zapasowe są tworzone:
Najczęstszą przyczyną powolnego tworzenia kopii zapasowych są cechy danych, których kopie zapasowe są tworzone.


Sprawdź, czy jest dużo nowych lub zmienionych danych:

• Avamar — tworzenie kopii zapasowej jest powolne lub kończy się niepowodzeniem z komunikatem „Time out - end” z powodu dużej ilości nowych lub zmienionych danych  

Kilka dużych nowych lub zmodyfikowanych plików może spowodować, że zwykle szybkie tworzenie kopii zapasowej przekracza okno czasowe tworzenia kopii zapasowych. Aby zidentyfikować te pliki, zobacz:

• Avamar: Używanie dzienników klienta do identyfikowania plików nowych lub zmienionych po utworzeniu poprzedniej kopii zapasowej   
• Identyfikowanie plików, których przetwarzanie trwało długo podczas tworzenia kopii zapasowej Avamar 

Klienci Windows:

• Tworzenie kopii zapasowej Avamar zestawu danych zawierającego wiele dowiązań symbolicznych działa bardzo wolno  
• Wydajność klientów Avamar a kompresja w systemie Windows NTFS 

Klienci systemów Linux i UNIX — sprawdź, czy zestaw danych klienta zawiera duże pliki rozrzedzone. 

• Avamar i pliki rozrzedzone 
• Rozmiar kopii zapasowej klienta Avamar w systemie Linux może być mylący ze względu na „/var/log/lastlog” i sposób obsługi plików rozrzedzonych Avamar 

Sprawdź wiersze podsumowania tworzenia kopii zapasowych, aby poznać zakres tworzenia kopii zapasowych i zidentyfikować wartości odstające:
W dzienniku tworzenia kopii zapasowych wyszukaj ciąg „Backup #” lub „Backed-up”.

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Mogą one pozwolić zaoszczędzić dużo czasu związanego z badaniem wydajności tworzenia kopii zapasowych.
W przypadku powyższych danych wyjściowych należy wziąć pod uwagę:

1. Czy jest to kopia zapasowa początkowa, czy kopia zapasowa poziomu 1. (Mało prawdopodobne, ponieważ etykieta kopii zapasowej to #441)
2. Czy liczba plików w kopii zapasowej jest rozsądna. (2,6 miliona plików to liczba rozsądna)
3. Stosunek liczby plików do liczby folderów? (10:1 to wartość typowa)
4. Łączna ilość danych w zestawie danych. (~1,5 TB)
5. Liczba plików do przetworzenia i jej stosunek do całkowitej liczby plików. (~11 tys. do 2,5 mln plików to rozsądny stosunek)
6. Całkowity rozmiar wszystkich plików do przetworzenia. (może to być tylko wartość szacunkowa)
7. Ilość zmienionych danych, które mają zostać wysłane do serwera Avamar. (668 MB)
8. Czy stopień zmiany jest rozsądny. Wyższe stopnie zmiany mogą być tolerowane w przypadku mniejszych zbiorów danych (0,04% to wartość rozsądna)
9. Czy wydajność na godzinę przy danym ogólnym rozmiarze i zakresie tworzenia kopii zapasowych jest rozsądna. (124 tys. plików/godz. można uznać za niską wydajność, biorąc pod uwagę inne liczby)

Często te szczegóły dostarczają nam wystarczającej ilości danych, aby poznać przyczynę niskiej wydajności tworzenia kopii zapasowych.
W razie potrzeby przejrzyj komunikaty generowane w wierszu stanu podczas wykonywania kopii zapasowej.

Określ, czy którakolwiek z wartości w tych dwóch wierszach dziennika jest wartością odstającą. Innymi słowy, czy są one większe lub mniejsze niż zwykle?
Jeśli znane Ci jest działanie tworzenia kopii zapasowych, łatwiej jest wykryć anomalie.


Stosunek liczby plików do liczby folderów
Większość zestawów danych klientów ma stosunek liczby plików do liczby folderów wynoszący około 10:1, a avtar jest dostrojony tak, aby to odzwierciedlić.
Jeśli zestaw danych ma niski stosunek liczby plików do liczby folderów, jak w poniższym przykładzie, tworzenie kopii zapasowej może nie działać tak wydajnie bez drobnego dostrajania.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Zobacz Dostrajanie wydajności tworzenia kopii zapasowych klienta Avamar dla zestawów danych o niskim współczynniku liczby plików do liczby folderów.

Analiza wydajności przy użyciu komunikatów z informacjami o stanie z dziennika avtar:
Używając edytora Notepad++ lub podobnego przefiltruj dziennik pod kątem wierszy avtar Info, które zawierają komunikaty o stanie. Można je filtrować za pomocą wpisów kodu zawierających <5100> lub <8688>  w zależności od wersji klienta Avamar. Wiersze te są okresowymi komunikatami o stanie zgłaszanymi przez avtar.

• Avamar — interpretowanie wierszy stanu dziennika kopii zapasowej avtar.  

• Tworzenie kopii zapasowej Avamar działa wolno ze względu na modyfikowanie metadanych niezmienionych w inny sposób plików przez oprogramowanie innych firm 

Przeanalizuj użycie flag include i exclude. Unikaj instrukcji „include”:
Przewodnik po najlepszych praktykach operacyjnych omawia listy Include i Exclude. 

Avamar musi porównać każdy plik w zestawie danych kopii zapasowej z obiema listami, aby określić, czy należy go uwzględnić w kopii zapasowej. Taki proces porównywania zwiększa obciążenie i może wydłużyć czas wykonywania kopii zapasowych.

Sprawdź katalog avsar na kliencie pod kątem obecności pliku avtar.cmd.
Sprawdź, czy ten plik zawiera aktywne instrukcje --exclude lub --exclude-from-file.
Jeśli katalog lub system plików jest wykluczony, ale używane są flagi include, avtar skanuje go w poszukiwaniu elementów, do których ma zastosować instrukcję „include”.

Sprawdź, czy zestaw danych zawiera punkty ponownej analizy lub skróty:
Należy zwracać uwagę na to, czy zestaw danych zawiera skróty lub wskaźniki do danych przechowywanych na innym urządzeniu.
Wydajność tworzenia kopii zapasowych spada, jeśli avtar musi czekać na przywołanie zdalnego pliku.
Przykłady takiego oprogramowania: Enterprise Vault Archiver, Moonwalk i DiskXtender.

• Wydajność tworzenia kopii zapasowych wtyczki winclusterfs przez Avamar jest niska po uaktualnieniu z wersji 7.0 do 7.2.

Kopie zapasowe klientów wirtualnych z instalacją gościa Avamar

• Tworzenie kopii zapasowej maszyny wirtualnej gościa Avamar działa wolno i przekracza limit czasu z powodu wąskiego gardła w zasobach sprzętowych  
• Tworzenie kopii zapasowej gościa klienta maszyny wirtualnej Avamar działa wolno ze względu na rozwiązanie VMware vShield Endpoint Trend Micro Deep Security  

• Avamar: Niska wydajność tworzenia kopii zapasowej wtyczki winclusterfs po uaktualnieniu do wersji 7.2 z wersji 7.0 

Inne uwagi

• Upewnij się, że klienckie maszyny wirtualne nie mają ograniczonych zasobów ani nie podlegają ścisłym ograniczeniom sprzętowym, które mają wpływ na możliwość szybkiego tworzenia kopii zapasowych Avamar.  Na intensywnie pracujących maszynach system operacyjny może być przeciążony lub obsługiwać zbyt wiele wątków, co powoduje intensywne przełączanie kontekstu.
• Korzystanie z przewodnika po najlepszych praktykach operacyjnych Avamar w celu optymalizacji systemu Avamar, planowania tworzenia kopii zapasowych i dostrajania pamięci podręcznych klientów.

Pozostałe materiały referencyjne

• Wydajność klientów Avamar a kompresja w systemie Windows NTFS