Data Domain: Rozwiązywanie problemów z wydajnością systemu Data Domain Virtual Edition

Sieć i łączność urządzenia hostującego maszynę wirtualną:

Operacje we/wy przez sieć Ethernet:

W przypadku korzystania z agregatów sieci Ethernet do połączeń transferu danych z urządzeniem hosta nie można założyć, że istnienie konfiguracji agregatów sieci Ethernet prawidłowo równoważy obciążenie. Aby zapewnić nieograniczoną liczbę operacji we/wy w połączeniu z urządzeniem hostującym maszynę wirtualną, należy wdrożyć odpowiednie techniki równoważenia obciążenia i przepustowość.

Łączność od urządzenia hostującego maszynę wirtualną do dyskowej pamięci masowej:

Typ i protokół połączenia mają ogromny wpływ na możliwości wydajnościowe maszyny wirtualnej DDVE. Poniżej wymieniono najczęściej używane typy połączeń między urządzeniem hostującym maszynę wirtualną a dyskową pamięcią masową. Opcja 1 oferuje najlepszy poziom wydajności, a opcja 5 jest najgorszym wyborem w zakresie łączności. Ustawienia pamięci podręcznej zapisu HBA mogą również radykalnie wpływać na możliwości wydajnościowe połączenia między urządzeniem hosta a dyskową pamięcią masową. Zaleca się włączenie pamięci podręcznej zapisu na HBA, aby zapewnić najlepszą wydajność połączenia od urządzenia hosta do dyskowej pamięci masowej.

1. Pamięć masowa podłączana bezpośrednio — dyski SAS/SSD w macierzy RAID 5 lub RAID 6 + włączona pamięć podręczna zapisu HBA (preferowana opcja w celu uzyskania najlepszej wydajności)
2. Pamięć masowa podłączana bezpośrednio — JBOD bez macierzy RAID + włączona pamięć podręczna zapisu HBA (akceptowalna wydajność, ale brak zalecanej ochrony RAID)
3. Zewnętrzna pamięć masowa RAID podłączona do FC (aktywna/aktywna 16 GB lub szybsza) (akceptowalna wydajność, ale może być ograniczona przez możliwości wydajnościowe FC)
4. iSCSI 10G (zewnętrzna dyskowa pamięć masowa) (opcja niezalecana)
5. NFS 10G (zewnętrzna dyskowa pamięć masowa) (opcja niezalecana)

Sprawdzanie fizycznych macierzy pamięci masowej oraz statystyk i wydajności:

Jakość dysku a rozmiar dysku a liczba dysków:

Dyski o większej gęstości, na przykład 4 TB i więcej, mają mniej IOPS na TB niż mniejsze dyski. Z tego powodu system DDVE wdrożony na większej liczbie dysków o mniejszej pojemności (TB) zapewnia większą wydajność niż system DDVE wdrożony na kilku dyskach o dużej pojemności (TB). Wynika to z dużej zależności DDVE od wydajności odczytu losowego. Normalne obciążenie robocze DDVE może sprawić, że wybór między rozmiarem dysku fizycznego a liczbą dysków fizycznych będzie jeszcze istotniejszy, dlatego należy zadbać o to, aby system pamięci masowej był odpowiednio wyważony i spełniał oczekiwania określone w odpowiednim przewodniku po najlepszych praktykach DDVE. W tym artykule nie będziemy skupiać się na poszczególnych typach fizycznych dysków twardych i SSD ani ich możliwościach wydajnościowych. Informacje te można uzyskać od producenta dysku. Powiemy tylko, że większa wydajność dysków fizycznych przekłada się na większą wydajność maszyny wirtualnej DDVE.

Rozwiązywanie problemów z pamięcią masową:

Sprawdź opóźnienie na dyskach fizycznych powiązanych z maszyną wirtualną DDVE.

W przypadku VMware można to zrobić, wybierając maszynę wirtualną, kartę Performance (Wydajność), a następnie opcję Datastore (Magazyn danych) z listy rozwijanej. Zostaną wyświetlone wszystkie odpowiednie magazyny danych dla konkretnej maszyny wirtualnej DDVE. Na koniec wybierz przycisk Advanced (Zaawansowane), aby wyświetlić szczegółowe, graficzne informacje o opóźnieniach magazynów danych powiązanych z maszyną wirtualną DDVE.

Rysunek 1. Wydajność magazynu danych

Aby określić obciążenie we/wy magazynu danych, oblicz liczbę operacji we/wy na sekundę (IOPS) przetwarzanych przez magazyn danych.

Zacznij od tego samego wykresu co poprzednio, ale wybierz pozycję Chart Options (Opcje wykresu), wyczyść pola Write latency (Opóźnienie zapisu) i Read latency (Opóźnienie odczytu), a następnie wybierz dwie wartości: Average read requests per second (Średnia liczba żądań odczytu na sekundę) i Average write requests per second (Średnia liczba żądań zapisu na sekundę). Wynikowy wykres przedstawia liczbę IOPS wykonywanych przez magazyn danych i może dać pewne wyobrażenie o ogólnym obciążeniu, jakie pamięć masowa „dev” systemu DDVE nakłada na magazyn danych. Taki wykres może być również przydatny do rozpoznania, czy magazyn danych jest współużytkowany z obciążeniem roboczym z aplikacji innej niż DDVE.

Rysunek 2. Opcje wykresu

Aby uzyskać bardziej szczegółowy widok IOPS, sprawdź wskaźniki odczytu/zapisu.

Z założenia DDVE zwykle odczytuje z dyskowej pamięci masowej 2–4 razy więcej danych, niż zapisuje. Wyjątkiem jest faza gen-0 (seeding) wykonywania kopii zapasowych, kiedy zapisywane są zupełnie nowe dane i nie można ich deduplikować. Z wyżej wymienionych powodów fizyczna pamięć masowa używana przez DDVE musi być w stanie efektywnie obsługiwać głównie zorientowane na odczyt, ale ogólnie mieszane, losowe obciążenia robocze systemu plików Data Domain.

Macierze pamięci masowej z dyskami fizycznymi (SSD, dyski magnetyczne itd.) mogą mieć zupełnie inne możliwości w zakresie wydajnego przetwarzania operacji odczytu niż operacji zapisu. Zdolność systemu pamięci masowej z dyskami fizycznymi do zapewnienia wyjątkowej wydajności odczytu losowego mierzonej w IOPS, w połączeniu z niskimi opóźnieniami (poniżej 40 milisekund), to najważniejsze czynniki decydujące o tym, czy magazyn danych osiąga akceptowalną charakterystykę wydajności do obsługi maszyny wirtualnej DDVE.

Jeśli wymagana jest głębsza analiza wydajności macierzy pamięci masowej lub magazynu danych, stosuje się narzędzie wiersza poleceń o nazwie vscsiStats. Więcej informacji na temat wykorzystania narzędzia vscsiStats do uzyskiwania rozmiarów bloków, opóźnień i bardziej szczegółowych statystyk wydajności odczytu/zapisu można uzyskać w dziale pomocy technicznej firmy VMware.

Sprawdzanie, czy alokacja zasobów spełnia wymagania dotyczące DDVE:

Często przyczyną problemu z wydajnością maszyny wirtualnej DDVE jest skonfigurowane ustawienie, które ogranicza zasoby dostępne dla maszyny wirtualnej DDVE. Ogólnie rzecz biorąc, pule zasobów z ograniczeniami służą jedynie do ograniczania ogólnej wydajności maszyny wirtualnej DDVE i w związku z tym nie są zalecane. Z drugiej strony istnieją pewne rezerwacje zasobów, które poprawiają ogólną wydajność maszyny wirtualnej DDVE. W przypadku wdrażania, rozwiązywania problemów lub dostrajania maszyny wirtualnej DDVE pod kątem wydajności należy zawsze zapoznać się z przewodnikami po najlepszych praktykach i administracji dla systemu DDVE.

Rozpocznij weryfikację przydzielenia zasobów, wybierając kartę Resource Allocation (Przydzielenie zasobów). Następnie wybierz z puli maszyn wirtualnych maszynę wirtualną DDVE, dla której chcesz rozwiązać problemy. W sekcji View (Widok) wybierz pozycję CPU (Procesor) i sprawdź wszystkie maszyny wirtualne w tej puli (zakładając, że znajduje się tam również maszyna wirtualna stwarzająca problemy). Upewnij się, że ustawienie Limit MHz (Ograniczenie MHz) ma wartość Unlimited (Bez ograniczeń). Nie zaleca się ograniczania zasobów procesora dla maszyny wirtualnej DDVE, ponieważ powoduje to zmniejszenie wydajności.

Rysunek 3. Przydzielenie zasobów

Przejdź do weryfikacji zasobów pamięci przydzielonych maszynie wirtualnej DDVE. Sprawdź, czy zasoby pamięci są prawidłowo „zarezerwowane” i mają wartość Unlimited (Bez ograniczeń), aby zapewniać najlepszą wydajność. Nie zaleca się ustawiania limitów przydziału pamięci dla DDVE, gdyż powoduje to zmniejszenie wydajności.

Rysunek 4. Zasoby pamięci

Na karcie Storage (Pamięć masowa) sprawdź, czy nie ma żadnych ograniczeń dotyczących wartości IOPS pamięci masowej. Wybierz przycisk Storage (Pamięć masowa) i wyświetl dyski/magazyny danych. Ustawienie „Limit-IOPS” (Limit IOPS) dla każdego dysku powiązanego z maszyną wirtualną DDVE musi mieć wartość Unlimited (Bez ograniczeń).

Rysunek 5. Zasoby pamięci masowej

W przypadku trzech wymienionych już kategorii zasobów zwróć uwagę na wartości % shares (% udziału). Wartości wartości % shares (% udziału) wskazują, jaki procent udziału wykorzystuje dana maszyna wirtualna z całej puli zasobów. „Wartości udziału” są względne, a nie bezwzględne. Należy jednak zadbać o to, aby nie było dużej rozbieżności między wartościami dla wszystkich urządzeń w puli. Na przykład można oczekiwać wartości 1000, 2000 i 3000, ale na przykład wartości 10, 5 i 4000 wskazują na nietypową rozbieżność i nierówny podział zasobów. Jeśli jakaś pojedyncza maszyna wirtualna wykazuje znaczną rozbieżność, należy rozważyć zmianę ustawień „wartości udziału”.

Sprawdzanie statystyk wydajności maszyny wirtualnej DDVE:

Wydajnie działająca maszyna wirtualna DDVE wymaga nieograniczonego dostępu do zasobów, aby mieć najwyższą wydajność. DDVE w znacznym stopniu wykorzystuje pamięć i procesor i tych zasobów nie można ograniczać bez problemów. Gdy maszyna wirtualna DDVE jest już w środowisku produkcyjnym, możemy wykorzystać wykresy i tablice na karcie Performance (Wydajność), aby ocenić wykorzystanie przez nią zasobów. Za ich pomocą możemy określić, jak wydajnie działa.

Procesor

Wybierz maszynę wirtualną DDVE, dla której chcesz rozwiązać problemy. Następnie wybierz kartę Performance (Wydajność). W polu Switch to (Przełącz na) wybierz opcję CPU (Procesor) z listy rozwijanej. W tym widoku można ocenić stopień i procent wykorzystania procesora przez maszynę wirtualną DDVE. Jeśli wartość procentowa wykorzystania procesora przez maszynę wirtualną DDVE stanowi wysoki odsetek całego dostępnego zasobu, można założyć, że urządzenie hostujące może nie być odpowiednie do wykorzystania pełnego potencjału maszyny wirtualnej DDVE.

Rysunek 6. Wydajność procesora

Pamięć

Jeśli maszyna wirtualna wydaje się reagować powoli, procesor może mieć problem z planowaniem. Aby ocenić wydajność procesora, zacznij od poprzedniego wykresu i ponownie wybierz pozycję Chart Options (Opcje wykresu). Wyczyść pola wszystkich liczników, a następnie wybierz licznik Ready (Gotowość). Licznik ten wyświetla czas gotowości procesorów wirtualnych. Wartość w milisekundach wskazuje czas, przez który maszyna wirtualna jest gotowa do uruchomienia, ale monitor maszyny wirtualnej nie może jeszcze przypisać procesora do zadania. Aby uzyskać optymalną wydajność maszyny wirtualnej DDVE, wartość ta powinna wynosić poniżej 8 milisekund. 

Rysunek 7. Czas gotowości procesora

Wydajność i dostępność pamięci mogą być również czynnikami ograniczającymi ogólną wydajność maszyny wirtualnej DDVE. Jeśli dla maszyny wirtualnej DDVE nie będzie skonfigurowana wymagana ilość zarezerwowanej pamięci fizycznej, zostanie wygenerowany aktywny alert. Sprawdź aktywne alerty, uruchamiając polecenie # alerts show current w interfejsie wiersza poleceń DDVE, a następnie rozwiąż powiązane problemy.

Jeśli maszyna wirtualna DDVE nie ma dostępnych wystarczających zasobów pamięci, reaguje, zamieniając strony pamięci na dysk. Jest to stan niepożądany, który powoduje poważne pogorszenie wydajności. Aby ocenić aktywne użycie pamięci maszyny wirtualnej DDVE, zacznij od wybrania karty Performance (Wydajność), a następnie wybierz opcję Memory (Pamięć) w polu Switch to (Przełącz na).

Domyślnie na wykresie wyświetlane są dla pamięci wartości Active (Aktywna), Granted (Przyznana), Balloon (Balonowa) i Consumed (Zużywana). Aby uzyskać optymalną wydajność, ilość aktywnej pamięci powinna wynosić około 35–50% przyznanej ilości pamięci. Zawsze gdy ilość aktywnej pamięci zbliża się do 60% przyznanej pamięci, może dojść do sytuacji, w której wewnątrz maszyny wirtualnej DDVE następuje zamiana.

Rysunek 8. Wydajność pamięci

Sprawdzanie, czy maszyna wirtualna DDVE jest zgodna z „najlepszymi praktykami” i zalecanymi konfiguracjami:

Podczas rozwiązywania problemów z wydajnością trzeba sprawdzić wiele rzeczy i zebrać dzienniki z samej maszyny wirtualnej DDVE. Przed otwarciem zgłoszenia dla zespołu wsparcia DDVE sprawdź, czy konfiguracja DDVE jest zgodna z zalecanymi najlepszymi praktykami i ustawieniami. Informacje na temat używanej wersji DDVE i platformy hostującej można znaleźć w dokumentacji dostępnej w witrynie wsparcia.

Zbieranie statystyk wydajności:

1. Zbierz wyniki działania poniższych poleceń i narzędzi wiersza poleceń, aby ocenić bazową dyskową pamięć masową i upewnić się, że konfiguracja zapewnia poziom wydajności wymagany do obsługi wybranej pojemności DDVE.

• Uruchamianie narzędzia Disk Assessment Test (DAT) dla każdego urządzenia dyskowego dev podłączonego do systemu DDVE. Sekcja Monitorowanie wydajności w podręczniku administracyjnym DDVE zawiera szczegółowe instrukcje dotyczące tego, kiedy i jak używać narzędzia DAT.
• Wykonaj test DAT odpowiedni dla typu przyswajanych operacji we/wy. Plik with-vnvram powinna być używana, jeśli do zapisu kopii zapasowych używany jest głównie system plików CIFS/NFS. Niektórzy użytkownicy używają Boost do tworzenia kopii zapasowych, a następnie używają NFS, aby uzyskać dostęp do odczytu. W takim przypadku użycie flagi with-vnvram nie jest wymagane.
• Użycie narzędzia DAT nie jest obsługiwane w przypadku systemu DDVE wdrożonego w chmurze (Microsoft Azure, Amazon AWS).

2. Polecenia DDVE wiersza poleceń służące do zbierania informacji na potrzeby rozwiązywania problemów z wydajnością:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (sprawdzanie, czy przypisania grup wrzecion są zgodne z najlepszymi praktykami)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (sprawdzanie opóźnienia i wartości IOPS jednego urządzenia)
• #system show performance (użycie najlepszej składni do zawężenia widoku danych wyjściowych interfejsu wiersza poleceń podczas normalnego obciążenia DDVE operacjami we/wy)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (można wprowadzić wiele urządzeń dev, aby uzyskać pełny widok)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Zbieranie informacji o wydajności DDVE za pomocą interfejsu wiersza poleceń # vserver Zbieranie informacji o wydajności DDVE za pomocą interfejsu wiersza poleceń # vserver

• #se # vserver — dane wyjściowe podczas obciążenia operacjami we/wy. (Dane wyjściowe są częścią przesyłanego zestawu, jeśli VServer został skonfigurowany i uruchomiony przed utworzeniem zestawu).

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Utwórz i prześlij aktualny zestaw pomocy technicznej, w tym dzienniki vserver i disk_perf .

Przydatne filmy:

Szablon otwierania zgłoszenia serwisowego dla zespołu wsparcia DD w celu rozwiązania problemów z wydajnością maszyny wirtualnej DDVE

Konfiguracja hosta maszyny wirtualnej

Producent, model, wersja i nazwa systemu operacyjnego hosta?
Dostawca monitora maszyny wirtualnej (VMware, Hyper-V, inny)?
Wersja i numer kompilacji serwera ESXi/Hyper-V hosta?
Wersja i numer kompilacji klienta vSphere lub menedżera Hyper-V?
Czy jest to konfiguracja klastrowa, czy konfiguracja HA?
Czy ostatnio zmieniła się konfiguracja hosta lub maszyny wirtualnej?
Czy urządzenie hosta jest wyposażone w pamięć podręczną podtrzymywaną bateryjnie, pamięć NVRAM lub inny mechanizm chroniący dane w przypadku nieplanowanego zamknięcia systemu?

Pamięć masowa hosta maszyny wirtualnej

Konfiguracja macierzy RAID pamięci masowej oraz rozmiar, szybkość, typ dysku (np. RAID 6 — 3 TB — 7200 obr./min — SATA)?
Typ połączenia z systemem pamięci masowej (NFS, FCP, iSCSI, SAS)?
Czy woluminy pamięci masowej i magazyny danych używane przez DDVE są współużytkowane z obciążeniami roboczymi innymi niż Data Domain?
Czy buforowanie zapisu jest włączone czy wyłączone w pamięci masowej używanej przez DDVE?
Czy ostatnio zmieniła się konfiguracja pamięci masowej?
Czy w przypadku urządzeń dyskowych DDVE używana jest alokacja statyczna Thick Provisioning, czy dynamiczna Thin Provisioning?

Konfiguracja systemu Data Domain Virtual Edition (DDVE)

Wersja systemu operacyjnego i rozmiar DDVE (np. DDVE 3.0 — 6.0.1.10 — 64 TB)?
Protokół transferu danych DDVE (np. Boost, NFS, CIFS, NDMP, FCP)?
Obciążenia robocze DDVE (np. chmura, replikacja, tworzenie kopii zapasowych, VTL)?
Wersje aplikacji i wtyczki do tworzenia kopii zapasowych?

Szczegółowy opis problemu

Sieć:
Wydajność:
Instalacja i konfiguracja:
System plików DD:
Niedostępne dane lub utrata danych?
Czy masz otwarte zgłoszenie u innego dostawcy związane z tym systemem DDVE?

Wymagane dzienniki

Pakiet wsparcia — #support bundle create default Data Domain: Zbieranie/przesyłanie zestawu pomocy technicznej (SUB) z Data Domain Restorer (DDR)

vserver perf-stats — #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log — #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
„Opcjonalny” zestaw dzienników VMware — zobacz artykuł w witrynie samoobsługowej VMware