System Data Domain i wpływ konwersji na kompresję GZ

ROZWIĄZANIE

DDOS obsługuje obecnie cztery różne typy kompresji z różnymi poziomami kompresji obciążenia procesora. Poniższa tabela zawiera podsumowanie cech każdej opcji:
 

type         expected-comp               CPU-load 
----------   --------------------   -------------- 
none         1.0x                       0x 
lz(default)  2.0x                       1x 
gzfast       2.5x                       2x 
gz           3.0x                       5x

Na przykład algorytm kompresji gz daje około 3x kompresję lokalną, ale zużywa około 5x więcej procesora do uruchomienia części kompresji kodu niż lz. Oczekiwane wartości kompresji mogą się znacznie różnić w zależności od typu danych. Dla niektórych typów danych gz może być tylko o 10% lepsze niż lz, podczas gdy dla innych typów danych jest 2x lub lepsze niż lz.

Przykłady takich zbiorów danych obejmują:

• Pliki baz danych.
• Pliki dziennika.

Konsekwencje stosowania kompresji GZ:

Ponieważ silniejsze algorytmy kompresji zużywają więcej procesora, mogą mieć poważne konsekwencje dla wydajności:

• Kopie zapasowe o niskiej deduplikacji działają wolniej, ponieważ więcej nowych danych musi zostać skompresowanych i zapisanych na dysku. W szczególności pierwsza pełna kopia zapasowa prawdopodobnie osiągnie 50% znamionowej przepustowości szczytowej.
• Ze względu na fakt, że czyszczenie powoduje dekompresję i ponowną kompresję danych, czyszczenie może trwać dłużej i spowolnić inne działania w systemie, takie jak tworzenie kopii zapasowych i replikacja.
• Źródłowy DDR w parze replikacji katalogów kompresuje dane przy użyciu algorytmu kompresji używanego przez miejsce docelowe przed wysłaniem danych. W związku z tym, jeśli miejsce docelowe używa algorytmu kompresji gz, replikacja może działać wolniej i może spowodować spowolnienie innych działań w systemie, takich jak tworzenie kopii zapasowych i czyszczenie. 

Dlatego konwersja do kompresji GZ jest decyzją, która powinna zostać podjęta w oparciu o obciążenie systemu. W przeciwnym razie problem z pojemnością zostanie zasadniczo przekształcony w problem z wydajnością.

W poniższej sekcji opisujemy charakterystykę obciążenia, w którym GZ byłby pomocny.

Kto powinien stosować kompresję GZ?

Aplikacje o wysokich wymaganiach dotyczących deduplikacji, niskiego wskaźnika rezygnacji i niskiej wydajności tworzenia kopii zapasowych są idealnymi kandydatami do użycia gz. Dobrym przykładem są aplikacje nearline. Większość DDR w terenie wykorzystywanych w aplikacjach typu nearline korzysta już z gz.

Jak zmienić typ kompresji?

Użyj następujących poleceń, aby zmienić typ kompresji:

# filesys disable
# filesys option set local-compression-type {none | lz | gzfast | gz}
# filesys enable

Po zmianie typu kompresji wszystkie nowe zapisy używają nowego typu kompresji, a wszelkie dane już zapisane zostaną przekonwertowane na nowy typ kompresji podczas czyszczenia. Leniwa konwersja oznacza, że nie wszystkie pojemniki zostaną ponownie skompresowane podczas pierwszej rundy czyszczenia. Pełna ponowna kompresja wszystkich danych istniejących w modułach DDR przed zmianą zasad kompresji wymaga kilku rund czyszczenia.

Zasady czyszczenia określają, które pojemniki są wybierane w danej rundzie czyszczenia i tylko te kontenery są ponownie kompresowane. Zasady czyszczenia są oparte na ilości danych niepotrzebnych przechowywanych przez dany kontener.  Dane śmieci oznaczają usunięte dane, do których przestrzeń nazw już się nie odwołuje. Im więcej śmieci ma pojemnik, tym większe prawdopodobieństwo, że zostanie wybrany do czyszczenia.

Jeśli klient chce zapłacić jednorazowe trafienie, może wykonać następującą procedurę:

1. Wyłącz DDFS za pomocą polecenia:

   filesys disable

2. Użyj następującego polecenia, aby wyłączyć leniwą konwersję (wymaga trybu SE):

   reg set system.GC_APPLY_LAZY_CONVERSION=false

3. Włącz DDFS za pomocą polecenia:

   filesys enable

W rezultacie pierwsze czyszczenie po zmianie typu kompresji i wyłączeniu leniwej konwersji może zająć więcej czasu. Za każdym razem, gdy zmieniasz typ kompresji, powinieneś uważnie monitorować system przez tydzień lub dwa, aby upewnić się, że działa dobrze.

ŹRÓDŁO

System i wydajność czyszczenia Wpływ konwersji na 180977 kompresji LZ