Pomiar pojemności fizycznej DDOS lub raportowanie pojemności fizycznej — często zadawane pytania
Summary: Często zadawane pytania dotyczące pomiaru pojemności fizycznej (PCM) lub raportowania pojemności fizycznej (PCR) w systemie operacyjnym Data Domain (DD OS).
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Instructions
Wersja 5.7 systemu operacyjnego Data Domain (DD OS) wprowadza nową funkcję znaną jako pomiar pojemności fizycznej (PCM) lub raportowanie pojemności fizycznej (PCR).
W tym artykule opisano typowe przypadki użycia i pytania dotyczące tej funkcji. PCM i PCR są używane zamiennie w tym dokumencie.
Co to jest pomiar pojemności fizycznej (PCM)?
PCM to nowa funkcja obsługiwana w DD OS w wersji 5.7 i nowszych, która umożliwia obliczanie dokładnego wykorzystania dysku twardego przez drzewo katalogów, kolekcję drzew katalogów, mtree lub kolekcję MTree.
Czym różni się to od funkcji w poprzednich wersjach DDOS?
Gdy plik jest pozyskiwany w DDR, rejestrujemy różne statystyki dotyczące pliku. Jedną z takich statystyk są "bajty post-lc", czyli fizyczna ilość miejsca zajmowanego przez plik podczas zapisywania w systemie. Możemy wyświetlić bajty po lc dla drzewa plików lub katalogów za pomocą filesys show compression komenda - na przykład:
sysadmin@dd9500# filesys show compression /data/col1/jf1 Total files: 4; bytes/storage_used: 1.3 Original Bytes: 4,309,378,324 Globally Compressed: 3,242,487,836 Locally Compressed: 3,293,594,658 Meta-data: 13,897,112
Oznacza to, że powyższe drzewo katalogów zawiera cztery pliki, których pozyskanie zajęło łącznie 3 293 594 658 bajtów (3,07 Gb) przestrzeni fizycznej.
Uwaga: Te statystyki są generowane w momencie pozyskiwania i nie są aktualizowane po tym czasie. Jednak ze względu na charakter deduplikacji, w miarę przyswajania lub usuwania dodatkowych plików i działania czyszczenia, zmienia się sposób deduplikacji danych na dysku, a tym samym sposób, w jaki każdy plik deduplikuje duplikaty (a ilość danych jest "własna"). Z tego powodu powyższe statystyki z czasem stają się nieaktualne, a czasami obciążenia mogą stać się niedokładne.
PCM to próba uniknięcia niespójnych wyników spowodowanych przestarzałymi powyższymi statystykami. Ponieważ PCM może generować raporty wykorzystania dysku twardego w określonym momencie, powyższe ograniczenia nie mają już zastosowania, a wyniki są gwarantowane jako dokładniejsze.
Czy znane są jakieś fakty lub konfiguracje, w których wyniki obliczone przez PCM są mniej niż optymalnie dokładne?
PCM wykonuje próbkowanie w celu obliczenia miejsca na dysku używanego przez pliki w zestawie ścieżek. Oznacza to, że niektóre pliki mogą zostać pominięte w wyliczeniu dla unikatowych segmentów, ponieważ ze względu na wydajność pliki mniejsze niż dany rozmiar nie są uwzględniane. Minimalny rozmiar poszczególnych plików w zestawach ścieżek, które zadania PCM biorą pod uwagę do wyliczenia (a zatem tych, dla których uwzględnia miejsce na dysku) zależy od średniego rozmiaru segmentu systemu plików:
- Jeśli średni rozmiar segmentu wynosi 4 K, pliki o rozmiarze 4 MB i mniejsze są ignorowane przez PCM
- Jeśli średni rozmiar segmentu wynosi 8 K, pliki o rozmiarze 8 MB i mniejsze są ignorowane przez PCM
- Jeśli średni rozmiar segmentu wynosi 12 K, pliki o rozmiarze 12 MB lub mniejszym są ignorowane przez PCM
Rzeczywiste dane klientów pokazują, że średni rozmiar segmentu oscyluje wokół 9 KB w najczęstszych przypadkach użycia, więc przybliżoną liczbą plików, które nie są brane pod uwagę podczas obliczania używanego miejsca na dysku PCM, byłyby te mniejsze niż 9 MB.
Czy dla PCM wymagane są dodatkowe licencje?
Nie — PCM nie jest funkcją licencjonowaną, w związku z czym do korzystania z PCM nie są wymagane żadne dodatkowe licencje.
Czy obsługa PCM jest dostępna na wszystkich platformach?
Nie — PCM jest obsługiwany na wszystkich urządzeniach sprzętowych i wirtualnych urządzeniach Data Domain (DDVE), z wyjątkiem aktywnej warstwy na obiektowej pamięci masowej (ATOS) DDVE.
PCM mierzy i wylicza tylko pliki w warstwie aktywnej: Pliki znajdujące się w jednostkach chmury (lub, w przypadku starszego przechowywania, w jednostkach archiwizatora), nie są uwzględniane w obliczeniach rozmiaru zadań PCM.
Czy są jakieś inne wymagania wstępne wymagane przed użyciem PCM?
Domyślnie PCM jest wyłączony w DDOS 5.7. Aby można było go użyć, należy go włączyć, a jego pamięć podręczna zainicjować, jak pokazano poniżej:
sysadmin@dd9500# compression physical-capacity-measurement enable and-initialize physical-capacity-measurement enabled. Initialization started.
Uwaga: Pamięć podręczna PCM służy do przyspieszenia przyszłych zadań PCM, a inicjalizacja pamięci podręcznej może zająć dużo czasu. Mimo to zadania PCM mogą być umieszczane w kolejce podczas inicjowania pamięci podręcznej PCM.
W jaki sposób PCM oblicza sumy zużycia?
PCM używa migawek MTree do określenia fizycznego wykorzystania grupy plików. W rezultacie, po uruchomieniu zadania PCM, dzieje się co następuje:
- Migawka MTree jest tworzona dla bazowych drzew MTree.
Uwaga: Ta migawka nosi nazwę pcr_snap_*, czyli:
sysadmin@dd9500# snapshot list mtree /data/col1/jf2 Snapshot Information for MTree: /data/col1/jf2 ---------------------------------------------- Name Pre-Comp (GiB) Create Date Retain Until Status --------------------------------- -------------- ----------------- ----------------- ------- pcr_snap_1440284055_1440360259_19 6.0 Aug 23 2015 13:04 Dec 31 1969 16:00 expired --------------------------------- -------------- ----------------- ----------------- -------
- PCM znajduje pliki z migawki, które mają znajdować się w zadaniu PCM (czyli w określonych ścieżkach lub MTrees).
- PCM przechodzi przez drzewo segmentów tych plików, aby zasadniczo zbudować listę unikalnych odcisków palców segmentów, do których odwołują się wszystkie pliki.
- Następnie PCM znajduje odpowiednie segmenty na dysku (w zestawie kontenerów) i oblicza sumę rozmiaru tych segmentów.
-
Suma rozmiaru tych segmentów odzwierciedla bieżące wykorzystanie dysku twardego przez odpowiednie pliki.
- Oprócz powyższego, wstępnie skompresowany rozmiar zestawu plików można znaleźć na podstawie odpowiednich metadanych plików.
- Po zakończeniu zadań PCM podstawowe migawki PCM wygasają w celu późniejszego usunięcia.
Jak działają zadania PCM?
Zadania PCM są przesyłane przez użytkownika (lub zgodnie z harmonogramem) i są dodawane do kolejki roboczej PCM. W zależności od obciążenia systemu, zadania PCM mogą być następnie wybierane z kolejki i uruchamiane natychmiast lub mogą być odroczone na pewien czas.
Przykłady, dla których zadania PCM mogą zostać odroczone, są następujące:
- Czyszczenie warstwy aktywnej jest uruchomione w systemie — zadania PCM i czyszczenie warstwy aktywnej nie mogą być uruchamiane równolegle. W związku z tym zadania PCM umieszczone w kolejce, gdy jest uruchomione czyszczenie warstwy aktywnej, są odroczone do momentu zakończenia czyszczenia warstwy aktywnej.
- Istnieje już kilka zadań PCM uruchomionych na bazowych MTree - PCM używa migawek mtree i istnieją ścisłe limity liczby migawek PCM, które dany użytkownik może utworzyć w danym momencie dla jednego MTree. Jeśli te limity zostaną przekroczone przez nowe zadanie PCM, zadanie zostanie odroczone do momentu zakończenia istniejącego zadania.
Czy można kontrolować zasoby używane przez PCM w systemie?
PCM wykorzystuje mechanizm dławiący, który jest podobny do tego używanego przez czyszczenie warstwy aktywnej, to znaczy przepustnicę PCM można ustawić od 0 (nie agresywny) do 100 (agresywny). Oczywiście, im wyższa przepustnica, tym więcej zasobów jest wykorzystywanych przez PCM i tym większy wpływ mogą mieć zadania PCM na inne obciążenia w systemie.
Domyślnie ograniczenie PCM jest ustawione na 20, czyli:
sysadmin@dd9500# compression physical-capacity-measurement throttle show Throttle is set to 20 percent (default).
Przepustnicę PCM można zmodyfikować w następujący sposób, a zmiana przepustnicy odbywa się natychmiast (oznacza to, że nie jest wymagane ponowne uruchomienie DDFS, aby PCM odebrał nowe ustawienie przepustnicy):
sysadmin@dd9500# compression physical-capacity-measurement throttle set 50 Throttle set to 50 percent.
Co to są pathsety?
Zadania PCM można uruchamiać na dwa sposoby, czyli:
- Względem wstępnie zdefiniowanego "zestawu ścieżek" (czyli kolekcji katalogów określonych przez użytkownika)
- Względem pojedynczego drzewa MTree
Aby można było uruchamiać zadania względem danego zestawu ścieżek, należy utworzyć lub zdefiniować zestaw ścieżek w następujący sposób:
sysadmin@dd9500# compression physical-capacity-measurement pathset create jfall paths /data/col1/jf1,/data/col1/jf2 Pathset "jfall" created.Określone katalogi można dodawać lub usuwać z istniejącego zestawu ścieżek w następujący sposób:
sysadmin@dd9500# compression physical-capacity-measurement pathset del jfall paths /data/col1/jf2 Path(s) deleted from pathset "jfall". sysadmin@dd9500# compression physical-capacity-measurement pathset add jfall paths /data/col1/jf2 Path(s) added to pathset "jfall".
Wszystkie ścieżki, które zostały utworzone, są wyświetlane w następujący sposób:
sysadmin@dd9500# compression physical-capacity-measurement pathset show list Pathset Number of paths Measurement-retention (days) --------------- --------------- ---------------------------- jf1 1 180 jf2 1 180 jfall 2 180 phys-gandhi3 1 180 phys-gandhi5-fc 1 180 phys-gandhi5 1 180 phys2-gandhi3 2 180 --------------- --------------- ---------------------------- 7 pathset(s) found.
Aby wyświetlić określone ścieżki zdefiniowane w zestawie ścieżek, pathset show detailed polecenie jest używane:
sysadmin@dd9500# compression physical-capacity-measurement pathset show detailed jfall Pathset: jfall Number of paths: 2 Measurement-retention: 180 day(s) Paths: /data/col1/jf1 /data/col1/jf2 sysadmin@dd9500#
Aby usunąć ścieżkę, ustaw pathset destroy Można użyć polecenia:
sysadmin@dd9500# compression physical-capacity-measurement pathset destroy jfall
Uwaga: Spowoduje to usunięcie całej historii dla danego zestawu ścieżek.
Uwaga: Zadania ad-hoc względem pojedynczego drzewa MTree nie wymagają zdefiniowania zestawu ścieżek przed uruchomieniem.
Jak rozpoczyna się zadanie PCM?
Nowe zadanie PCM jest przesyłane do kolejki roboczej PCM przy użyciu sample start polecenie, czyli:
sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jfall Measurement task(s) submitted and will begin as soon as resources are available.
W powyższym przykładzie użyto wstępnie zdefiniowanego zestawu ścieżek. Aby przesłać zadanie PCM dla pojedynczego drzewa MTree, należy określić drzewo MTree, czyli:
sysadmin@dd9500# compression physical-capacity-measurement sample start mtrees /data/col1/backup Measurement task(s) submitted and will begin as soon as resources are available.
Domyślnie zadania PCM są przesyłane z priorytetem "normal". Możliwe jest również określenie priorytetu pilnych:
sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jf1 priority urgent Measurement task(s) submitted and will begin as soon as resources are available.
Zadania o priorytecie "pilne" są umieszczane w kolejce przed zadaniami o priorytecie "normalne" (co oznacza, że są wybierane i wykonywane w pierwszej kolejności przed wszelkimi przesłanymi zadaniami o priorytecie "normalne").
Lista przesłanych lub uruchomionych zadań jest wyświetlana przy użyciu sample show current polecenie, na przykład:
sysadmin@dd9500# compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ----------- ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 47244640259 PS jf2 sysadmin Scheduled 2015/08/23 12:24:12 2015/08/23 12:24:12 -- Urgent 0 47244640258 PS jf1 sysadmin Scheduled 2015/08/23 12:24:09 2015/08/23 12:24:09 -- Urgent 0 47244640257 PS jfall sysadmin Scheduled 2015/08/23 12:23:06 2015/08/23 12:23:06 -- Normal 0 ----------- ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- sysadmin@dd9500#
Czy można zaplanować zadania PCM?
Tak — jeśli określone zadanie PCM musi być uruchamiane regularnie, zaplanowano automatyczne uruchamianie zgodnie z wymaganiami. Oto przykład:
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched pathsets jfall,jf1,jf2 time 1400 Schedule "jf_sched" created.
Uwaga: Harmonogramy są tworzone tak, aby były uruchamiane codziennie, w określone dni tygodnia lub w określone dni każdego miesiąca.
Istniejący harmonogram jest modyfikowany przy użyciu schedule modify polecenia:
sysadmin@dd9500# compression physical-capacity-measurement schedule modify jf_sched priority urgent time 1700 day Wed,Fri Schedule "jf_sched" modified.
Ponadto istniejący harmonogram może zawierać zestawy ścieżek dodawane lub usuwane w następujący sposób:
sysadmin@dd9500# compression physical-capacity-measurement schedule del jf_sched pathsets jf2 Schedule "jf_sched" modified. sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched pathsets jf2 Schedule "jf_sched" modified.
Uwaga: Harmonogram nie może zawierać tylko ścieżek LUB MTree (oznacza to, że te dwa elementy nie mogą być mieszane):
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched2 mtrees /data/col1/backup time 1400 Schedule "jf_sched2" created. sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched2 pathsets jfall **** Failed to add: this schedule is only for mtrees.
Aby wyświetlić szczegóły istniejących harmonogramów, w oknie schedule show all używane jest polecenie, na przykład:
sysadmin@dd9500# compression physical-capacity-measurement schedule show all Name: jf_sched Status: enabled Priority: urgent Frequency: weekly on Wed, Fri Time: 17:00 Pathset(s): jfall jf1 jf2 Name: jf_sched2 Status: enabled Priority: normal Frequency: daily Time: 14:00 MTree(s): /data/col1/backup
Istniejące harmonogramy można wyłączyć lub natychmiast włączyć, czyli:
sysadmin@dd9500# compression physical-capacity-measurement schedule disable jf_sched2 Schedule "jf_sched2" disabled. sysadmin@dd9500# compression physical-capacity-measurement schedule enable jf_sched2 Schedule "jf_sched2" enabled.
Harmonogram może również zostać zniszczony:
sysadmin@dd9500# compression physical-capacity-measurement schedule destroy jf_sched2 Schedule "jf_sched2" destroyed.
Uwaga: NIE usuwa to historii dla odpowiednich MTree/pathsetów (oznacza to, że nowe zadania PCM nie są automatycznie planowane).
Jak są uruchamiane zaplanowane zadania?
Dodanie i włączenie harmonogramu PCM powoduje dodanie odpowiedniego wpisu do /etc/crontabCzyli:
# # collection.1.crontab.pcr.jf_sched.0 # 00 17 * * Wed,Fri root /ddr/bin/ddsh -a compression physical-capacity-measurement sample start force priority urgent objects-from-schedule jf_sched
Uwaga: Zadanie cron jest usuwane z
/etc/crontab Jeśli harmonogram jest wyłączony lub zniszczony.
Czy mogę zatrzymać uruchamianie zadania PCM?
Tak — uruchamianie zadań PCM można przerwać przy użyciu identyfikatora zadania lub nazw pathset/mtree. Widzimy na przykład, że w kolejce znajdują się dwa zadania PCM:
SE@dd9500## compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 124554051585 PS jfall sysadmin Scheduled 2015/08/30 16:00:48 2015/08/30 16:00:48 -- Normal 0 124554051586 PS jfall sysadmin Scheduled 2015/08/30 16:01:55 2015/08/30 16:01:55 -- Normal 0 ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- --------
Te zadania można przerwać przy użyciu identyfikatora zadania (aby zatrzymać pojedyncze zadanie):
SE@dd9500## compression physical-capacity-measurement sample stop task-id 124554051585 ** This will abort any submitted or running compression physical-capacity-measurement sampling tasks. Do you want to proceed? (yes|no) [no]: yes 1 task(s) aborted.
Zostawiając nas z jednym uruchomionym zadaniem:
SE@dd9500## compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 124554051586 PS jfall sysadmin Scheduled 2015/08/30 16:01:55 2015/08/30 16:01:55 -- Normal 0 ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- --------
Lub nazwa zestawu ścieżek:
SE@dd9500## compression physical-capacity-measurement sample stop pathsets jfall ** This will abort any submitted or running compression physical-capacity-measurement sampling tasks. Do you want to proceed? (yes|no) [no]: yes 1 task(s) aborted.
Pozostawienie nas bez pracy:
SE@dd9500## compression physical-capacity-measurement sample show current No measurement tasks found.
W jaki sposób można wyświetlić szczegóły ukończonych zadań?
Szczegóły wykonanych zadań są wyświetlane za pomocą sample show history . Na przykład, aby wyświetlić szczegóły dla pojedynczego zestawu ścieżek:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/26 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/27 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/28 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 7.
Parametr detailed-history pokazuje również czas rozpoczęcia i zakończenia każdego zadania:
SE@dd9500## compression physical-capacity-measurement sample show detailed-history pathset jfall Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp Task ID Task Start Time Task End Time (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- ------------ ------------------- ------------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 47244640257 2015/08/23 12:25:19 2015/08/23 12:25:23 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 51539607553 2015/08/23 13:05:45 2015/08/23 13:05:48 2015/08/26 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 77309411329 2015/08/26 14:02:50 2015/08/26 14:02:50 2015/08/27 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 85899345921 2015/08/27 14:03:06 2015/08/27 14:03:06 2015/08/28 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 94489280513 2015/08/28 14:02:50 2015/08/28 14:02:51 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 103079215105 2015/08/29 14:01:40 2015/08/29 14:01:41 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 115964116993 2015/08/30 14:04:12 2015/08/30 14:04:12 ------------------- ------------ ------------- ----------- ---------- -------------- ------------ ------------------- ------------------- Total number of measurements retrieved = 7.
Uwaga: Każde polecenie można zmodyfikować tak, aby pobierało wyniki tylko w określonym przedziale czasu:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall last 2days Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 2.
Lub między konkretnymi datami lub godzinami:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall start 08231010 end 08231400 Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 2.
Jak długo przechowywana jest określona historia dla określonej ścieżki/MTree?
Domyślnie wyniki każdego zestawu ścieżek PCM są przechowywane przez 180 dni. Można to zmienić poprzez modyfikację odpowiedniego zestawu ścieżek:
SE@dd9500## compression physical-capacity-measurement pathset modify jfall measurement-retention 14 Measurement-retention changed to 14 day(s).
Historia PCM jest przechowywana w historycznej bazie danych systemów. W rezultacie, jeśli historyczna baza danych zostanie utracona lub uszkodzona, szczegóły całej historii PCM również zostaną utracone.
Czy są jakieś zastrzeżenia, o których należy pamiętać podczas korzystania z PCM?
Zadania PCM są zawieszane, jeśli w systemie jest mniej niż 10% wolnego miejsca.
Zadania PCM są zawieszane podczas cyklu czyszczenia.
Jak wspomniano wcześniej, PCM jest narzędziem używanym do obliczania fizycznego wykorzystania przez określony zestaw katalogów/mtree. Podczas obliczania wyników dla określonego zestawu ścieżek lub zestawu drzew MTree program PCM zlicza rozmiar każdego unikalnego segmentu danych używanego przez zestaw ścieżek lub zestaw obiektów MTrees tylko raz.
Uwaga: Ze względu na charakter deduplikacji, poza ścieżkami/mdrzewami, względem których uruchamiane jest zadanie, mogą istnieć inne pliki, które również mogą deduplikować te same dane.
W rezultacie, jeśli pliki deduplikujące te same dane znajdują się w wielu różnych zadaniach PCM, każdy z segmentów składających się na pliki może być zliczany wielokrotnie (raz przez każde zadanie PCM). Oznacza to, że podczas gdy wyniki każdego pojedynczego zadania PCM są dokładne, wyniki wielu zadań PCM nie mogą być sumowane w celu uzyskania dokładnego fizycznego wykorzystania sumy ścieżek/mdrzew w zadaniach.
Ze względu na sposób, w jaki zadania PCM są łączone, zestaw ścieżek lub miejsce MTree po kompilacji używane na dysku:
- Zadania PCM nie uwzględniają martwych danych (miejsca na dysku używanego przez usunięte pliki, które to miejsce na dysku mogło nie zostać jeszcze odzyskane przez uruchomienie GC).
- PCM nie uwzględnia żadnych danych zablokowanych w migawkach utworzonych dla mierzonego drzewa MTree ani ścieżek.
Na przykład mam drzewo MTree o nazwie /data/col1/jf1 w którym tworzę trzy pliki 1Gb, czyli:
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # for i in 1 2 3 ; do
> dd if=/dev/urandom of=/data/col1/jf1/${i} bs=1024k count=1024
> done
Następnie kopiuję te pliki do drugiego drzewa MTree (/data/col1/jf2):
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/1 /data/col1/jf2/4 !!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/2 /data/col1/jf2/5 !!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/3 /data/col1/jf2/6
Na koniec tworzę nowy plik 1 GB w /data/col1/jf2:
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # dd if=/dev/urandom of=/data/col1/jf2/7 bs=1024k count=1024 1024+0 records in 1024+0 records out
Jeśli pominięto lokalną kompresję danych i uwzględniono tylko deduplikację, jasne jest, że każde drzewo MTree wykorzystywało następującą ilość miejsca fizycznego podczas zapisywania plików:
/data/col1/jf1: 3 Gb
/dane/col1/jf2: 1 GB (w przypadku nowego pliku — skopiowane pliki zostałyby pozbawione duplikatów w istniejących danych, więc zajęłyby minimalną przestrzeń fizyczną).
W rezultacie suma wykorzystania przestrzeni fizycznej przez /data/col1/jf1 i /data/col1/jf2 powinna wynosić około 4 GB.
Tworzone są trzy ścieżki PCM:
jf1 zawierający /data/col1/jf1 jf2
zawierający /data/col1/jf2
jfall zawierający dane/col1/jf1 i /data/col1/jf2
Zadania PCM są uruchamiane i zapewniają dane wyjściowe w następujący sposób:
Pathset: jf1 Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:24:09 3.0 3.2 0.96x 0.98x 0.94x (-6.21%) ------------------- ------------ ------------- ----------- ---------- -------------- Pathset: jf2 Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:24:12 4.0 4.2 0.98x 0.98x 0.96x (-4.14%) ------------------- ------------ ------------- ----------- ---------- --------------
Te wartości są poprawne, ponieważ każde zadanie PCM patrzy tylko na dane fizyczne, do których odwołują się pliki w odpowiednim zestawie ścieżek. Oznacza to, że dane dla plików, które zostały skopiowane, są liczone dwukrotnie (jeden raz przy każdym zadaniu PCM).
Może się wydawać, że aby uzyskać całkowite fizyczne wykorzystanie przez /data/col1/jf1 i /data/col1/jf2 MTrees, możemy zsumować wartości 'physical used' z powyższych wyników.
Uwaga: Daje to 7,4 Gb, co jest oczywistą niepoprawnością (powyżej oszacowano, że z powodu deduplikacji całkowite wykorzystanie wyniesie około 4 Gb).
Aby uzyskać dokładną wartość całkowitego fizycznego wykorzystania /data/col1/jf1 i /data/col1/jf2konieczne jest uruchomienie pojedynczego zadania PCM obejmującego oba te obiekty MTree (czyli użycie jfall). Dzięki temu zduplikowane segmenty są liczone tylko raz, a nie dwa razy, jak w powyższym przykładzie, czyli:
Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) ------------------- ------------ ------------- ----------- ---------- --------------
Podsumowując, dane wyjściowe wielu zadań PCM nie mogą być sumowane w celu uzyskania dokładnego fizycznego wykorzystania zestawu ścieżek/mtree. Zamiast tego należy zdefiniować pojedynczy zestaw ścieżek PCM obejmujący wszystkie wymagane drzewa MTree/katalogi, ponieważ gwarantuje to, że zduplikowane dane są liczone tylko raz. Jeśli nie zostanie to zrobione i na przykład dla każdego drzewa MTree w systemie zostanie uruchomione oddzielne zadanie PCM, wówczas wyniki zostaną zsumowane, jest całkowicie możliwe, że całkowita wykorzystana pojemność fizyczna przekracza surową pojemność systemu.
Czy zadania PCM mogą być przesyłane tylko przez DDSH czy można również użyć interfejsu użytkownika?
W tym dokumencie interfejs wiersza polecenia Data Domain (DDSH) służy do konfigurowania, przesyłania i przeglądania zadań PCM.
Uwaga: PCM może być również używany przez interfejs użytkownika Data Domain Enterprise Manager lub System Manager.
Uwaga: Interfejs DDSH ma limit maksymalnie 256 znaków w dowolnym poleceniu. W rezultacie, jeśli zadania PCM muszą być skonfigurowane względem ścieżki z długą nazwą katalogu, korzystne (lub nawet wymagane) może być użycie jednego z dostępnych interfejsów użytkownika.
Affected Products
Data Domain, DD OSProducts
Data DomainArticle Properties
Article Number: 000058798
Article Type: How To
Last Modified: 05 Dec 2024
Version: 6
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.