Data Domain: Rozwiązywanie problemów z dużym wykorzystaniem miejsca lub brakiem dostępnej pojemności w systemach Data Domain Restorer (DDR)
Summary: Ten artykuł zawiera procedury krok po kroku, ułatwiające rozwiązywanie problemów z dużym wykorzystaniem miejsca lub brak dostępnej pojemności w systemach Data Domain Restorer (DDR)
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Wszystkie systemy Data Domain Restorer (DDR) zawierają pulę/obszar pamięci masowej, znany jako „aktywna warstwa”:
- Jest to obszar dysku, w którym mieszczą się nowo przyswojone pliki/dane i na większości DDR pliki tam pozostają do momentu zakończenia czasu ważności/usunięcia przez aplikację tworzenia kopii zapasowych klienta
- W przypadku DDR z konfiguracją Extended Retention (ER) lub Long Term Retention (LTR) proces przenoszenia danych może być okresowo uruchamiany w celu przeprowadzenia migracji starych plików z warstwy aktywnej do warstwy archiwum lub chmury
- Jedynym sposobem odzyskania miejsca w aktywnej warstwie, które było używane przez pliki usunięte/zmigrowane, jest uruchomienie procesu odśmiecania pamięci/czyszczenia
Bieżące wykorzystanie aktywnej warstwy może być wyświetlone za pośrednictwem poleceń „filesys show space” lub „df”:
# df
Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 33098.9 - - -
/data: post-comp 65460.3 518.7 64941.6 1% 0.0
/ddvar 29.5 19.7 8.3 70% -
/ddvar/core 31.5 0.2 29.7 1% -
---------------- -------- -------- --------- ---- --------------
Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 33098.9 - - -
/data: post-comp 65460.3 518.7 64941.6 1% 0.0
/ddvar 29.5 19.7 8.3 70% -
/ddvar/core 31.5 0.2 29.7 1% -
---------------- -------- -------- --------- ---- --------------
Zwróć uwagę, że szczegóły warstwy archiwum/chmury będą wyświetlane poniżej aktywnej warstwy, jeśli są skonfigurowane.
Wykorzystanie warstwy aktywnej musi być starannie zarządzane, w przeciwnym razie może dojść do poniższych sytuacji:
- Może zacząć brakować dostępnego miejsca w warstwie aktywnej, powodując wyświetlenie alertów i komunikatów, takich jak poniższe:
EVT-SPACE-00004: Space usage in Data Collection has exceeded 95% threshold.
- Jeśli warstwa aktywna zapełni się w 100%, nie będzie można zapisywać żadnych nowych danych w DDR, co może spowodować awarię tworzenia kopii zapasowych/replikacji. W tym scenariuszu mogą zostać wyświetlone następujące alerty i komunikaty:
CRITICAL: MSG-CM-00002: /../vpart:/vol1/col1/cp1/cset: Container set [identyfikator zestawu kontenerów] out of space
- W niektórych okolicznościach zapełnianie warstwy aktywnej może spowodować, że system plików Data Domain (DDFS) stanie się tylko do odczytu i na tym etapie nie będzie można usunąć istniejących plików
Ten artykuł z bazy wiedzy ma za zadanie:
- Wyjaśnić, dlaczego aktywna warstwa może się zapełnić
- Opisać prosty zestaw kontroli, jakie można wykonać w celu ustalenia przyczyny wysokiego wykorzystania aktywnej warstwy oraz odpowiednie czynności zaradcze
Uwaga:
- Ten artykuł nie wyczerpuje tematu (tzn. może być mała liczba przypadków, w których aktywna warstwa DDR będzie w dużym stopniu wykorzystana/pełna z powodu nieomówionego w tym dokumencie), jednakże powinien on odnosić się do większości typowych przyczyn/problemów
- Ten artykuł nie omawia wysokiego wykorzystania warstwy archiwum lub chmury
Cause
- Kopie zapasowe i zestawy zapisu nie są poprawnie usuwane przez aplikacje do tworzenia kopii zapasowych klienta na skutek nieprawidłowych zasad przechowywania lub konfiguracji aplikacji tworzenia kopii zapasowej
- Opóźnienie replikacji powodujące przechowywanie dużych ilości starych danych w aktywnej warstwie w trakcie replikacji do replik
- Dane zapisywane w warstwie aktywnej mają niższy całkowity współczynnik kompresji niż oczekiwany
- System nie ma prawidłowego rozmiaru, tzn. ilość danych, które mogą być w danym czasie przechowywane, jest za mała
- Kopie zapasowe składają się z dużej liczby bardzo małych plików — te pliki zajmują dużo więcej miejsca niż oczekiwano przy ich zapisywaniu, jednak to miejsce powinno być odzyskane podczas czyszczenia/odśmiecania pamięci
- Przenoszenie danych, które nie jest regularnie wykonywane na systemach skonfigurowanych z użyciem ER/LTR, powodujące, że stare pliki, które powinny zostać zmigrowane do warstw archiwum/chmury, pozostają w aktywnej warstwie
- Czyszczenie/odśmiecanie pamięci nie jest regularnie wykonywane
- Zbyt duże lub stare migawki mtree, znajdujące się w DDR, uniemożliwiające oczyszczenie miejsca z usuniętych plików/danych
Resolution
Krok 1 — Określ, czy trzeba wykonać czyszczenie aktywnej warstwy
System operacyjny Data Domain (DDOS) podejmuje próbę utrzymania licznika o nazwie „Cleanable GiB” dla aktywnej warstwy. Jest to oszacowanie ilości miejsca fizycznego (post-comp) potencjalnie możliwego do odzyskania w warstwie aktywnej poprzez uruchomienie operacji czyszczenia/odśmiecania pamięci. Ten licznik jest wyświetlany za pomocą poleceń „filesys show space’/’df”:
Jeśli:
Aby potwierdzić rozpoczęcie czyszczenia zgodnie z oczekiwaniami, można użyć polecenia „filesys status”, tzn.:
Uwaga:
W razie potrzeby ustaw harmonogram czyszczenia w aktywnej warstwie, na przykład w każdy wtorek o 6:00:
# filesys clean set schedule Tue 0600
Filesystem cleaning is scheduled to run "Tue" at "0600".
Należy pamiętać, że w systemach z konfiguracją Extended Retention (ER) można ustawić uruchomienie czyszczenia po zakończeniu przepływu danych i może ono nie mieć własnego oddzielnego harmonogramu. Ten scenariusz opisano w dalszej części tego dokumentu
Po zakończeniu czyszczenia należy użyć poleceń „filesys show space’/’df”, aby ustalić, czy zostały rozwiązane problemy dotyczące wykorzystania. Jeśli wykorzystanie jest nadal wysokie, wykonaj pozostałe czynności opisane w tym artykule.
Krok 2 — Sprawdź, czy nie ma dużych opóźnień replikacji na kontekstach replikacji źródeł
Natywna replikacja Data Domain jest opracowana na podstawie pojęcia „kontekstów replikacji”. Na przykład kiedy dane mają być replikowane między systemami:
Aby określić, czy konteksty replikacji są opóźnione, należy wykonać następujące czynności:
Konteksty, dla których aktualny system jest źródłem i które wykazują istotne opóźnienia lub konteksty, które nie są już wymagane, należy rozbić. Można to wykonać, uruchamiając następujące polecenie w systemie źródłowym i docelowym:
Na przykład, aby rozbić pokazane powyżej „interesujące” konteksty, należy uruchomić następujące polecenia w systemie źródłowym i docelowym:
Uwaga:
Zawartość DDFS jest logicznie dzielona na drzewa mtree. Poszczególne klienty/aplikacje kopii zapasowych zwykle zapisują na poszczególnych drzewach mtree. Jeśli aplikacja kopii zapasowych została zlikwidowana, nie będzie mogła zapisywać/usuwać danych z DDR, co może skutkować pozostawieniem starych/zbędnych drzew mtree w systemie. Dane w tych drzewach mtree będą nadal istnieć, w nieskończoność zajmując wolne miejsce na dysku w DDR. W związku z tym należy usunąć wszelkie takie zbędne drzewa mtree. Oto przykład:
Oto przykład:
# mtree delete /data/col1/Budu_test
Migawka Data Domain przedstawia migawkę punktu w czasie odpowiedniego mtree. W związku z tym:
W przypadku mtree bez migawek wyświetli się następująca informacja:
W przypadku mtree z migawkami wyświetli się następująca informacja:
Wygasanie migawek powinno przebiegać w taki sposób, aby można je było usunąć, gdy trwa czyszczenie, a przestrzeń, jaką zajmują na dysku, została zwolniona:
# snapshot expire [nazwa migawki] mtree [nazwa mtree]
Oto przykład:
Uwaga:
Automatyczne pomoce z DDR zawierają histogramy pokazujące podział plików na DDR według wieku, na przykład:
Przydatne może być ustalenie, czy w systemie znajdują się pliki, które nie zostały usunięte/zakończono okres ich ważności zgodnie z oczekiwaniami przez aplikację tworzenia kopii zapasowej klienta. Jeśli na przykład w powyższym systemie aplikacja tworzenia kopii zapasowej dokonała zapisu, gdzie maksymalny okres przechowywania któregokolwiek z plików wynosił 6 miesięcy, jest oczywiste, że aplikacja kopii zapasowych nie usuwa/kończy okresu ważności plików zgodnie z oczekiwaniami, ponieważ w DDR jest około 80 000 plików starszych niż 6 miesięcy.
Zwróć uwagę, że:
Jeśli to konieczne, pomoc techniczna Data Domain może dostarczyć dodatkowych raportów, aby:
Krok 6 — Wyszukaj kopie zapasowe obejmujące dużą liczbę małych plików
Ze względu na konstrukcję DDFS, małe pliki (zasadniczo wszystkie pliki o rozmiarze mniejszym niż około 10 MB) mogą zajmować nadmierną ilość wolnego miejsca po pierwszym zapisaniu w DDR. Dzieje się tak, gdyż architektura „SISL” (Stream Informed Segment Layout) sprawia, że małe pliki zajmują wiele pojedynczych bloków pamięci 4,5 MB na dysku. Na przykład plik 4 Kb może faktycznie wykorzystywać do 9 MB miejsca na dysku fizycznym, kiedy zostaje pierwotnie zapisany.
Takie nadmierne miejsce jest następnie odzyskiwane, kiedy jest uruchomione czyszczenie/odśmiecanie pamięci (jako że dane z małych plików są wtedy agregowane do mniejszych liczb bloków: 4,5 MB), ale mogą powodować, że mniejsze modele DDR wykazują nadmierne wykorzystanie i wypełniają się, kiedy takie kopie zapasowe są wykonywane.
Autopomoce zawierają histogramy plików podzielonych według rozmiaru, na przykład:
Jeśli istnieją dowody kopii zapasowych zapisujących bardzo duże liczby małych plików, system może być dotknięty znaczącym tymczasowym wzrostem wykorzystania między poszczególnymi wywołaniami czyszczenia/odśmiecania pamięci. W tym scenariuszu zaleca się zmianę metody tworzenia kopii zapasowej tak, aby uwzględnić wszystkie małe pliki w jednym większym archiwum (takie jak plik tar) przed zapisem ich w DDR. Należy pamiętać, że nie należy kompresować ani szyfrować żadnych takich archiwów (ponieważ spowoduje to uszkodzenie współczynnika kompresji/deduplikacji tych danych).
Krok 7 — Wyszukaj niższy niż oczekiwany współczynnik kompresji
Głównym celem DDR jest deduplikowanie i kompresja danych przyswajanych przez urządzenie. Współczynnik deduplikowania/kompresji jest w dużym stopniu zależny od przypadku użycia systemu oraz rodzaju przechowywanych danych, jednakże w wielu przypadkach będzie to „oczekiwany” całkowity współczynnik kompresji na podstawie wyników uzyskanych za pomocą testu słuszności koncepcji lub podobnych. Aby określić aktualny całkowity współczynnik kompresji systemu (a więc czy spełnia oczekiwania), można użyć polecenia „filesys show compression”. Oto przykład:
W powyższym przykładzie system osiąga całkowity współczynnik kompresji 65,3x dla aktywnej warstwy (co jest bardzo dobrym wynikiem). Jeśli jednak wartość ta wskazuje, że całkowity współczynnik kompresji nie będzie spełniał oczekiwań, mogą być konieczne dodatkowe badania. Należy zwrócić uwagę, że badanie niższego niż oczekiwany współczynnik kompresji jest złożonym tematem, który może mieć wiele przyczyn głównych. Aby uzyskać więcej informacji na temat dalszych badań, należy zapoznać się z poniższym artykułem: https://support.emc.com/kb/487055
Krok 8 — Sprawdź, czy system jest źródłem replikacji danych
W przypadku korzystania z replikacji kolekcji, jeśli system źródłowy jest fizycznie większy niż miejsce docelowe, rozmiar systemu źródłowego będzie w sposób sztuczny ograniczony, aby był zgodny z lokalizacją docelową (tzn. w miejscu źródłowym będzie obszar dysku oznaczony jako niezdatne do użytku). Powodem tego jest fakt, że w przypadku korzystania z replikacji kolekcji miejsce docelowe musi być kopią źródła na poziomie bloku, jednak jeśli źródło jest fizycznie większe niż miejsce docelowe, istnieje ryzyko zapisania w źródle zbyt dużej ilości danych, które nie mogą być replikowane do miejsca docelowego (ponieważ jest już zapełnione). Tego scenariusza można uniknąć, ograniczając rozmiar źródła w celu dopasowania do miejsca docelowego.
Po wykonaniu jednej z tych czynności, dodatkowe miejsce będzie natychmiast udostępnione w aktywnej warstwie systemu źródłowego (tzn. nie ma potrzeby uruchamiania czyszczenia/odśmiecania pamięci w aktywnej warstwie przed użyciem tego miejsca).
Krok 9 — Sprawdź, czy przenoszenie danych jest regularnie wykonywane
Jeśli DDR ma konfigurację Extended Retention (ER) lub Long Term Retention (LTR), będzie miał drugą warstwę systemu składowania danych (warstwę archiwum dla ER lub warstwę chmury dla LTR). W tym scenariuszu zasady ruchu danych są prawdopodobnie skonfigurowane na migrację starszych/niezmodyfikowanych danych przez drzewa mtree, wymagających retencji długoterminowej z aktywnej warstwy do innej warstwy systemu składowania danych, tak aby ilość miejsca używana przez te pliki w warstwie aktywnej mogła być fizycznie odzyskana przez czyszczenie/odśmiecanie pamięci. Jeśli zasady przenoszenia danych zostaną nieprawidłowo skonfigurowane lub jeśli proces przenoszenia danych nie jest regularnie uruchamiany, stare dane pozostaną w warstwie aktywnej dłużej niż oczekiwano i będą nadal korzystać z ilości wolnego miejsca na dysku.
Zauważ, że ER i LTR nawzajem się wykluczają, więc system będzie albo zawierać tylko aktywną warstwę (bez konfiguracji ER/LTR) lub warstwą aktywną i archiwum (z konfiguracją ER) albo warstwę aktywną i chmury (z konfiguracją LTR).
Jeśli zasady przenoszenia danych są nieprawidłowe lub ich nie ma, należy je naprawić. Zapoznaj się z podręcznikiem administracji Data Domain, aby uzyskać pomoc w tej kwestii.
Zwróć uwagę, że Data Domain ogólnie zaleca przeprowadzenie przepływu danych w ramach zautomatyzowanego harmonogramu, jednak niektórzy klienci decydują się na uruchomienie tego procesu w trybie ad hoc (tzn. w razie potrzeby). W tym scenariuszu przenoszenie danych należy regularnie uruchamiać, wykonując następujące czynności:
Aby uzyskać więcej informacji na temat modyfikacji harmonogramu ruchu danych, należy zapoznać się z podręcznikiem administracji Data Domain
Jeśli przenoszenia danych nie uruchamiano przez pewien czas, spróbuj ręcznie uruchomić proces, a następnie sprawdź w następujący sposób:
Jeśli przenoszenie danych nie chce się uruchomić, należy skontaktować się ze swoim dostawcą pomocy technicznej, aby uzyskać dalszą pomoc.
W systemach LTR czyszczenie warstwy aktywnej nadal powinno być skonfigurowane zgodnie z własnym harmonogramem
Krok 10 — Dodaj dodatkową pamięć do aktywnej warstwy
W przypadku przeprowadzenia wszystkich wcześniejszych kroków kończy się czyszczenie warstwy aktywnej, jednak nadal nie jest dostępna wystarczająca ilość miejsca w warstwie aktywnej, może to oznaczać, że system nie został prawidłowo dopasowany rozmiarem do otrzymywanych obciążeń roboczych. W tym przypadku należy wykonać jedną z następujących czynności:
W celu omówienia dodawania pamięci masowej skontaktuj się z działem obsługi klienta.
System operacyjny Data Domain (DDOS) podejmuje próbę utrzymania licznika o nazwie „Cleanable GiB” dla aktywnej warstwy. Jest to oszacowanie ilości miejsca fizycznego (post-comp) potencjalnie możliwego do odzyskania w warstwie aktywnej poprzez uruchomienie operacji czyszczenia/odśmiecania pamięci. Ten licznik jest wyświetlany za pomocą poleceń „filesys show space’/’df”:
Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- --------- --------- ---- --------------
/data: pre-comp - 7259347.5 - - -
/data: post-comp 304690.8 251252.4 53438.5 82% 51616.1 <=== NOTE
/ddvar 29.5 12.5 15.6 44% -
---------------- -------- --------- --------- ---- --------------
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- --------- --------- ---- --------------
/data: pre-comp - 7259347.5 - - -
/data: post-comp 304690.8 251252.4 53438.5 82% 51616.1 <=== NOTE
/ddvar 29.5 12.5 15.6 44% -
---------------- -------- --------- --------- ---- --------------
Jeśli:
- Wartość „Cleanable GiB” jest duża lub
- DDFS jest w 100% pełny (a więc jest tylko do odczytu)
# filesys clean start
Cleaning started. Use 'filesys clean watch' to monitor progress.
Cleaning started. Use 'filesys clean watch' to monitor progress.
Aby potwierdzić rozpoczęcie czyszczenia zgodnie z oczekiwaniami, można użyć polecenia „filesys status”, tzn.:
# filesys status
The filesystem is enabled and running.
Cleaning started at 2017/05/19 18:05:58: phase 1 of 12 (pre-merge)
50.6% complete, 64942 GiB free; time: phase 0:01:05, total 0:01:05
The filesystem is enabled and running.
Cleaning started at 2017/05/19 18:05:58: phase 1 of 12 (pre-merge)
50.6% complete, 64942 GiB free; time: phase 0:01:05, total 0:01:05
Uwaga:
- jeśli nie można uruchomić czyszczenia, należy skontaktować się z działem pomocy technicznej, aby uzyskać dalszą pomoc — może to oznaczać, że w systemie wystąpił błąd brakującego segmentu, powodując wyłączenie czyszczenia.
- Jeśli jest już uruchomione czyszczenie, zostanie wyświetlony następujący komunikat, kiedy zostanie podjęta próba uruchomienia:
**** Cleaning already in progress. Use 'filesys clean watch' to monitor progress.
- Żadne miejsce na aktywnej warstwie nie zostanie zwolnione/odzyskane do momentu, aż czyszczenie osiągnie fazę kopiowania (domyślnie faza 9 w DDOS 5.4.x i wcześniejsze, faza 11 w DDOS 5.5.x i nowsze). Aby uzyskać więcej informacji na temat faz używanych podczas czyszczenia, zobacz: https://support.emc.com/kb/446734
- Czyszczenie może nie odzyskać ilości miejsca wskazanej przez „Cleanabe GiB”, ponieważ wartość ta jest zasadniczo szacunkiem. Aby uzyskać więcej informacji na ten temat, zobacz: https://support.emc.com/kb/485637
- Czyszczenie może nie odzyskać całego możliwego miejsca w jednym procesie. Dzieje się tak dlatego, że w przypadku DDR zawierających bardzo duże zestawy danych czyszczenie będzie działać na części systemu plików, zawierającej najbardziej niepotrzebne dane (tj. w celu zapewnienia najlepszego zwrotu w wolnej przestrzeni dla czasu potrzebnego do prawidłowego uruchomienia). W niektórych sytuacjach niezbędne może być wielokrotne uruchomienie czyszczenia przed odzyskaniem całego potencjalnego miejsca.
- Jeśli wartość dla „Cleanable GiB” była bardzo duża, może to oznaczać, że czyszczenie nie przebiegało w regularnych odstępach czasu. Sprawdź, czy ustawiono harmonogram czyszczenia:
# filesys clean show schedule
W razie potrzeby ustaw harmonogram czyszczenia w aktywnej warstwie, na przykład w każdy wtorek o 6:00:
# filesys clean set schedule Tue 0600
Filesystem cleaning is scheduled to run "Tue" at "0600".
Należy pamiętać, że w systemach z konfiguracją Extended Retention (ER) można ustawić uruchomienie czyszczenia po zakończeniu przepływu danych i może ono nie mieć własnego oddzielnego harmonogramu. Ten scenariusz opisano w dalszej części tego dokumentu
Po zakończeniu czyszczenia należy użyć poleceń „filesys show space’/’df”, aby ustalić, czy zostały rozwiązane problemy dotyczące wykorzystania. Jeśli wykorzystanie jest nadal wysokie, wykonaj pozostałe czynności opisane w tym artykule.
Krok 2 — Sprawdź, czy nie ma dużych opóźnień replikacji na kontekstach replikacji źródeł
Natywna replikacja Data Domain jest opracowana na podstawie pojęcia „kontekstów replikacji”. Na przykład kiedy dane mają być replikowane między systemami:
- Konteksty replikacji są tworzone na źródłowych i docelowych DDR
- Konteksty są inicjowane
- Po zakończeniu inicjalizacji replikacja będzie okresowo wysyłać aktualizacje/delty z lokalizacji źródłowej do docelowej, aby zachować dane na zsynchronizowanych systemach
- Konteksty replikacji katalogów (używane podczas replikowania jednego drzewa katalogów w /data/col1/backup między systemami):
Replikacja katalogów korzysta z dziennika replikacji w źródłowym DDR do śledzenia zaległych plików, które nie zostały jeszcze zreplikowane do miejsca docelowego
Jeśli kontekst replikacji katalogu się opóźnia, wtedy dziennik replikacji na źródłowym DDR będzie śledzić dużą liczbę plików oczekujących na replikację
Nawet jeśli pliki te zostaną usunięte, gdy dziennik replikacji się nadal do nich odwołuje, czyszczenie nie będzie w stanie odzyskać miejsca na dysku używanym przez te pliki
Jeśli kontekst replikacji katalogu się opóźnia, wtedy dziennik replikacji na źródłowym DDR będzie śledzić dużą liczbę plików oczekujących na replikację
Nawet jeśli pliki te zostaną usunięte, gdy dziennik replikacji się nadal do nich odwołuje, czyszczenie nie będzie w stanie odzyskać miejsca na dysku używanym przez te pliki
- Konteksty replikacji mtree (używane do replikowania wszelkich mtree innych niż /data/col1/backup między systemami):
Replikacja mtree używa migawek utworzonych w systemach źródłowych i docelowych, aby określić różnice między systemami, a tym samym pliki do wysłania z lokalizacji źródłowej do docelowej
Jeśli kontekst replikacji mtree opóźnia się, oznacza to, że odpowiednie mtree może mieć utworzone bardzo stare migawki w systemach źródłowych i docelowych
Nawet jeśli pliki są z replikowanego mtree w systemie źródłowym, jeśli pliki te istniały w chwili tworzenia migawek replikacji mtree w systemie, czyszczenie nie będzie mogło odzyskać miejsca na dysku używanym przez te pliki
Jeśli kontekst replikacji mtree opóźnia się, oznacza to, że odpowiednie mtree może mieć utworzone bardzo stare migawki w systemach źródłowych i docelowych
Nawet jeśli pliki są z replikowanego mtree w systemie źródłowym, jeśli pliki te istniały w chwili tworzenia migawek replikacji mtree w systemie, czyszczenie nie będzie mogło odzyskać miejsca na dysku używanym przez te pliki
- Konteksty replikacji kolekcji (używane podczas replikowania całej zawartości jednego DDR do innego systemu):
Replikacja kolekcji wykonuje replikację „block based” wszystkich danych w systemie źródłowym do systemu docelowego
Jeśli replikacja kolekcji się opóźnia, wtedy czyszczenie w systemie źródłowym nie będzie działało optymalnie — w tym scenariuszu w źródle zostanie wygenerowany alert informujący o tym, że przeprowadza się czyszczenie częściowe, aby uniknąć używania synchronizacji z systemem docelowym
Czyszczenie nie będzie więc mogło odzyskać tak dużej ilości miejsca jak oczekiwano w źródłowym DDR.
Jeśli replikacja kolekcji się opóźnia, wtedy czyszczenie w systemie źródłowym nie będzie działało optymalnie — w tym scenariuszu w źródle zostanie wygenerowany alert informujący o tym, że przeprowadza się czyszczenie częściowe, aby uniknąć używania synchronizacji z systemem docelowym
Czyszczenie nie będzie więc mogło odzyskać tak dużej ilości miejsca jak oczekiwano w źródłowym DDR.
Aby określić, czy konteksty replikacji są opóźnione, należy wykonać następujące czynności:
- Określić nazwę hosta bieżącego systemu:
sysadmin@dd4200# hostname
The Hostname is: dd4200.ddsupport.emea
The Hostname is: dd4200.ddsupport.emea
- Określić datę/godzinę w bieżącym systemie:
sysadmin@dd4200# date
Fri May 19 19:04:06 IST 2017
Fri May 19 19:04:06 IST 2017
- Wyświetlić listę kontekstów replikacji skonfigurowanych w systemie wraz z ich „synchronizacją w czasie”. Należy zwrócić uwagę, że określone konteksty to takie, w których „miejsce docelowe” NIE zawiera nazwy hosta bieżącego systemu (co oznacza, że bieżącym systemem jest źródło), a „synchronizacja w czasie” jest znacząco przestarzała:
sysadmin@dd4200# replication status
CTX Destination Enabled Connection Sync'ed-as-of-time Tenant-Unit
--- ---------------------------------------------------------------------------------- ------- ------------ ------------------ -----------
3 mtree://dd4200.ddsupport.emea/data/col1/DFC no idle Thu Jan 8 08:58 - <=== NOT INTERESTING - CURRENT SYSTEM IS THE DESTINATION
9 mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree no idle Mon Jan 25 14:48 - <=== INTERESTING - LAGGING AND CURRENT SYSTEM IS THE SOURCE
13 dir://DD2500-1.ddsupport.emea/backup/dstfolder no disconnected Thu Mar 30 17:55 - <=== INTERESTING - LAGGING AND CURRENT SYSTEM IS THE SOURCE
17 mtree://DD2500-1.ddsupport.emea/data/col1/oleary yes idle Fri May 19 18:57 - <=== NOT INTERESTING - CONTEXT IS UP TO DATE
18 mtree://dd4200.ddsupport.emea/data/col1/testfast yes idle Fri May 19 19:18 - <=== NOT INTERESTING - CONTEXT IS UP TO DATE
--- ---------------------------------------------------------------------------------- ------- ------------ ------------------ -----------
CTX Destination Enabled Connection Sync'ed-as-of-time Tenant-Unit
--- ---------------------------------------------------------------------------------- ------- ------------ ------------------ -----------
3 mtree://dd4200.ddsupport.emea/data/col1/DFC no idle Thu Jan 8 08:58 - <=== NOT INTERESTING - CURRENT SYSTEM IS THE DESTINATION
9 mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree no idle Mon Jan 25 14:48 - <=== INTERESTING - LAGGING AND CURRENT SYSTEM IS THE SOURCE
13 dir://DD2500-1.ddsupport.emea/backup/dstfolder no disconnected Thu Mar 30 17:55 - <=== INTERESTING - LAGGING AND CURRENT SYSTEM IS THE SOURCE
17 mtree://DD2500-1.ddsupport.emea/data/col1/oleary yes idle Fri May 19 18:57 - <=== NOT INTERESTING - CONTEXT IS UP TO DATE
18 mtree://dd4200.ddsupport.emea/data/col1/testfast yes idle Fri May 19 19:18 - <=== NOT INTERESTING - CONTEXT IS UP TO DATE
--- ---------------------------------------------------------------------------------- ------- ------------ ------------------ -----------
Konteksty, dla których aktualny system jest źródłem i które wykazują istotne opóźnienia lub konteksty, które nie są już wymagane, należy rozbić. Można to wykonać, uruchamiając następujące polecenie w systemie źródłowym i docelowym:
# replication break [destination]
Na przykład, aby rozbić pokazane powyżej „interesujące” konteksty, należy uruchomić następujące polecenia w systemie źródłowym i docelowym:
(dd4200.ddsupport.emea): # replication break mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree
(BenDDVE.ddsupport.emea): # replication break mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree
(BenDDVE.ddsupport.emea): # replication break mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree
(dd4200.ddsupport.emea): # replication break dir://DD2500-1.ddsupport.emea/backup/dstfolder
(DD2500-1.ddsupport.emea): # replication break dir://DD2500-1.ddsupport.emea/backup/dstfolder
(DD2500-1.ddsupport.emea): # replication break dir://DD2500-1.ddsupport.emea/backup/dstfolder
Uwaga:
- Kiedy konteksty są rozbite, należy wykonać czyszczenie w aktywnej warstwie w celu odzyskania wolnego miejsca w aktywnej warstwie
- W przypadku używania replikacji mtree po rozbiciu kontekstów, replikacja migawek mtree może pozostać na dysku. Należy wykonać krok 5, aby zakończyć wszystkie zbędne migawki przed uruchomieniem czyszczenia.
- Jeśli źródłowe/docelowe mtree jest skonfigurowane do migrowania danych do warstw archiwum lub chmury, należy zachować ostrożność podczas rozdzielania odpowiednich kontekstów replikacji mtree, ponieważ odtworzenie/ponowna inicjalizacja tych kontekstów w przyszłości może nie być możliwa. Jest tak dlatego, że w przypadku inicjalizacji kontekstu replikacji mtree w systemie źródłowym tworzona jest migawka mtree, zawierająca szczegóły wszystkich plików w mtree (bez względu na warstwę). Migawka ta jest następnie replikowana w całości do aktywnej warstwy miejsca docelowego. W związku z tym, jeśli aktywna warstwa miejsca docelowego nie ma wystarczającej ilości wolnej przestrzeni, aby przyswoić wszystkie dane mtree ze źródła, nie będzie można wykonać inicjalizacji. Aby uzyskać więcej informacji na temat tego problemu, skontaktuj się ze swoim dostawcą pomocy technicznej
- W przypadku rozbicia kontekstu replikacji kolekcji, kontekst nie będzie mógł być ponownie utworzony/zainicjowany bez uprzedniego zniszczenia instancji DDFS w docelowym DDR (i utraty wszystkich danych w tym systemie). W związku z tym kolejna inicjalizacja może trwać dość długo i zająć przepustowość sieci, ponieważ wszystkie dane ze źródła muszą być fizycznie replikowane ponownie do lokalizacji docelowej
Zawartość DDFS jest logicznie dzielona na drzewa mtree. Poszczególne klienty/aplikacje kopii zapasowych zwykle zapisują na poszczególnych drzewach mtree. Jeśli aplikacja kopii zapasowych została zlikwidowana, nie będzie mogła zapisywać/usuwać danych z DDR, co może skutkować pozostawieniem starych/zbędnych drzew mtree w systemie. Dane w tych drzewach mtree będą nadal istnieć, w nieskończoność zajmując wolne miejsce na dysku w DDR. W związku z tym należy usunąć wszelkie takie zbędne drzewa mtree. Oto przykład:
- Uzyskaj listę drzew mtree w systemie:
# mtree list
Name Pre-Comp (GiB) Status
------------------------------------------------------------- -------------- -------
/data/col1/Budu_test 147.0 RW
/data/col1/Default 8649.8 RW
/data/col1/File_DayForward_Noida 42.0 RW/RLCE
/data/col1/labtest 1462.7 RW
/data/col1/oscar_data 0.2 RW
/data/col1/test_oscar_2 494.0 RO/RD
------------------------------------------------------------- -------------- -------
Name Pre-Comp (GiB) Status
------------------------------------------------------------- -------------- -------
/data/col1/Budu_test 147.0 RW
/data/col1/Default 8649.8 RW
/data/col1/File_DayForward_Noida 42.0 RW/RLCE
/data/col1/labtest 1462.7 RW
/data/col1/oscar_data 0.2 RW
/data/col1/test_oscar_2 494.0 RO/RD
------------------------------------------------------------- -------------- -------
- Wszelkie drzewa mtree, które nie są już wymagane, należy usunąć przy użyciu polecenia „mtree delete”, tzn.:
# mtree delete [nazwa mtree]
Oto przykład:
# mtree delete /data/col1/Budu_test
...
MTree "/data/col1/Budu_test" deleted successfully.
MTree "/data/col1/Budu_test" deleted successfully.
- Ilość miejsca zużyta na dysku przez usunięte mtree zostanie odzyskana przy następnym uruchomieniu czyszczenia/odśmiecania pamięci aktywnej warstwy.
- Drzewa mtree które są miejscami docelowymi dla replikacji mtree (tzn. mają status „RO/RD” na liście wyników mtree), powinny mieć rozbity odpowiedni kontekst replikacji przed usunięciem mtree.
- Drzewa mtree, które są używane jako logiczne jednostki pamięci masowej DDBoost (LSU) lub jako pule wirtualnych bibliotek taśmowych (VTL), mogą nie być możliwe do usunięcia za pomocą polecenia „mtree delete”. Aby uzyskać więcej informacji na temat usuwania takich drzew mtree, należy zapoznać się z przewodnikiem administracji Data Domain.
- Drzewa mtree, które zostały skonfigurowane do blokady retencji (tzn. mają status RLCE lub RLGE), nie mogą być usunięte. -Zamiast tego pojedyncze pliki w obrębie mtree muszą mieć przywróconą blokadę retencji i muszą być usunięte pojedynczo. Szczegółowe informacje znajdują się w podręczniku administracji Data Domain.
Migawka Data Domain przedstawia migawkę punktu w czasie odpowiedniego mtree. W związku z tym:
- Migawka będzie się odwoływać do wszystkich plików, które znajdują się w obrębie mtree po utworzeniu migawki.
- Gdy migawka nadal istnieje nawet wtedy, gdy pliki te zostaną usunięte, czyszczenie nie będzie w stanie odzyskać żadnych fizycznych obszarów wykorzystywanych na dysku. Dzieje się tak dlatego, że dane muszą pozostać w systemie, w razie późniejszego uzyskiwania dostępu do kopii pliku w migawce.
- Uzyskaj listę drzew mtree w systemie za pomocą polecenia „mtree list”, jak pokazano w kroku 3
- Wyświetl listę migawek istniejących dla każdego mtree za pomocą polecenia „snapshot list”:
# snapshot list mtree [nazwa mtree]
W przypadku mtree bez migawek wyświetli się następująca informacja:
# snapshot list mtree /data/col1/Default
Snapshot Information for MTree: /data/col1/Default
----------------------------------------------
No snapshots found.
Snapshot Information for MTree: /data/col1/Default
----------------------------------------------
No snapshots found.
W przypadku mtree z migawkami wyświetli się następująca informacja:
# snapshot list mtree /data/col1/labtest
Snapshot Information for MTree: /data/col1/labtest
----------------------------------------------
Name Pre-Comp (GiB) Create Date Retain Until Status
------------------------------------ -------------- ----------------- ----------------- -------
testsnap-2016-03-31-12-00 1274.5 Mar 31 2016 12:00 Mar 26 2017 12:00 expired
testsnap-2016-05-31-12-00 1198.8 May 31 2016 12:00 May 26 2017 12:00
testsnap-2016-07-31-12-00 1301.3 Jul 31 2016 12:00 Jul 26 2017 12:00
testsnap-2016-08-31-12-00 1327.5 Aug 31 2016 12:00 Aug 26 2017 12:00
testsnap-2016-10-31-12-00 1424.9 Oct 31 2016 12:00 Oct 26 2017 13:00
testsnap-2016-12-31-12-00 1403.1 Dec 31 2016 12:00 Dec 26 2017 12:00
testsnap-2017-01-31-12-00 1421.0 Jan 31 2017 12:00 Jan 26 2018 12:00
testsnap-2017-03-31-12-00 1468.7 Mar 31 2017 12:00 Mar 26 2018 12:00
REPL-MTREE-AUTO-2017-05-11-15-18-32 1502.2 May 11 2017 15:18 May 11 2018 15:18
----------------------------------- -------------- ----------------- ----------------- -------
Snapshot Information for MTree: /data/col1/labtest
----------------------------------------------
Name Pre-Comp (GiB) Create Date Retain Until Status
------------------------------------ -------------- ----------------- ----------------- -------
testsnap-2016-03-31-12-00 1274.5 Mar 31 2016 12:00 Mar 26 2017 12:00 expired
testsnap-2016-05-31-12-00 1198.8 May 31 2016 12:00 May 26 2017 12:00
testsnap-2016-07-31-12-00 1301.3 Jul 31 2016 12:00 Jul 26 2017 12:00
testsnap-2016-08-31-12-00 1327.5 Aug 31 2016 12:00 Aug 26 2017 12:00
testsnap-2016-10-31-12-00 1424.9 Oct 31 2016 12:00 Oct 26 2017 13:00
testsnap-2016-12-31-12-00 1403.1 Dec 31 2016 12:00 Dec 26 2017 12:00
testsnap-2017-01-31-12-00 1421.0 Jan 31 2017 12:00 Jan 26 2018 12:00
testsnap-2017-03-31-12-00 1468.7 Mar 31 2017 12:00 Mar 26 2018 12:00
REPL-MTREE-AUTO-2017-05-11-15-18-32 1502.2 May 11 2017 15:18 May 11 2018 15:18
----------------------------------- -------------- ----------------- ----------------- -------
- Tam gdzie istnieją migawki, należy wykorzystać dane wyjściowe z polecenia „snapshot list mtree [nazwa mtree]” w celu określenia migawek, które:
Nie są nieaktualne (zobacz kolumna stanu)
Zostały utworzone w określonym czasie w przeszłości (na przykład migawki utworzone w 2016 r. z powyższej listy)
Wygasanie migawek powinno przebiegać w taki sposób, aby można je było usunąć, gdy trwa czyszczenie, a przestrzeń, jaką zajmują na dysku, została zwolniona:
# snapshot expire [nazwa migawki] mtree [nazwa mtree]
Oto przykład:
# snapshot expire testsnap-2016-05-31-12-00 mtree /data/col1/labtest
Snapshot "testsnap-2016-05-31-12-00" for mtree "/data/col1/labtest" will be retained until May 19 2017 19:31.
Snapshot "testsnap-2016-05-31-12-00" for mtree "/data/col1/labtest" will be retained until May 19 2017 19:31.
- Jeśli polecenie listy migawek zostanie uruchomione ponownie, migawki te będą teraz wyświetlane jako wygasłe:
# snapshot list mtree /data/col1/labtest
Snapshot Information for MTree: /data/col1/labtest
----------------------------------------------
Name Pre-Comp (GiB) Create Date Retain Until Status
------------------------------------ -------------- ----------------- ----------------- -------
testsnap-2016-03-31-12-00 1274.5 Mar 31 2016 12:00 Mar 26 2017 12:00 expired
testsnap-2016-05-31-12-00 1198.8 May 31 2016 12:00 May 26 2017 12:00 expired
testsnap-2016-07-31-12-00 1301.3 Jul 31 2016 12:00 Jul 26 2017 12:00
testsnap-2016-08-31-12-00 1327.5 Aug 31 2016 12:00 Aug 26 2017 12:00
testsnap-2016-10-31-12-00 1424.9 Oct 31 2016 12:00 Oct 26 2017 13:00
testsnap-2016-12-31-12-00 1403.1 Dec 31 2016 12:00 Dec 26 2017 12:00
testsnap-2017-01-31-12-00 1421.0 Jan 31 2017 12:00 Jan 26 2018 12:00
testsnap-2017-03-31-12-00 1468.7 Mar 31 2017 12:00 Mar 26 2018 12:00
REPL-MTREE-AUTO-2017-05-11-15-18-32 1502.2 May 11 2017 15:18 May 11 2018 15:18
----------------------------------- -------------- ----------------- ----------------- -------
Snapshot Information for MTree: /data/col1/labtest
----------------------------------------------
Name Pre-Comp (GiB) Create Date Retain Until Status
------------------------------------ -------------- ----------------- ----------------- -------
testsnap-2016-03-31-12-00 1274.5 Mar 31 2016 12:00 Mar 26 2017 12:00 expired
testsnap-2016-05-31-12-00 1198.8 May 31 2016 12:00 May 26 2017 12:00 expired
testsnap-2016-07-31-12-00 1301.3 Jul 31 2016 12:00 Jul 26 2017 12:00
testsnap-2016-08-31-12-00 1327.5 Aug 31 2016 12:00 Aug 26 2017 12:00
testsnap-2016-10-31-12-00 1424.9 Oct 31 2016 12:00 Oct 26 2017 13:00
testsnap-2016-12-31-12-00 1403.1 Dec 31 2016 12:00 Dec 26 2017 12:00
testsnap-2017-01-31-12-00 1421.0 Jan 31 2017 12:00 Jan 26 2018 12:00
testsnap-2017-03-31-12-00 1468.7 Mar 31 2017 12:00 Mar 26 2018 12:00
REPL-MTREE-AUTO-2017-05-11-15-18-32 1502.2 May 11 2017 15:18 May 11 2018 15:18
----------------------------------- -------------- ----------------- ----------------- -------
Uwaga:
- Nie można określić, ile danych fizycznych na dysku przechowuje na dysku jedna migawka lub zestaw migawek. Jedyna wartość przestrzeni skojarzona z migawką oznacza przede wszystkim wstępnie skompresowany (logiczny) rozmiar mtree podczas tworzenia migawki (jak pokazano w powyższych danych wyjściowych).
- Migawki o nazwie „REPL-MTREE-AUTO-YYYY-MM-DD-HH-MM-SS” są zarządzane przez replikację mtree i w normalnych warunkach nie trzeba wywoływać ich wygaśnięcia ręcznie (replikacja automatycznie powoduje wygaśnięcie migawek, jeśli nie są już wymagane). Jeśli takie migawki są bardzo stare, oznacza to, że odpowiedni kontekst replikacji prawdopodobnie wykazuje znaczące opóźnienia (jak opisano w kroku 2).
- Migawki o nazwie „REPL-MTREE-RESYNC-RESERVE-YYYY-MM-DD-HH-MM-SS” są tworzone przez replikację mtree w przypadku rozbicia kontekstu replikacji mtree. Celem ich użycia jest uniknięcie pełnej ponownej synchronizacji danych replikacji w przypadku późniejszego odtworzenia rozbitego kontekstu (na przykład w przypadku błędnego rozbicia kontekstu). Jeśli replikacja nie zostanie ponownie ustanowiona, można ręcznie wywołać wygaśnięcie kontekstów w opisany powyżej sposób.
- Wygasłe migawki będą nadal istniały w systemie do momentu uruchomienia następnej operacji czyszczenia/odśmiecania pamięci. Na tym etapie zostaną one fizycznie skasowane i usunięte z danych wyjściowych mtree listy migawek [nazwa mtree]. Czyszczenie może następnie odzyskać każdą przestrzeń, jaką te migawki wykorzystują na dysku.
Automatyczne pomoce z DDR zawierają histogramy pokazujące podział plików na DDR według wieku, na przykład:
File Distribution
-----------------
448,672 files in 5,276 directories
Count Space
----------------------------- --------------------------
Age Files % cumul% GiB % cumul%
--------- ----------- ----- ------- -------- ----- -------
1 day 7,244 1.6 1.6 4537.9 0.1 0.1
1 week 40,388 9.0 10.6 63538.2 0.8 0.8
2 weeks 47,850 10.7 21.3 84409.1 1.0 1.9
1 month 125,800 28.0 49.3 404807.0 5.0 6.9
2 months 132,802 29.6 78.9 437558.8 5.4 12.3
3 months 8,084 1.8 80.7 633906.4 7.8 20.1
6 months 5,441 1.2 81.9 1244863.9 15.3 35.4
1 year 21,439 4.8 86.7 3973612.3 49.0 84.4
> 1 year 59,624 13.3 100.0 1265083.9 15.6 100.0
--------- ----------- ----- ------- -------- ----- -------
-----------------
448,672 files in 5,276 directories
Count Space
----------------------------- --------------------------
Age Files % cumul% GiB % cumul%
--------- ----------- ----- ------- -------- ----- -------
1 day 7,244 1.6 1.6 4537.9 0.1 0.1
1 week 40,388 9.0 10.6 63538.2 0.8 0.8
2 weeks 47,850 10.7 21.3 84409.1 1.0 1.9
1 month 125,800 28.0 49.3 404807.0 5.0 6.9
2 months 132,802 29.6 78.9 437558.8 5.4 12.3
3 months 8,084 1.8 80.7 633906.4 7.8 20.1
6 months 5,441 1.2 81.9 1244863.9 15.3 35.4
1 year 21,439 4.8 86.7 3973612.3 49.0 84.4
> 1 year 59,624 13.3 100.0 1265083.9 15.6 100.0
--------- ----------- ----- ------- -------- ----- -------
Przydatne może być ustalenie, czy w systemie znajdują się pliki, które nie zostały usunięte/zakończono okres ich ważności zgodnie z oczekiwaniami przez aplikację tworzenia kopii zapasowej klienta. Jeśli na przykład w powyższym systemie aplikacja tworzenia kopii zapasowej dokonała zapisu, gdzie maksymalny okres przechowywania któregokolwiek z plików wynosił 6 miesięcy, jest oczywiste, że aplikacja kopii zapasowych nie usuwa/kończy okresu ważności plików zgodnie z oczekiwaniami, ponieważ w DDR jest około 80 000 plików starszych niż 6 miesięcy.
Zwróć uwagę, że:
- Za wykonanie wszystkich operacji kończenia okresu ważności/usuwania plików odpowiedzialna jest aplikacja do tworzenia kopii zapasowych.
- DDR nigdy nie kończy okresu ważności ani nie usuwa plików automatycznie. Jeśli aplikacja do tworzenia kopii zapasowych nie wyśle jednoznacznej instrukcji usunięcia pliku, plik będzie nadal znajdował się na DDR, wykorzystując przestrzeń w nieskończoność.
Jeśli to konieczne, pomoc techniczna Data Domain może dostarczyć dodatkowych raportów, aby:
- Podać nazwę/godzinę modyfikacji wszystkich plików w DDR według wieku (tak, aby można było określić nazwę/lokalizację wszelkich starych danych)
- Podzielić histogramy wieku plików na oddzielne raporty dla warstwy aktywnej/archiwum/chmury (w przypadku włączenia funkcji ER/LTR)
- Zbierz dowody zgodnie z opisem w akapicie „Collecting sfs_dump” w sekcji notatek tego dokumentu
- Otwórz zgłoszenie serwisowe u swojego zakontraktowanego dostawcy pomocy technicznej
Krok 6 — Wyszukaj kopie zapasowe obejmujące dużą liczbę małych plików
Ze względu na konstrukcję DDFS, małe pliki (zasadniczo wszystkie pliki o rozmiarze mniejszym niż około 10 MB) mogą zajmować nadmierną ilość wolnego miejsca po pierwszym zapisaniu w DDR. Dzieje się tak, gdyż architektura „SISL” (Stream Informed Segment Layout) sprawia, że małe pliki zajmują wiele pojedynczych bloków pamięci 4,5 MB na dysku. Na przykład plik 4 Kb może faktycznie wykorzystywać do 9 MB miejsca na dysku fizycznym, kiedy zostaje pierwotnie zapisany.
Takie nadmierne miejsce jest następnie odzyskiwane, kiedy jest uruchomione czyszczenie/odśmiecanie pamięci (jako że dane z małych plików są wtedy agregowane do mniejszych liczb bloków: 4,5 MB), ale mogą powodować, że mniejsze modele DDR wykazują nadmierne wykorzystanie i wypełniają się, kiedy takie kopie zapasowe są wykonywane.
Autopomoce zawierają histogramy plików podzielonych według rozmiaru, na przykład:
Count Space
----------------------------- --------------------------
Size Files % cumul% GiB % cumul%
--------- ----------- ----- ------- -------- ----- -------
1 KiB 2,957 35.8 35.8 0.0 0.0 0.0
10 KiB 1,114 13.5 49.3 0.0 0.0 0.0
100 KiB 249 3.0 52.4 0.1 0.0 0.0
500 KiB 1,069 13.0 65.3 0.3 0.0 0.0
1 MiB 113 1.4 66.7 0.1 0.0 0.0
5 MiB 446 5.4 72.1 1.3 0.0 0.0
10 MiB 220 2.7 74.8 1.9 0.0 0.0
50 MiB 1,326 16.1 90.8 33.6 0.2 0.2
100 MiB 12 0.1 91.0 0.9 0.0 0.2
500 MiB 490 5.9 96.9 162.9 0.8 1.0
1 GiB 58 0.7 97.6 15.6 0.1 1.1
5 GiB 29 0.4 98.0 87.0 0.5 1.6
10 GiB 17 0.2 98.2 322.9 1.7 3.3
50 GiB 21 0.3 98.4 1352.7 7.0 10.3
100 GiB 72 0.9 99.3 6743.0 35.1 45.5
500 GiB 58 0.7 100.0 10465.9 54.5 100.0
> 500 GiB 0 0.0 100.0 0.0 0.0 100.0
--------- ----------- ----- ------- -------- ----- -------
----------------------------- --------------------------
Size Files % cumul% GiB % cumul%
--------- ----------- ----- ------- -------- ----- -------
1 KiB 2,957 35.8 35.8 0.0 0.0 0.0
10 KiB 1,114 13.5 49.3 0.0 0.0 0.0
100 KiB 249 3.0 52.4 0.1 0.0 0.0
500 KiB 1,069 13.0 65.3 0.3 0.0 0.0
1 MiB 113 1.4 66.7 0.1 0.0 0.0
5 MiB 446 5.4 72.1 1.3 0.0 0.0
10 MiB 220 2.7 74.8 1.9 0.0 0.0
50 MiB 1,326 16.1 90.8 33.6 0.2 0.2
100 MiB 12 0.1 91.0 0.9 0.0 0.2
500 MiB 490 5.9 96.9 162.9 0.8 1.0
1 GiB 58 0.7 97.6 15.6 0.1 1.1
5 GiB 29 0.4 98.0 87.0 0.5 1.6
10 GiB 17 0.2 98.2 322.9 1.7 3.3
50 GiB 21 0.3 98.4 1352.7 7.0 10.3
100 GiB 72 0.9 99.3 6743.0 35.1 45.5
500 GiB 58 0.7 100.0 10465.9 54.5 100.0
> 500 GiB 0 0.0 100.0 0.0 0.0 100.0
--------- ----------- ----- ------- -------- ----- -------
Jeśli istnieją dowody kopii zapasowych zapisujących bardzo duże liczby małych plików, system może być dotknięty znaczącym tymczasowym wzrostem wykorzystania między poszczególnymi wywołaniami czyszczenia/odśmiecania pamięci. W tym scenariuszu zaleca się zmianę metody tworzenia kopii zapasowej tak, aby uwzględnić wszystkie małe pliki w jednym większym archiwum (takie jak plik tar) przed zapisem ich w DDR. Należy pamiętać, że nie należy kompresować ani szyfrować żadnych takich archiwów (ponieważ spowoduje to uszkodzenie współczynnika kompresji/deduplikacji tych danych).
Krok 7 — Wyszukaj niższy niż oczekiwany współczynnik kompresji
Głównym celem DDR jest deduplikowanie i kompresja danych przyswajanych przez urządzenie. Współczynnik deduplikowania/kompresji jest w dużym stopniu zależny od przypadku użycia systemu oraz rodzaju przechowywanych danych, jednakże w wielu przypadkach będzie to „oczekiwany” całkowity współczynnik kompresji na podstawie wyników uzyskanych za pomocą testu słuszności koncepcji lub podobnych. Aby określić aktualny całkowity współczynnik kompresji systemu (a więc czy spełnia oczekiwania), można użyć polecenia „filesys show compression”. Oto przykład:
# filesys show compression
From: 2017-05-03 13:00 To: 2017-05-10 13:00
Active Tier:
Pre-Comp Post-Comp Global-Comp Local-Comp Total-Comp
(GiB) (GiB) Factor Factor Factor
(Reduction %)
---------------- -------- --------- ----------- ---------- -------------
Currently Used:* 20581.1 315.4 - - 65.3x (98.5)
Written:
Last 7 days 744.0 5.1 80.5x 1.8x 145.6x (99.3)
Last 24 hrs
---------------- -------- --------- ----------- ---------- -------------
* Does not include the effects of pre-comp file deletes/truncates
From: 2017-05-03 13:00 To: 2017-05-10 13:00
Active Tier:
Pre-Comp Post-Comp Global-Comp Local-Comp Total-Comp
(GiB) (GiB) Factor Factor Factor
(Reduction %)
---------------- -------- --------- ----------- ---------- -------------
Currently Used:* 20581.1 315.4 - - 65.3x (98.5)
Written:
Last 7 days 744.0 5.1 80.5x 1.8x 145.6x (99.3)
Last 24 hrs
---------------- -------- --------- ----------- ---------- -------------
* Does not include the effects of pre-comp file deletes/truncates
W powyższym przykładzie system osiąga całkowity współczynnik kompresji 65,3x dla aktywnej warstwy (co jest bardzo dobrym wynikiem). Jeśli jednak wartość ta wskazuje, że całkowity współczynnik kompresji nie będzie spełniał oczekiwań, mogą być konieczne dodatkowe badania. Należy zwrócić uwagę, że badanie niższego niż oczekiwany współczynnik kompresji jest złożonym tematem, który może mieć wiele przyczyn głównych. Aby uzyskać więcej informacji na temat dalszych badań, należy zapoznać się z poniższym artykułem: https://support.emc.com/kb/487055
Krok 8 — Sprawdź, czy system jest źródłem replikacji danych
W przypadku korzystania z replikacji kolekcji, jeśli system źródłowy jest fizycznie większy niż miejsce docelowe, rozmiar systemu źródłowego będzie w sposób sztuczny ograniczony, aby był zgodny z lokalizacją docelową (tzn. w miejscu źródłowym będzie obszar dysku oznaczony jako niezdatne do użytku). Powodem tego jest fakt, że w przypadku korzystania z replikacji kolekcji miejsce docelowe musi być kopią źródła na poziomie bloku, jednak jeśli źródło jest fizycznie większe niż miejsce docelowe, istnieje ryzyko zapisania w źródle zbyt dużej ilości danych, które nie mogą być replikowane do miejsca docelowego (ponieważ jest już zapełnione). Tego scenariusza można uniknąć, ograniczając rozmiar źródła w celu dopasowania do miejsca docelowego.
- Używając poleceń z kroku 2, sprawdź, czy system jest źródłem replikacji kolekcji. Aby to zrobić, uruchom „replication status” i sprawdź, czy istnieją konteksty replikacji zaczynające się od „col://” (co oznacza replikację kolekcji), które NIE zawierają nazwy hosta systemu lokalnego w lokalizacji docelowej (oznacza to, że ten system musi być źródłem kontekstu replikacji)
- Jeśli system jest źródłem replikacji kolekcji, sprawdź rozmiar każdej aktywnej warstwy systemu, logując się do obu i uruchamiając polecenie „filesys show space” — porównaj rozmiar „post-comp” warstwy aktywnej na każdym
- Jeśli źródło jest znacznie większe niż miejsce docelowe, wówczas rozmiar jego aktywnej warstwy zostanie sztucznie ograniczony.
- Aby sprawić, by całe wolne miejsce na źródle było dostępne dla danych, należy wykonać następujące czynności:
Dodaj dodatkową pamięć do docelowej warstwy aktywnej, w taki sposób, aby jej rozmiar równał się >= rozmiarowi aktywnej warstwy źródłowej.
Rozbij kontekst replikacji kolekcji (przy użyciu poleceń z kroku 2). Zwróć uwagę, że oczywiście będzie to zapobiegać replikowaniu danych ze źródłowego -> do docelowego DDR.
Po wykonaniu jednej z tych czynności, dodatkowe miejsce będzie natychmiast udostępnione w aktywnej warstwie systemu źródłowego (tzn. nie ma potrzeby uruchamiania czyszczenia/odśmiecania pamięci w aktywnej warstwie przed użyciem tego miejsca).
Krok 9 — Sprawdź, czy przenoszenie danych jest regularnie wykonywane
Jeśli DDR ma konfigurację Extended Retention (ER) lub Long Term Retention (LTR), będzie miał drugą warstwę systemu składowania danych (warstwę archiwum dla ER lub warstwę chmury dla LTR). W tym scenariuszu zasady ruchu danych są prawdopodobnie skonfigurowane na migrację starszych/niezmodyfikowanych danych przez drzewa mtree, wymagających retencji długoterminowej z aktywnej warstwy do innej warstwy systemu składowania danych, tak aby ilość miejsca używana przez te pliki w warstwie aktywnej mogła być fizycznie odzyskana przez czyszczenie/odśmiecanie pamięci. Jeśli zasady przenoszenia danych zostaną nieprawidłowo skonfigurowane lub jeśli proces przenoszenia danych nie jest regularnie uruchamiany, stare dane pozostaną w warstwie aktywnej dłużej niż oczekiwano i będą nadal korzystać z ilości wolnego miejsca na dysku.
- Na początku potwierdź, czy system jest skonfigurowany dla ER lub LTR poprzez uruchomienie „filesys show space” i wyszukanie warstwy archiwum lub chmury. Zwróć uwagę, że te alternatywne warstwy systemu składowania danych muszą mieć rozmiar post-comp > 0 GB, aby można je było wykorzystać:
# filesys show space
...
Archive Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 4163.8 - - -
/data: post-comp 31938.2 1411.9 30526.3 4% -
---------------- -------- -------- --------- ---- -------------
# filesys show space
...
Cloud Tier
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 0.0 - - -
/data: post-comp 338905.8 0.0 338905.8 0% 0.0
---------------- -------- -------- --------- ---- -------------
...
Archive Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 4163.8 - - -
/data: post-comp 31938.2 1411.9 30526.3 4% -
---------------- -------- -------- --------- ---- -------------
# filesys show space
...
Cloud Tier
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB
---------------- -------- -------- --------- ---- -------------
/data: pre-comp - 0.0 - - -
/data: post-comp 338905.8 0.0 338905.8 0% 0.0
---------------- -------- -------- --------- ---- -------------
Zauważ, że ER i LTR nawzajem się wykluczają, więc system będzie albo zawierać tylko aktywną warstwę (bez konfiguracji ER/LTR) lub warstwą aktywną i archiwum (z konfiguracją ER) albo warstwę aktywną i chmury (z konfiguracją LTR).
- Jeśli system ma konfigurację ER/LTR, sprawdź zasady ruchu danych drzew mtree, aby upewnić się, że są one tak oczekiwane i ustawione, że stare dane zostaną wypchnięte do innej warstwy systemu składowania danych:
ER: # archive data-movement policy show
LTR: # data-movement policy show
LTR: # data-movement policy show
Jeśli zasady przenoszenia danych są nieprawidłowe lub ich nie ma, należy je naprawić. Zapoznaj się z podręcznikiem administracji Data Domain, aby uzyskać pomoc w tej kwestii.
- Jeśli system ma konfigurację ER/LTR, sprawdź, czy przenoszenie danych jest zaplanowane w regularnych odstępach czasu, aby fizycznie migrować pliki/dane z warstwy aktywnej do innej pamięci masowej:
ER: # archive data-movement schedule show
LTR: # data-movement schedule show
LTR: # data-movement schedule show
Zwróć uwagę, że Data Domain ogólnie zaleca przeprowadzenie przepływu danych w ramach zautomatyzowanego harmonogramu, jednak niektórzy klienci decydują się na uruchomienie tego procesu w trybie ad hoc (tzn. w razie potrzeby). W tym scenariuszu przenoszenie danych należy regularnie uruchamiać, wykonując następujące czynności:
ER: # archive data-movement start
LTR: # data-movement start
LTR: # data-movement start
Aby uzyskać więcej informacji na temat modyfikacji harmonogramu ruchu danych, należy zapoznać się z podręcznikiem administracji Data Domain
- Jeśli system ma konfigurację ER/LTR, sprawdź godzinę ostatniego uruchomienia przepływu danych:
ER: # archive data-movement status
LTR: # data-movement status
LTR: # data-movement status
Jeśli przenoszenia danych nie uruchamiano przez pewien czas, spróbuj ręcznie uruchomić proces, a następnie sprawdź w następujący sposób:
ER: # archive data-movement watch
LTR: # data-movement watch
LTR: # data-movement watch
Jeśli przenoszenie danych nie chce się uruchomić, należy skontaktować się ze swoim dostawcą pomocy technicznej, aby uzyskać dalszą pomoc.
- Po zakończeniu przepływu danych należy przeprowadzić czyszczenie warstwy aktywnej (należy pamiętać, że może być skonfigurowane tak, aby uruchamiało się automatycznie po zakończeniu przenoszenia danych), aby upewnić się, że miejsce zużyte na migrowane pliki w warstwie aktywnej zostało fizycznie zwolnione:
# filesys clean start
W systemach ER zwykle planuje się regularne uruchamianie przenoszenia danych (tzn. raz w tygodniu), a następnie konfiguruje się uruchomienie czyszczenia warstwy aktywnej po zakończeniu przenoszenia danych. W tym scenariuszu, czyszczenie warstwy aktywnej nie ma własnego niezależnego harmonogramu. Aby go skonfigurować, należy najpierw usunąć aktualny harmonogram czyszczenia warstwy aktywnej:
# filesys clean set schedule never
Skonfiguruj okresowe przenoszenie danych, a następnie automatyczne czyszczenie warstwy aktywnej, na przykład uruchamianie przenoszenia danych w każdy wtorek o 6:00, a następnie czyszczenia warstwy aktywnej:
# archive data-movement schedule set days Tue time 0600
The Archive data movement schedule has been set.
Archive data movement is scheduled to run on day(s) "tue" at "06:00" hrs
Można potwierdzić, że skonfigurowano uruchomienie czyszczenia warstwy aktywnej po zakończeniu przenoszenia danych w następujący sposób:
# archive show config
Enabled Yes
Data movement Schedule Run on day(s) "tue" at "06:00" hrs <=== SCHEDULE
Data movement throttle 100 percent
Default age threshold data movement policy 14 days
Run filesys clean after archive data movement Yes <=== RUN CLEAN ON COMPLETION
Archive Tier local compression gz
Packing data during archive data movement enabled
Space Reclamation disabled
Space Reclamation Schedule No schedule
W systemach ER zwykle planuje się regularne uruchamianie przenoszenia danych (tzn. raz w tygodniu), a następnie konfiguruje się uruchomienie czyszczenia warstwy aktywnej po zakończeniu przenoszenia danych. W tym scenariuszu, czyszczenie warstwy aktywnej nie ma własnego niezależnego harmonogramu. Aby go skonfigurować, należy najpierw usunąć aktualny harmonogram czyszczenia warstwy aktywnej:
# filesys clean set schedule never
Skonfiguruj okresowe przenoszenie danych, a następnie automatyczne czyszczenie warstwy aktywnej, na przykład uruchamianie przenoszenia danych w każdy wtorek o 6:00, a następnie czyszczenia warstwy aktywnej:
# archive data-movement schedule set days Tue time 0600
The Archive data movement schedule has been set.
Archive data movement is scheduled to run on day(s) "tue" at "06:00" hrs
Można potwierdzić, że skonfigurowano uruchomienie czyszczenia warstwy aktywnej po zakończeniu przenoszenia danych w następujący sposób:
# archive show config
Enabled Yes
Data movement Schedule Run on day(s) "tue" at "06:00" hrs <=== SCHEDULE
Data movement throttle 100 percent
Default age threshold data movement policy 14 days
Run filesys clean after archive data movement Yes <=== RUN CLEAN ON COMPLETION
Archive Tier local compression gz
Packing data during archive data movement enabled
Space Reclamation disabled
Space Reclamation Schedule No schedule
W systemach LTR czyszczenie warstwy aktywnej nadal powinno być skonfigurowane zgodnie z własnym harmonogramem
Krok 10 — Dodaj dodatkową pamięć do aktywnej warstwy
W przypadku przeprowadzenia wszystkich wcześniejszych kroków kończy się czyszczenie warstwy aktywnej, jednak nadal nie jest dostępna wystarczająca ilość miejsca w warstwie aktywnej, może to oznaczać, że system nie został prawidłowo dopasowany rozmiarem do otrzymywanych obciążeń roboczych. W tym przypadku należy wykonać jedną z następujących czynności:
- Zmniejszyć obciążenie robocze systemu, na przykład:
Przekierować podzestaw kopii zapasowych do innej pamięci
Skrócić okres retencji kopii zapasowych, tak aby szybciej wygasły lub zostały usunięte
Zmniejszyć liczbę/skrócić okres ważności zaplanowanych migawek względem drzew mtree w systemie
Rozbić zbędne konteksty replikacji, dla których system lokalny jest miejscem docelowym, a następnie usunąć odpowiednie drzewa mtree
Skrócić okres retencji kopii zapasowych, tak aby szybciej wygasły lub zostały usunięte
Zmniejszyć liczbę/skrócić okres ważności zaplanowanych migawek względem drzew mtree w systemie
Rozbić zbędne konteksty replikacji, dla których system lokalny jest miejscem docelowym, a następnie usunąć odpowiednie drzewa mtree
- Dodaj pamięć masową do aktywnej warstwy systemu i powiększ jej rozmiar:
# storage add [aktywna warstwa] enclosure [numer obudowy] | disk [numer urządzenia]
# filesys expand
# filesys expand
W celu omówienia dodawania pamięci masowej skontaktuj się z działem obsługi klienta.
Additional Information
Obsługa Data Domain może generować szereg raportów, w których wyświetlane są następujące informacje:
- Lista wszystkich plików w określonej warstwie (np. active/archive/cloud) uporządkowanych według wieku
- Szacowany rozmiar i współczynnik kompresji według mtree/głównego drzewa katalogów
- Lista wszystkich plików w określonym mtree uporządkowanych według wieku
- i tak dalej
W tym celu należy zebrać następujące informacje:
- Nowy pakiet pomocy technicznej z DDR — aby uzyskać więcej informacji, należy zapoznać się z poniższym:https://support.emc.com/kb/323283
- Dane wyjściowe „sfs_dump” lub „sfs_dump -c”:
Zaloguj się do interfejsu CLI DDR i przejdź do trybu se (zwróć uwagę, że systemy skonfigurowane przez szyfrowanie i/lub blokadę retencji mogą na tym etapie monitować o podanie danych użytkownika z rolą „zabezpieczenia”):
# system show serialno
[wyświetlony numer seryjny systemu]
# priv set se
[monit o hasło - wprowadź powyższy numer seryjny systemu]
[wyświetlony numer seryjny systemu]
# priv set se
[monit o hasło - wprowadź powyższy numer seryjny systemu]
Umożliwia zalogowanie do sesji terminalowej. Na przykład, jeśli używasz putty, można wykonać następujące czynności: Kliknij prawym przyciskiem myszy pasek menu -> Change settings... -> Session -> Logging -> Wybierz wszystkie dane wyjściowe sesji i wybierz nazwę pliku -> Apply
Uruchom sfs_dump:
# se sfs_dump
Po zakończeniu należy uzyskać kopię dziennika sesji do dalszej analizy.
- Raport lokalizacji plików (wymagany, jeśli system jest skonfigurowany dla ER lub LTR):
Zaloguj się do interfejsu CLI DDR
Włącz logowanie do sesji terminalowej. Na przykład, jeśli używasz putty, można wykonać następujące czynności: Kliknij prawym przyciskiem myszy pasek menu -> Change settings... -> Session -> Logging -> Wybierz wszystkie dane wyjściowe sesji i wybierz nazwę pliku -> Apply
Pobierz raport lokalizacji plików:
ER: # archive report generate file-location
LTR: # filesys report generate file-location
Po zakończeniu należy uzyskać kopię dziennika sesji do dalszej analizy
Włącz logowanie do sesji terminalowej. Na przykład, jeśli używasz putty, można wykonać następujące czynności: Kliknij prawym przyciskiem myszy pasek menu -> Change settings... -> Session -> Logging -> Wybierz wszystkie dane wyjściowe sesji i wybierz nazwę pliku -> Apply
Pobierz raport lokalizacji plików:
ER: # archive report generate file-location
LTR: # filesys report generate file-location
Po zakończeniu należy uzyskać kopię dziennika sesji do dalszej analizy
Aby uzyskać pomoc w gromadzeniu powyższych lub z jakimikolwiek innymi etapami tego czyszczenia archiwum, należy skontaktować się ze swoim dostawcą pomocy technicznej.
Affected Products
Data DomainProducts
Data DomainArticle Properties
Article Number: 000054303
Article Type: Solution
Last Modified: 21 Jul 2025
Version: 6
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.