Data Domain: Rozwiązywanie problemów z dużym wykorzystaniem miejsca lub brakiem dostępnej pojemności w systemach Data Domain Restorer (DDR)

Summary: Ten artykuł zawiera procedury krok po kroku, ułatwiające rozwiązywanie problemów z dużym wykorzystaniem miejsca lub brak dostępnej pojemności w systemach Data Domain Restorer (DDR)

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

 
Wszystkie systemy Data Domain Restorer (DDR) zawierają pulę/obszar pamięci masowej, znany jako „aktywna warstwa”:
  • Jest to obszar dysku, w którym mieszczą się nowo przyswojone pliki/dane i na większości DDR pliki tam pozostają do momentu zakończenia czasu ważności/usunięcia przez aplikację tworzenia kopii zapasowych klienta
  • W przypadku DDR z konfiguracją Extended Retention (ER) lub Long Term Retention (LTR) proces przenoszenia danych może być okresowo uruchamiany w celu przeprowadzenia migracji starych plików z warstwy aktywnej do warstwy archiwum lub chmury
  • Jedynym sposobem odzyskania miejsca w aktywnej warstwie, które było używane przez pliki usunięte/zmigrowane, jest uruchomienie procesu odśmiecania pamięci/czyszczenia
Bieżące wykorzystanie aktywnej warstwy może być wyświetlone za pośrednictwem poleceń „filesys show space” lub „df”:
 
# df

Active Tier:
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   --------   --------   ---------   ----   --------------
/data: pre-comp           -    33098.9           -      -                -
/data: post-comp    65460.3      518.7     64941.6     1%              0.0
/ddvar                 29.5       19.7         8.3    70%                -
/ddvar/core            31.5        0.2        29.7     1%                -
----------------   --------   --------   ---------   ----   --------------

Zwróć uwagę, że szczegóły warstwy archiwum/chmury będą wyświetlane poniżej aktywnej warstwy, jeśli są skonfigurowane.

Wykorzystanie warstwy aktywnej musi być starannie zarządzane, w przeciwnym razie może dojść do poniższych sytuacji:
  • Może zacząć brakować dostępnego miejsca w warstwie aktywnej, powodując wyświetlenie alertów i komunikatów, takich jak poniższe:
EVT-SPACE-00004: Space usage in Data Collection has exceeded 95% threshold.
  • Jeśli warstwa aktywna zapełni się w 100%, nie będzie można zapisywać żadnych nowych danych w DDR, co może spowodować awarię tworzenia kopii zapasowych/replikacji. W tym scenariuszu mogą zostać wyświetlone następujące alerty i komunikaty:
CRITICAL: MSG-CM-00002: /../vpart:/vol1/col1/cp1/cset: Container set [identyfikator zestawu kontenerów] out of space
  • W niektórych okolicznościach zapełnianie warstwy aktywnej może spowodować, że system plików Data Domain (DDFS) stanie się tylko do odczytu i na tym etapie nie będzie można usunąć istniejących plików
Ten artykuł z bazy wiedzy ma za zadanie:
  • Wyjaśnić, dlaczego aktywna warstwa może się zapełnić
  • Opisać prosty zestaw kontroli, jakie można wykonać w celu ustalenia przyczyny wysokiego wykorzystania aktywnej warstwy oraz odpowiednie czynności zaradcze
Uwaga:
  • Ten artykuł nie wyczerpuje tematu (tzn. może być mała liczba przypadków, w których aktywna warstwa DDR będzie w dużym stopniu wykorzystana/pełna z powodu nieomówionego w tym dokumencie), jednakże powinien on odnosić się do większości typowych przyczyn/problemów
  • Ten artykuł nie omawia wysokiego wykorzystania warstwy archiwum lub chmury

Cause

 



 
Aktywna warstwa DDR może doświadczać wykorzystania powyżej oczekiwań z kilku powodów:
  • Kopie zapasowe i zestawy zapisu nie są poprawnie usuwane przez aplikacje do tworzenia kopii zapasowych klienta na skutek nieprawidłowych zasad przechowywania lub konfiguracji aplikacji tworzenia kopii zapasowej
  • Opóźnienie replikacji powodujące przechowywanie dużych ilości starych danych w aktywnej warstwie w trakcie replikacji do replik
  • Dane zapisywane w warstwie aktywnej mają niższy całkowity współczynnik kompresji niż oczekiwany
  • System nie ma prawidłowego rozmiaru, tzn. ilość danych, które mogą być w danym czasie przechowywane, jest za mała
  • Kopie zapasowe składają się z dużej liczby bardzo małych plików — te pliki zajmują dużo więcej miejsca niż oczekiwano przy ich zapisywaniu, jednak to miejsce powinno być odzyskane podczas czyszczenia/odśmiecania pamięci
  • Przenoszenie danych, które nie jest regularnie wykonywane na systemach skonfigurowanych z użyciem ER/LTR, powodujące, że stare pliki, które powinny zostać zmigrowane do warstw archiwum/chmury, pozostają w aktywnej warstwie
  • Czyszczenie/odśmiecanie pamięci nie jest regularnie wykonywane
  • Zbyt duże lub stare migawki mtree, znajdujące się w DDR, uniemożliwiające oczyszczenie miejsca z usuniętych plików/danych

Resolution

Krok 1 — Określ, czy trzeba wykonać czyszczenie aktywnej warstwy

System operacyjny Data Domain (DDOS) podejmuje próbę utrzymania licznika o nazwie „Cleanable GiB” dla aktywnej warstwy. Jest to oszacowanie ilości miejsca fizycznego (post-comp) potencjalnie możliwego do odzyskania w warstwie aktywnej poprzez uruchomienie operacji czyszczenia/odśmiecania pamięci. Ten licznik jest wyświetlany za pomocą poleceń „filesys show space’/’df”:
 
Active Tier:
Resource           Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   --------   ---------   ---------   ----   --------------
/data: pre-comp           -   7259347.5           -      -                -
/data: post-comp   304690.8    251252.4     53438.5    82%           51616.1 <=== NOTE
/ddvar                 29.5        12.5        15.6    44%                -
----------------   --------   ---------   ---------   ----   --------------

Jeśli:
  • Wartość „Cleanable GiB” jest duża lub
  • DDFS jest w 100% pełny (a więc jest tylko do odczytu)
Przed kontynuowaniem dalszych czynności opisanych w tym dokumencie należy przeprowadzić czyszczenie i umożliwić dokończenie procedury. Aby uruchomić czyszczenie, należy użyć polecenia „filesys clean start”, tzn.:
 
# filesys clean start
Cleaning started.  Use 'filesys clean watch' to monitor progress.

Aby potwierdzić rozpoczęcie czyszczenia zgodnie z oczekiwaniami, można użyć polecenia „filesys status”, tzn.:
 
# filesys status
The filesystem is enabled and running.
Cleaning started at 2017/05/19 18:05:58: phase 1 of 12 (pre-merge)
 50.6% complete, 64942 GiB free; time: phase  0:01:05, total  0:01:05

Uwaga:
  • jeśli nie można uruchomić czyszczenia, należy skontaktować się z działem pomocy technicznej, aby uzyskać dalszą pomoc — może to oznaczać, że w systemie wystąpił błąd brakującego segmentu, powodując wyłączenie czyszczenia.
  • Jeśli jest już uruchomione czyszczenie, zostanie wyświetlony następujący komunikat, kiedy zostanie podjęta próba uruchomienia:
**** Cleaning already in progress.  Use 'filesys clean watch' to monitor progress.
  • Żadne miejsce na aktywnej warstwie nie zostanie zwolnione/odzyskane do momentu, aż czyszczenie osiągnie fazę kopiowania (domyślnie faza 9 w DDOS 5.4.x i wcześniejsze, faza 11 w DDOS 5.5.x i nowsze). Aby uzyskać więcej informacji na temat faz używanych podczas czyszczenia, zobacz: https://support.emc.com/kb/446734
  • Czyszczenie może nie odzyskać ilości miejsca wskazanej przez „Cleanabe GiB”, ponieważ wartość ta jest zasadniczo szacunkiem. Aby uzyskać więcej informacji na ten temat, zobacz: https://support.emc.com/kb/485637
  • Czyszczenie może nie odzyskać całego możliwego miejsca w jednym procesie. Dzieje się tak dlatego, że w przypadku DDR zawierających bardzo duże zestawy danych czyszczenie będzie działać na części systemu plików, zawierającej najbardziej niepotrzebne dane (tj. w celu zapewnienia najlepszego zwrotu w wolnej przestrzeni dla czasu potrzebnego do prawidłowego uruchomienia). W niektórych sytuacjach niezbędne może być wielokrotne uruchomienie czyszczenia przed odzyskaniem całego potencjalnego miejsca.
  • Jeśli wartość dla „Cleanable GiB” była bardzo duża, może to oznaczać, że czyszczenie nie przebiegało w regularnych odstępach czasu. Sprawdź, czy ustawiono harmonogram czyszczenia:
# filesys clean show schedule

W razie potrzeby ustaw harmonogram czyszczenia w aktywnej warstwie, na przykład w każdy wtorek o 6:00:

# filesys clean set schedule Tue 0600
Filesystem cleaning is scheduled to run "Tue" at "0600".


Należy pamiętać, że w systemach z konfiguracją Extended Retention (ER) można ustawić uruchomienie czyszczenia po zakończeniu przepływu danych i może ono nie mieć własnego oddzielnego harmonogramu. Ten scenariusz opisano w dalszej części tego dokumentu

Po zakończeniu czyszczenia należy użyć poleceń „filesys show space’/’df”, aby ustalić, czy zostały rozwiązane problemy dotyczące wykorzystania. Jeśli wykorzystanie jest nadal wysokie, wykonaj pozostałe czynności opisane w tym artykule.

Krok 2 — Sprawdź, czy nie ma dużych opóźnień replikacji na kontekstach replikacji źródeł

Natywna replikacja Data Domain jest opracowana na podstawie pojęcia „kontekstów replikacji”. Na przykład kiedy dane mają być replikowane między systemami:
  • Konteksty replikacji są tworzone na źródłowych i docelowych DDR
  • Konteksty są inicjowane
  • Po zakończeniu inicjalizacji replikacja będzie okresowo wysyłać aktualizacje/delty z lokalizacji źródłowej do docelowej, aby zachować dane na zsynchronizowanych systemach
Jeśli kontekst replikacji źródła ma opóźnienie, to może spowodować zatrzymanie starych danych na dysku w systemie źródłowym (należy pamiętać, że opóźnione konteksty replikacji nie mogą spowodować nadmiernego wykorzystania w systemie docelowym):
  • Konteksty replikacji katalogów (używane podczas replikowania jednego drzewa katalogów w /data/col1/backup między systemami):
Replikacja katalogów korzysta z dziennika replikacji w źródłowym DDR do śledzenia zaległych plików, które nie zostały jeszcze zreplikowane do miejsca docelowego
Jeśli kontekst replikacji katalogu się opóźnia, wtedy dziennik replikacji na źródłowym DDR będzie śledzić dużą liczbę plików oczekujących na replikację
Nawet jeśli pliki te zostaną usunięte, gdy dziennik replikacji się nadal do nich odwołuje, czyszczenie nie będzie w stanie odzyskać miejsca na dysku używanym przez te pliki
  •  Konteksty replikacji mtree (używane do replikowania wszelkich mtree innych niż /data/col1/backup między systemami):
Replikacja mtree używa migawek utworzonych w systemach źródłowych i docelowych, aby określić różnice między systemami, a tym samym pliki do wysłania z lokalizacji źródłowej do docelowej
Jeśli kontekst replikacji mtree opóźnia się, oznacza to, że odpowiednie mtree może mieć utworzone bardzo stare migawki w systemach źródłowych i docelowych
Nawet jeśli pliki są z replikowanego mtree w systemie źródłowym, jeśli pliki te istniały w chwili tworzenia migawek replikacji mtree w systemie, czyszczenie nie będzie mogło odzyskać miejsca na dysku używanym przez te pliki
  • Konteksty replikacji kolekcji (używane podczas replikowania całej zawartości jednego DDR do innego systemu):
Replikacja kolekcji wykonuje replikację „block based” wszystkich danych w systemie źródłowym do systemu docelowego
Jeśli replikacja kolekcji się opóźnia, wtedy czyszczenie w systemie źródłowym nie będzie działało optymalnie — w tym scenariuszu w źródle zostanie wygenerowany alert informujący o tym, że przeprowadza się czyszczenie częściowe, aby uniknąć używania synchronizacji z systemem docelowym
Czyszczenie nie będzie więc mogło odzyskać tak dużej ilości miejsca jak oczekiwano w źródłowym DDR.

 Aby określić, czy konteksty replikacji są opóźnione, należy wykonać następujące czynności:
  • Określić nazwę hosta bieżącego systemu:
sysadmin@dd4200# hostname
The Hostname is: dd4200.ddsupport.emea
  • Określić datę/godzinę w bieżącym systemie:
sysadmin@dd4200# date
Fri May 19 19:04:06 IST 2017
  • Wyświetlić listę kontekstów replikacji skonfigurowanych w systemie wraz z ich „synchronizacją w czasie”. Należy zwrócić uwagę, że określone konteksty to takie, w których „miejsce docelowe” NIE zawiera nazwy hosta bieżącego systemu (co oznacza, że bieżącym systemem jest źródło), a „synchronizacja w czasie” jest znacząco przestarzała:
sysadmin@dd4200# replication status
CTX   Destination                                                                          Enabled   Connection     Sync'ed-as-of-time   Tenant-Unit
---   ----------------------------------------------------------------------------------   -------   ------------   ------------------   -----------    
3     mtree://dd4200.ddsupport.emea/data/col1/DFC                                          no        idle           Thu Jan 8 08:58     -   <=== NOT INTERESTING  - CURRENT SYSTEM IS THE DESTINATION
9     mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree                                    no        idle           Mon Jan 25 14:48     -   <=== INTERESTING - LAGGING AND CURRENT SYSTEM IS THE SOURCE
13    dir://DD2500-1.ddsupport.emea/backup/dstfolder                                       no        disconnected   Thu Mar 30 17:55     -   <=== INTERESTING - LAGGING AND CURRENT SYSTEM IS THE SOURCE
17    mtree://DD2500-1.ddsupport.emea/data/col1/oleary                                     yes       idle           Fri May 19 18:57     -   <=== NOT INTERESTING - CONTEXT IS UP TO DATE   
18    mtree://dd4200.ddsupport.emea/data/col1/testfast                                     yes       idle           Fri May 19 19:18     -   <=== NOT INTERESTING - CONTEXT IS UP TO DATE
---   ----------------------------------------------------------------------------------   -------   ------------   ------------------   -----------

Konteksty, dla których aktualny system jest źródłem i które wykazują istotne opóźnienia lub konteksty, które nie są już wymagane, należy rozbić. Można to wykonać, uruchamiając następujące polecenie w systemie źródłowym i docelowym:
 
# replication break [destination]

Na przykład, aby rozbić pokazane powyżej „interesujące” konteksty, należy uruchomić następujące polecenia w systemie źródłowym i docelowym:
 
(dd4200.ddsupport.emea): # replication break mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree
(BenDDVE.ddsupport.emea): # replication break mtree://BenDDVE.ddsupport.emea/data/col1/BenMtree

 
(dd4200.ddsupport.emea): # replication break dir://DD2500-1.ddsupport.emea/backup/dstfolder
(DD2500-1.ddsupport.emea): # replication break dir://DD2500-1.ddsupport.emea/backup/dstfolder

Uwaga:
  • Kiedy konteksty są rozbite, należy wykonać czyszczenie w aktywnej warstwie w celu odzyskania wolnego miejsca w aktywnej warstwie
  • W przypadku używania replikacji mtree po rozbiciu kontekstów, replikacja migawek mtree może pozostać na dysku. Należy wykonać krok 5, aby zakończyć wszystkie zbędne migawki przed uruchomieniem czyszczenia.
  • Jeśli źródłowe/docelowe mtree jest skonfigurowane do migrowania danych do warstw archiwum lub chmury, należy zachować ostrożność podczas rozdzielania odpowiednich kontekstów replikacji mtree, ponieważ odtworzenie/ponowna inicjalizacja tych kontekstów w przyszłości może nie być możliwa. Jest tak dlatego, że w przypadku inicjalizacji kontekstu replikacji mtree w systemie źródłowym tworzona jest migawka mtree, zawierająca szczegóły wszystkich plików w mtree (bez względu na warstwę). Migawka ta jest następnie replikowana w całości do aktywnej warstwy miejsca docelowego. W związku z tym, jeśli aktywna warstwa miejsca docelowego nie ma wystarczającej ilości wolnej przestrzeni, aby przyswoić wszystkie dane mtree ze źródła, nie będzie można wykonać inicjalizacji. Aby uzyskać więcej informacji na temat tego problemu, skontaktuj się ze swoim dostawcą pomocy technicznej
  • W przypadku rozbicia kontekstu replikacji kolekcji, kontekst nie będzie mógł być ponownie utworzony/zainicjowany bez uprzedniego zniszczenia instancji DDFS w docelowym DDR (i utraty wszystkich danych w tym systemie). W związku z tym kolejna inicjalizacja może trwać dość długo i zająć przepustowość sieci, ponieważ wszystkie dane ze źródła muszą być fizycznie replikowane ponownie do lokalizacji docelowej
Krok 3 — Sprawdź, które mtree nie są już wymagane

Zawartość DDFS jest logicznie dzielona na drzewa mtree. Poszczególne klienty/aplikacje kopii zapasowych zwykle zapisują na poszczególnych drzewach mtree. Jeśli aplikacja kopii zapasowych została zlikwidowana, nie będzie mogła zapisywać/usuwać danych z DDR, co może skutkować pozostawieniem starych/zbędnych drzew mtree w systemie. Dane w tych drzewach mtree będą nadal istnieć, w nieskończoność zajmując wolne miejsce na dysku w DDR. W związku z tym należy usunąć wszelkie takie zbędne drzewa mtree. Oto przykład:
  • Uzyskaj listę drzew mtree w systemie:
# mtree list
Name                                                            Pre-Comp (GiB)   Status 
-------------------------------------------------------------   --------------   -------
/data/col1/Budu_test                                                     147.0   RW     
/data/col1/Default                                                      8649.8   RW     
/data/col1/File_DayForward_Noida                                          42.0   RW/RLCE
/data/col1/labtest                                                      1462.7   RW     
/data/col1/oscar_data                                                      0.2   RW     
/data/col1/test_oscar_2                                                  494.0   RO/RD     
-------------------------------------------------------------   --------------   -------
  • Wszelkie drzewa mtree, które nie są już wymagane, należy usunąć przy użyciu polecenia „mtree delete”, tzn.:
# mtree delete [nazwa mtree]

Oto przykład:

# mtree delete /data/col1/Budu_test
...
MTree "/data/col1/Budu_test" deleted successfully.
  • Ilość miejsca zużyta na dysku przez usunięte mtree zostanie odzyskana przy następnym uruchomieniu czyszczenia/odśmiecania pamięci aktywnej warstwy.
Uwaga:
  • Drzewa mtree które są miejscami docelowymi dla replikacji mtree (tzn. mają status „RO/RD” na liście wyników mtree), powinny mieć rozbity odpowiedni kontekst replikacji przed usunięciem mtree.
  • Drzewa mtree, które są używane jako logiczne jednostki pamięci masowej DDBoost (LSU) lub jako pule wirtualnych bibliotek taśmowych (VTL), mogą nie być możliwe do usunięcia za pomocą polecenia „mtree delete”. Aby uzyskać więcej informacji na temat usuwania takich drzew mtree, należy zapoznać się z przewodnikiem administracji Data Domain.
  • Drzewa mtree, które zostały skonfigurowane do blokady retencji (tzn. mają status RLCE lub RLGE), nie mogą być usunięte. -Zamiast tego pojedyncze pliki w obrębie mtree muszą mieć przywróconą blokadę retencji i muszą być usunięte pojedynczo. Szczegółowe informacje znajdują się w podręczniku administracji Data Domain.
Krok 4 — Wyszukaj stare/zbędne migawki mtree

Migawka Data Domain przedstawia migawkę punktu w czasie odpowiedniego mtree. W związku z tym:
  • Migawka będzie się odwoływać do wszystkich plików, które znajdują się w obrębie mtree po utworzeniu migawki.
  • Gdy migawka nadal istnieje nawet wtedy, gdy pliki te zostaną usunięte, czyszczenie nie będzie w stanie odzyskać żadnych fizycznych obszarów wykorzystywanych na dysku. Dzieje się tak dlatego, że dane muszą pozostać w systemie, w razie późniejszego uzyskiwania dostępu do kopii pliku w migawce.
Aby sprawdzić, czy wszystkie drzewa mtree mają stare/zbędne migawki, należy wykonać następujące czynności:
  • Uzyskaj listę drzew mtree w systemie za pomocą polecenia „mtree list”, jak pokazano w kroku 3
  • Wyświetl listę migawek istniejących dla każdego mtree za pomocą polecenia „snapshot list”:
# snapshot list mtree [nazwa mtree]

W przypadku mtree bez migawek wyświetli się następująca informacja:
 
# snapshot list mtree /data/col1/Default
Snapshot Information for MTree: /data/col1/Default
----------------------------------------------
No snapshots found.

W przypadku mtree z migawkami wyświetli się następująca informacja:
 
# snapshot list mtree /data/col1/labtest
Snapshot Information for MTree: /data/col1/labtest
----------------------------------------------
Name                                  Pre-Comp (GiB)   Create Date         Retain Until        Status 
------------------------------------  --------------   -----------------   -----------------   -------
testsnap-2016-03-31-12-00                     1274.5   Mar 31 2016 12:00   Mar 26 2017 12:00   expired
testsnap-2016-05-31-12-00                     1198.8   May 31 2016 12:00   May 26 2017 12:00          
testsnap-2016-07-31-12-00                     1301.3   Jul 31 2016 12:00   Jul 26 2017 12:00          
testsnap-2016-08-31-12-00                     1327.5   Aug 31 2016 12:00   Aug 26 2017 12:00          
testsnap-2016-10-31-12-00                     1424.9   Oct 31 2016 12:00   Oct 26 2017 13:00          
testsnap-2016-12-31-12-00                     1403.1   Dec 31 2016 12:00   Dec 26 2017 12:00          
testsnap-2017-01-31-12-00                     1421.0   Jan 31 2017 12:00   Jan 26 2018 12:00          
testsnap-2017-03-31-12-00                     1468.7   Mar 31 2017 12:00   Mar 26 2018 12:00      
REPL-MTREE-AUTO-2017-05-11-15-18-32           1502.2   May 11 2017 15:18   May 11 2018 15:18         

-----------------------------------   --------------   -----------------   -----------------   -------
  • Tam gdzie istnieją migawki, należy wykorzystać dane wyjściowe z polecenia „snapshot list mtree [nazwa mtree]” w celu określenia migawek, które:
Nie są nieaktualne (zobacz kolumna stanu)
Zostały utworzone w określonym czasie w przeszłości (na przykład migawki utworzone w 2016 r. z powyższej listy)

Wygasanie migawek powinno przebiegać w taki sposób, aby można je było usunąć, gdy trwa czyszczenie, a przestrzeń, jaką zajmują na dysku, została zwolniona:

# snapshot expire [nazwa migawki] mtree [nazwa mtree]

Oto przykład:
 
# snapshot expire testsnap-2016-05-31-12-00 mtree /data/col1/labtest
Snapshot "testsnap-2016-05-31-12-00" for mtree "/data/col1/labtest" will be retained until May 19 2017 19:31.
  • Jeśli polecenie listy migawek zostanie uruchomione ponownie, migawki te będą teraz wyświetlane jako wygasłe:
# snapshot list mtree /data/col1/labtest
Snapshot Information for MTree: /data/col1/labtest
----------------------------------------------
Name                                  Pre-Comp (GiB)   Create Date         Retain Until        Status 
------------------------------------  --------------   -----------------   -----------------   -------
testsnap-2016-03-31-12-00                     1274.5   Mar 31 2016 12:00   Mar 26 2017 12:00   expired
testsnap-2016-05-31-12-00                     1198.8   May 31 2016 12:00   May 26 2017 12:00   expired       
testsnap-2016-07-31-12-00                     1301.3   Jul 31 2016 12:00   Jul 26 2017 12:00          
testsnap-2016-08-31-12-00                     1327.5   Aug 31 2016 12:00   Aug 26 2017 12:00          
testsnap-2016-10-31-12-00                     1424.9   Oct 31 2016 12:00   Oct 26 2017 13:00          
testsnap-2016-12-31-12-00                     1403.1   Dec 31 2016 12:00   Dec 26 2017 12:00          
testsnap-2017-01-31-12-00                     1421.0   Jan 31 2017 12:00   Jan 26 2018 12:00          
testsnap-2017-03-31-12-00                     1468.7   Mar 31 2017 12:00   Mar 26 2018 12:00      
REPL-MTREE-AUTO-2017-05-11-15-18-32           1502.2   May 11 2017 15:18   May 11 2018 15:18         

-----------------------------------   --------------   -----------------   -----------------   -------

Uwaga:
  • Nie można określić, ile danych fizycznych na dysku przechowuje na dysku jedna migawka lub zestaw migawek. Jedyna wartość przestrzeni skojarzona z migawką oznacza przede wszystkim wstępnie skompresowany (logiczny) rozmiar mtree podczas tworzenia migawki (jak pokazano w powyższych danych wyjściowych).
  • Migawki o nazwie „REPL-MTREE-AUTO-YYYY-MM-DD-HH-MM-SS” są zarządzane przez replikację mtree i w normalnych warunkach nie trzeba wywoływać ich wygaśnięcia ręcznie (replikacja automatycznie powoduje wygaśnięcie migawek, jeśli nie są już wymagane). Jeśli takie migawki są bardzo stare, oznacza to, że odpowiedni kontekst replikacji prawdopodobnie wykazuje znaczące opóźnienia (jak opisano w kroku 2).
  • Migawki o nazwie „REPL-MTREE-RESYNC-RESERVE-YYYY-MM-DD-HH-MM-SS” są tworzone przez replikację mtree w przypadku rozbicia kontekstu replikacji mtree. Celem ich użycia jest uniknięcie pełnej ponownej synchronizacji danych replikacji w przypadku późniejszego odtworzenia rozbitego kontekstu (na przykład w przypadku błędnego rozbicia kontekstu). Jeśli replikacja nie zostanie ponownie ustanowiona, można ręcznie wywołać wygaśnięcie kontekstów w opisany powyżej sposób.
  • Wygasłe migawki będą nadal istniały w systemie do momentu uruchomienia następnej operacji czyszczenia/odśmiecania pamięci. Na tym etapie zostaną one fizycznie skasowane i usunięte z danych wyjściowych mtree listy migawek [nazwa mtree]. Czyszczenie może następnie odzyskać każdą przestrzeń, jaką te migawki wykorzystują na dysku.
Krok 5 — Wyszukaj nieoczekiwaną liczbę starych plików w systemie

Automatyczne pomoce z DDR zawierają histogramy pokazujące podział plików na DDR według wieku, na przykład:
 
File Distribution
-----------------
448,672 files in 5,276 directories

                          Count                         Space
               -----------------------------   --------------------------
         Age         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 day         7,244     1.6       1.6     4537.9     0.1       0.1
      1 week        40,388     9.0      10.6    63538.2     0.8       0.8
     2 weeks        47,850    10.7      21.3    84409.1     1.0       1.9
     1 month       125,800    28.0      49.3   404807.0     5.0       6.9
    2 months       132,802    29.6      78.9   437558.8     5.4      12.3
    3 months         8,084     1.8      80.7   633906.4     7.8      20.1
    6 months         5,441     1.2      81.9  1244863.9    15.3      35.4
      1 year        21,439     4.8      86.7  3973612.3    49.0      84.4
    > 1 year        59,624    13.3     100.0  1265083.9    15.6     100.0
   ---------   -----------   -----   -------   --------   -----   -------

Przydatne może być ustalenie, czy w systemie znajdują się pliki, które nie zostały usunięte/zakończono okres ich ważności zgodnie z oczekiwaniami przez aplikację tworzenia kopii zapasowej klienta. Jeśli na przykład w powyższym systemie aplikacja tworzenia kopii zapasowej dokonała zapisu, gdzie maksymalny okres przechowywania któregokolwiek z plików wynosił 6 miesięcy, jest oczywiste, że aplikacja kopii zapasowych nie usuwa/kończy okresu ważności plików zgodnie z oczekiwaniami, ponieważ w DDR jest około 80 000 plików starszych niż 6 miesięcy.

Zwróć uwagę, że:
  • Za wykonanie wszystkich operacji kończenia okresu ważności/usuwania plików odpowiedzialna jest aplikacja do tworzenia kopii zapasowych.
  • DDR nigdy nie kończy okresu ważności ani nie usuwa plików automatycznie. Jeśli aplikacja do tworzenia kopii zapasowych nie wyśle jednoznacznej instrukcji usunięcia pliku, plik będzie nadal znajdował się na DDR, wykorzystując przestrzeń w nieskończoność.
W związku z tym problemy takie jak te powinny być najpierw zbadane przez zespół pomocy technicznej sprzedawców aplikacji do tworzenia kopii zapasowych.

Jeśli to konieczne, pomoc techniczna Data Domain może dostarczyć dodatkowych raportów, aby:
  • Podać nazwę/godzinę modyfikacji wszystkich plików w DDR według wieku (tak, aby można było określić nazwę/lokalizację wszelkich starych danych)
  • Podzielić histogramy wieku plików na oddzielne raporty dla warstwy aktywnej/archiwum/chmury (w przypadku włączenia funkcji ER/LTR)
Aby to zrobić:
  • Zbierz dowody zgodnie z opisem w akapicie „Collecting sfs_dump” w sekcji notatek tego dokumentu
  • Otwórz zgłoszenie serwisowe u swojego zakontraktowanego dostawcy pomocy technicznej
Po usunięciu starych/zbędnych plików należy uruchomić czyszczenie/odśmiecanie pamięci aktywnej warstwy, aby fizycznie odzyskać w niej miejsce

Krok 6 — Wyszukaj kopie zapasowe obejmujące dużą liczbę małych plików

Ze względu na konstrukcję DDFS, małe pliki (zasadniczo wszystkie pliki o rozmiarze mniejszym niż około 10 MB) mogą zajmować nadmierną ilość wolnego miejsca po pierwszym zapisaniu w DDR. Dzieje się tak, gdyż architektura „SISL” (Stream Informed Segment Layout) sprawia, że małe pliki zajmują wiele pojedynczych bloków pamięci 4,5 MB na dysku. Na przykład plik 4 Kb może faktycznie wykorzystywać do 9 MB miejsca na dysku fizycznym, kiedy zostaje pierwotnie zapisany.

Takie nadmierne miejsce jest następnie odzyskiwane, kiedy jest uruchomione czyszczenie/odśmiecanie pamięci (jako że dane z małych plików są wtedy agregowane do mniejszych liczb bloków: 4,5 MB), ale mogą powodować, że mniejsze modele DDR wykazują nadmierne wykorzystanie i wypełniają się, kiedy takie kopie zapasowe są wykonywane.

Autopomoce zawierają histogramy plików podzielonych według rozmiaru, na przykład:
 
                          Count                         Space
               -----------------------------   --------------------------
        Size         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 KiB         2,957    35.8      35.8        0.0     0.0       0.0
      10 KiB         1,114    13.5      49.3        0.0     0.0       0.0
     100 KiB           249     3.0      52.4        0.1     0.0       0.0
     500 KiB         1,069    13.0      65.3        0.3     0.0       0.0
       1 MiB           113     1.4      66.7        0.1     0.0       0.0
       5 MiB           446     5.4      72.1        1.3     0.0       0.0
      10 MiB           220     2.7      74.8        1.9     0.0       0.0
      50 MiB         1,326    16.1      90.8       33.6     0.2       0.2
     100 MiB            12     0.1      91.0        0.9     0.0       0.2
     500 MiB           490     5.9      96.9      162.9     0.8       1.0
       1 GiB            58     0.7      97.6       15.6     0.1       1.1
       5 GiB            29     0.4      98.0       87.0     0.5       1.6
      10 GiB            17     0.2      98.2      322.9     1.7       3.3
      50 GiB            21     0.3      98.4     1352.7     7.0      10.3
     100 GiB            72     0.9      99.3     6743.0    35.1      45.5
     500 GiB            58     0.7     100.0    10465.9    54.5     100.0
   > 500 GiB             0     0.0     100.0        0.0     0.0     100.0
   ---------   -----------   -----   -------   --------   -----   -------

Jeśli istnieją dowody kopii zapasowych zapisujących bardzo duże liczby małych plików, system może być dotknięty znaczącym tymczasowym wzrostem wykorzystania między poszczególnymi wywołaniami czyszczenia/odśmiecania pamięci. W tym scenariuszu zaleca się zmianę metody tworzenia kopii zapasowej tak, aby uwzględnić wszystkie małe pliki w jednym większym archiwum (takie jak plik tar) przed zapisem ich w DDR. Należy pamiętać, że nie należy kompresować ani szyfrować żadnych takich archiwów (ponieważ spowoduje to uszkodzenie współczynnika kompresji/deduplikacji tych danych).

Krok 7 — Wyszukaj niższy niż oczekiwany współczynnik kompresji

Głównym celem DDR jest deduplikowanie i kompresja danych przyswajanych przez urządzenie. Współczynnik deduplikowania/kompresji jest w dużym stopniu zależny od przypadku użycia systemu oraz rodzaju przechowywanych danych, jednakże w wielu przypadkach będzie to „oczekiwany” całkowity współczynnik kompresji na podstawie wyników uzyskanych za pomocą testu słuszności koncepcji lub podobnych. Aby określić aktualny całkowity współczynnik kompresji systemu (a więc czy spełnia oczekiwania), można użyć polecenia „filesys show compression”. Oto przykład:
 
# filesys show compression

From: 2017-05-03 13:00 To: 2017-05-10 13:00

Active Tier:
                   Pre-Comp   Post-Comp   Global-Comp   Local-Comp      Total-Comp
                      (GiB)       (GiB)        Factor       Factor          Factor
                                                                     (Reduction %)
----------------   --------   ---------   -----------   ----------   -------------
Currently Used:*    20581.1       315.4             -            -    65.3x (98.5)
Written:
  Last 7 days         744.0         5.1         80.5x         1.8x   145.6x (99.3)
  Last 24 hrs
----------------   --------   ---------   -----------   ----------   -------------
 * Does not include the effects of pre-comp file deletes/truncates

W powyższym przykładzie system osiąga całkowity współczynnik kompresji 65,3x dla aktywnej warstwy (co jest bardzo dobrym wynikiem). Jeśli jednak wartość ta wskazuje, że całkowity współczynnik kompresji nie będzie spełniał oczekiwań, mogą być konieczne dodatkowe badania. Należy zwrócić uwagę, że badanie niższego niż oczekiwany współczynnik kompresji jest złożonym tematem, który może mieć wiele przyczyn głównych. Aby uzyskać więcej informacji na temat dalszych badań, należy zapoznać się z poniższym artykułem: https://support.emc.com/kb/487055

Krok 8 — Sprawdź, czy system jest źródłem replikacji danych

W przypadku korzystania z replikacji kolekcji, jeśli system źródłowy jest fizycznie większy niż miejsce docelowe, rozmiar systemu źródłowego będzie w sposób sztuczny ograniczony, aby był zgodny z lokalizacją docelową (tzn. w miejscu źródłowym będzie obszar dysku oznaczony jako niezdatne do użytku). Powodem tego jest fakt, że w przypadku korzystania z replikacji kolekcji miejsce docelowe musi być kopią źródła na poziomie bloku, jednak jeśli źródło jest fizycznie większe niż miejsce docelowe, istnieje ryzyko zapisania w źródle zbyt dużej ilości danych, które nie mogą być replikowane do miejsca docelowego (ponieważ jest już zapełnione). Tego scenariusza można uniknąć, ograniczając rozmiar źródła w celu dopasowania do miejsca docelowego.
  • Używając poleceń z kroku 2, sprawdź, czy system jest źródłem replikacji kolekcji. Aby to zrobić, uruchom „replication status” i sprawdź, czy istnieją konteksty replikacji zaczynające się od „col://” (co oznacza replikację kolekcji), które NIE zawierają nazwy hosta systemu lokalnego w lokalizacji docelowej (oznacza to, że ten system musi być źródłem kontekstu replikacji)
  • Jeśli system jest źródłem replikacji kolekcji, sprawdź rozmiar każdej aktywnej warstwy systemu, logując się do obu i uruchamiając polecenie „filesys show space” — porównaj rozmiar „post-comp” warstwy aktywnej na każdym
  • Jeśli źródło jest znacznie większe niż miejsce docelowe, wówczas rozmiar jego aktywnej warstwy zostanie sztucznie ograniczony.
  • Aby sprawić, by całe wolne miejsce na źródle było dostępne dla danych, należy wykonać następujące czynności:
Dodaj dodatkową pamięć do docelowej warstwy aktywnej, w taki sposób, aby jej rozmiar równał się >= rozmiarowi aktywnej warstwy źródłowej.
Rozbij kontekst replikacji kolekcji (przy użyciu poleceń z kroku 2). Zwróć uwagę, że oczywiście będzie to zapobiegać replikowaniu danych ze źródłowego -> do docelowego DDR.

Po wykonaniu jednej z tych czynności, dodatkowe miejsce będzie natychmiast udostępnione w aktywnej warstwie systemu źródłowego (tzn. nie ma potrzeby uruchamiania czyszczenia/odśmiecania pamięci w aktywnej warstwie przed użyciem tego miejsca).

Krok 9 — Sprawdź, czy przenoszenie danych jest regularnie wykonywane

Jeśli DDR ma konfigurację Extended Retention (ER) lub Long Term Retention (LTR), będzie miał drugą warstwę systemu składowania danych (warstwę archiwum dla ER lub warstwę chmury dla LTR). W tym scenariuszu zasady ruchu danych są prawdopodobnie skonfigurowane na migrację starszych/niezmodyfikowanych danych przez drzewa mtree, wymagających retencji długoterminowej z aktywnej warstwy do innej warstwy systemu składowania danych, tak aby ilość miejsca używana przez te pliki w warstwie aktywnej mogła być fizycznie odzyskana przez czyszczenie/odśmiecanie pamięci. Jeśli zasady przenoszenia danych zostaną nieprawidłowo skonfigurowane lub jeśli proces przenoszenia danych nie jest regularnie uruchamiany, stare dane pozostaną w warstwie aktywnej dłużej niż oczekiwano i będą nadal korzystać z ilości wolnego miejsca na dysku.
  • Na początku potwierdź, czy system jest skonfigurowany dla ER lub LTR poprzez uruchomienie „filesys show space” i wyszukanie warstwy archiwum lub chmury. Zwróć uwagę, że te alternatywne warstwy systemu składowania danych muszą mieć rozmiar post-comp > 0 GB, aby można je było wykorzystać:
# filesys show space
...
Archive Tier:
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB
----------------   --------   --------   ---------   ----   -------------
/data: pre-comp           -     4163.8           -      -               -
/data: post-comp    31938.2     1411.9     30526.3     4%               -
----------------   --------   --------   ---------   ----   -------------

# filesys show space
...
Cloud Tier
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB
----------------   --------   --------   ---------   ----   -------------
/data: pre-comp           -        0.0           -      -               -
/data: post-comp   338905.8        0.0    338905.8     0%             0.0
----------------   --------   --------   ---------   ----   -------------

Zauważ, że ER i LTR nawzajem się wykluczają, więc system będzie albo zawierać tylko aktywną warstwę (bez konfiguracji ER/LTR) lub warstwą aktywną i archiwum (z konfiguracją ER) albo warstwę aktywną i chmury (z konfiguracją LTR).
  • Jeśli system ma konfigurację ER/LTR, sprawdź zasady ruchu danych drzew mtree, aby upewnić się, że są one tak oczekiwane i ustawione, że stare dane zostaną wypchnięte do innej warstwy systemu składowania danych:
ER: # archive data-movement policy show
LTR: # data-movement policy show

Jeśli zasady przenoszenia danych są nieprawidłowe lub ich nie ma, należy je naprawić. Zapoznaj się z podręcznikiem administracji Data Domain, aby uzyskać pomoc w tej kwestii.
  • Jeśli system ma konfigurację ER/LTR, sprawdź, czy przenoszenie danych jest zaplanowane w regularnych odstępach czasu, aby fizycznie migrować pliki/dane z warstwy aktywnej do innej pamięci masowej:
ER: # archive data-movement schedule show
LTR: # data-movement schedule show

Zwróć uwagę, że Data Domain ogólnie zaleca przeprowadzenie przepływu danych w ramach zautomatyzowanego harmonogramu, jednak niektórzy klienci decydują się na uruchomienie tego procesu w trybie ad hoc (tzn. w razie potrzeby). W tym scenariuszu przenoszenie danych należy regularnie uruchamiać, wykonując następujące czynności:
 
ER: # archive data-movement start
LTR: # data-movement start

Aby uzyskać więcej informacji na temat modyfikacji harmonogramu ruchu danych, należy zapoznać się z podręcznikiem administracji Data Domain
  • Jeśli system ma konfigurację ER/LTR, sprawdź godzinę ostatniego uruchomienia przepływu danych:
ER: # archive data-movement status
LTR: # data-movement status

Jeśli przenoszenia danych nie uruchamiano przez pewien czas, spróbuj ręcznie uruchomić proces, a następnie sprawdź w następujący sposób:
 
ER: # archive data-movement watch
LTR: # data-movement watch

Jeśli przenoszenie danych nie chce się uruchomić, należy skontaktować się ze swoim dostawcą pomocy technicznej, aby uzyskać dalszą pomoc.
  • Po zakończeniu przepływu danych należy przeprowadzić czyszczenie warstwy aktywnej (należy pamiętać, że może być skonfigurowane tak, aby uruchamiało się automatycznie po zakończeniu przenoszenia danych), aby upewnić się, że miejsce zużyte na migrowane pliki w warstwie aktywnej zostało fizycznie zwolnione:
# filesys clean start

W systemach ER zwykle planuje się regularne uruchamianie przenoszenia danych (tzn. raz w tygodniu), a następnie konfiguruje się uruchomienie czyszczenia warstwy aktywnej po zakończeniu przenoszenia danych. W tym scenariuszu, czyszczenie warstwy aktywnej nie ma własnego niezależnego harmonogramu. Aby go skonfigurować, należy najpierw usunąć aktualny harmonogram czyszczenia warstwy aktywnej:

# filesys clean set schedule never


Skonfiguruj okresowe przenoszenie danych, a następnie automatyczne czyszczenie warstwy aktywnej, na przykład uruchamianie przenoszenia danych w każdy wtorek o 6:00, a następnie czyszczenia warstwy aktywnej:

# archive data-movement schedule set days Tue time 0600
The Archive data movement schedule has been set.
Archive data movement is scheduled to run on day(s) "tue" at "06:00" hrs


Można potwierdzić, że skonfigurowano uruchomienie czyszczenia warstwy aktywnej po zakończeniu przenoszenia danych w następujący sposób:

# archive show config
Enabled                                         Yes                               
Data movement Schedule                          Run on day(s) "tue" at "06:00" hrs   <=== SCHEDULE
Data movement throttle                          100 percent                       
Default age threshold data movement policy      14 days                           
Run filesys clean after archive data movement   Yes   <=== RUN CLEAN ON COMPLETION
Archive Tier local compression                  gz                                
Packing data during archive data movement       enabled                           
Space Reclamation                               disabled                          
Space Reclamation Schedule                      No schedule

W systemach LTR czyszczenie warstwy aktywnej nadal powinno być skonfigurowane zgodnie z własnym harmonogramem

Krok 10 — Dodaj dodatkową pamięć do aktywnej warstwy

W przypadku przeprowadzenia wszystkich wcześniejszych kroków kończy się czyszczenie warstwy aktywnej, jednak nadal nie jest dostępna wystarczająca ilość miejsca w warstwie aktywnej, może to oznaczać, że system nie został prawidłowo dopasowany rozmiarem do otrzymywanych obciążeń roboczych. W tym przypadku należy wykonać jedną z następujących czynności:
  • Zmniejszyć obciążenie robocze systemu, na przykład:
Przekierować podzestaw kopii zapasowych do innej pamięci
Skrócić okres retencji kopii zapasowych, tak aby szybciej wygasły lub zostały usunięte
Zmniejszyć liczbę/skrócić okres ważności zaplanowanych migawek względem drzew mtree w systemie
Rozbić zbędne konteksty replikacji, dla których system lokalny jest miejscem docelowym, a następnie usunąć odpowiednie drzewa mtree
  • Dodaj pamięć masową do aktywnej warstwy systemu i powiększ jej rozmiar:
# storage add [aktywna warstwa] enclosure [numer obudowy] | disk [numer urządzenia]
# filesys expand

W celu omówienia dodawania pamięci masowej skontaktuj się z działem obsługi klienta.

Additional Information


Obsługa Data Domain może generować szereg raportów, w których wyświetlane są następujące informacje:
  • Lista wszystkich plików w określonej warstwie (np. active/archive/cloud) uporządkowanych według wieku
  • Szacowany rozmiar i współczynnik kompresji według mtree/głównego drzewa katalogów
  • Lista wszystkich plików w określonym mtree uporządkowanych według wieku
  • i tak dalej

W tym celu należy zebrać następujące informacje:
  • Nowy pakiet pomocy technicznej z DDR — aby uzyskać więcej informacji, należy zapoznać się z poniższym:https://support.emc.com/kb/323283
  • Dane wyjściowe „sfs_dump” lub „sfs_dump -c”:
Zaloguj się do interfejsu CLI DDR i przejdź do trybu se (zwróć uwagę, że systemy skonfigurowane przez szyfrowanie i/lub blokadę retencji mogą na tym etapie monitować o podanie danych użytkownika z rolą „zabezpieczenia”):
 
# system show serialno
[wyświetlony numer seryjny systemu]
# priv set se
[monit o hasło - wprowadź powyższy numer seryjny systemu]
 
Umożliwia zalogowanie do sesji terminalowej. Na przykład, jeśli używasz putty, można wykonać następujące czynności: Kliknij prawym przyciskiem myszy pasek menu -> Change settings... -> Session -> Logging -> Wybierz wszystkie dane wyjściowe sesji i wybierz nazwę pliku -> Apply
Uruchom sfs_dump:

# se sfs_dump

Po zakończeniu należy uzyskać kopię dziennika sesji do dalszej analizy.
  • Raport lokalizacji plików (wymagany, jeśli system jest skonfigurowany dla ER lub LTR):
Zaloguj się do interfejsu CLI DDR
Włącz logowanie do sesji terminalowej. Na przykład, jeśli używasz putty, można wykonać następujące czynności: Kliknij prawym przyciskiem myszy pasek menu -> Change settings... -> Session -> Logging -> Wybierz wszystkie dane wyjściowe sesji i wybierz nazwę pliku -> Apply
Pobierz raport lokalizacji plików:

ER: # archive report generate file-location
LTR: # filesys report generate file-location


Po zakończeniu należy uzyskać kopię dziennika sesji do dalszej analizy

Aby uzyskać pomoc w gromadzeniu powyższych lub z jakimikolwiek innymi etapami tego czyszczenia archiwum, należy skontaktować się ze swoim dostawcą pomocy technicznej.

Affected Products

Data Domain

Products

Data Domain
Article Properties
Article Number: 000054303
Article Type: Solution
Last Modified: 21 Jul 2025
Version:  6
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.