Data Domain: Jak monitorować przenoszenie danych przy użyciu Data Domain Restorer

Niektóre modele Data Domain Restorer (DDR) można skonfigurować przy użyciu funkcji znanej jako retencji rozszerzonej (ER) lub retencji długoterminowej (LTR). Ta funkcja umożliwia dodanie do systemu drugiej warstwy pamięci masowej, do której można migrować pliki wymagające długoterminowego przechowywania. Typ pamięci masowej używany dla tej drugiej warstwy zależy od konkretnej używanej funkcjonalności, tj.:

• Rozszerzone przechowywanie: Druga warstwa pamięci masowej jest nazywana warstwą archiwum i jest tworzona z obudów dysków fizycznie podłączonych do DDR
• Długoterminowa retencja: Druga warstwa pamięci masowej jest nazywana warstwą chmury i jest tworzona z obiektowej pamięci masowej dostarczonej przez obsługiwanego dostawcę chmury (tj. jest zewnętrzna w stosunku do DDR)

Mechanika ruchu danych:

W obu przypadkach do fizycznej migracji pliku z warstwy aktywnej do warstwy archiwum/chmury używany jest proces znany jako przenoszenie danych (FMIG). Po uruchomieniu FMIG przechodzi przez 5 faz działania, jak opisano poniżej:

Faza 1 - Siew luzem:

• Jest to pomijane we wszystkich systemach obsługujących LTR
• Jest to pomijane w systemach ER z systemem DDOS 5.5.1.x (i nowszym)
• W systemach ER z systemem DDOS 5.5.0.x (i wcześniejszym) można wykonać kopię na poziomie bloku wybranych danych z warstwy aktywnej do warstwy archiwum. Mechanika tego egzemplarza wykracza poza zakres tego dokumentu, dlatego nie została tutaj omówiona.

Faza 2 - Skanowanie:

• System plików Data Domain (DDFS) wyszukuje pliki w warstwie aktywnej, które kwalifikują się do migracji do warstwy archiwum/chmury (pliki, które nie zostały zmodyfikowane w czasie dłuższym niż nadrzędny MTree zasady przenoszenia danych/próg wieku)
• Uruchamiana jest pewna liczba wątków kopiowania (konkretna liczba zależy od modelu/konfiguracji systemu), przy czym każdy z wątków odczytuje plik kandydujący w warstwie aktywnej i kopiuje unikatowe dane do warstwy archiwum/chmury (tj. dane, które jeszcze nie istnieją w warstwie docelowej)
• Uruchamiana jest pewna liczba wątków weryfikacyjnych (ponownie określona liczba wątków zależy od modelu systemu/konfiguracji), które po zakończeniu kopiowania pliku kandydującego odczytują kopię pliku z warstwy docelowej, aby upewnić się, że jest prawidłowy/wszystkie dane są osiągalne
• Po skopiowaniu/zweryfikowaniu pliku kandydującego jest on dodawany do listy plików oczekujących na "instalację" w warstwie docelowej (aktualizacja metadanych dla pliku w celu wskazania, że istnieje on teraz w warstwie docelowej). Okresowo pojawia się wątek instalacyjny, aby "zainstalować" wszystkie oczekujące pliki

Etap 3 – Weryfikacja:

• W tej fazie DDFS czeka na zakończenie weryfikacji wszystkich skopiowanych plików w warstwie docelowej

Faza 4 - Pakowanie:

• Jest to pomijane we wszystkich systemach obsługujących LTR
• W systemach ER FMIG próbuje usunąć wszelkie zduplikowane segmenty danych, które zostały skopiowane do warstwy archiwum podczas fazy skanowania. Należy pamiętać, że zduplikowane segmenty danych mogą zostać skopiowane w celu przyspieszenia procesu kopiowania, jednak biorąc pod uwagę konstrukcję warstwy archiwum (maksymalny ogólny współczynnik kompresji przy obniżonej wydajności odczytu), takie zduplikowane dane muszą zostać usunięte

Faza 5 - Instalacja:

• W tej fazie DDFS czeka na zakończenie instalacji wszystkich skopiowanych/zweryfikowanych plików

Monitorowanie postępów FMIG:

Powłoka wiersza poleceń Data Domain (DDSH) służy głównie do monitorowania postępu FMIG w systemach ER i LTR. Uwaga:

• W systemach ER należy stosować polecenia "archive data-movement [status|watch]", natomiast w systemach LTR należy stosować polecenia "data-movement [status|watch]", tj.:

• W systemach ER zgłaszany jest postęp wszystkich 5 faz (tj. dane wyjściowe pokażą "fazę x z 5"), podczas gdy w systemach LTR, biorąc pod uwagę, że fazy 1 i 4 są zawsze pomijane, postęp tylko faz 2/3/5 jest pokazywany (tj. wynik pokaże "fazę x z 3")
• Polecenie "status" pokazuje jednorazową migawkę postępu FMIG:

• Polecenie "watch" pokazuje kroczące dane wyjściowe w miarę przechodzenia FMIG przez fazy:

Zestaw kluczy rejestru jest również używany do śledzenia postępów FMIG - są one przechwytywane w autosupportach generowanych przez system i mogą być również wyświetlane za pośrednictwem DDSH:

ER: # reg show dynamic.art.fmig
LTR: # reg show state.fmig2

W obu przypadkach wyświetlane klucze rejestru są bardzo podobne i w rezultacie tutaj wyświetlane są tylko klucze z systemu obsługującego LTR:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== ŁĄCZNA LICZBA PLIKÓW W PRZESTRZENI NAZW DDFS SPRAWDZANA, CZY SPEŁNIAJĄ KRYTERIA KANDYDATA
state.fmig2_end_time = 1470059610< === CZAS ZAKOŃCZENIA OSTATNIEGO URUCHOMIENIA FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== BAJTY PRE-COMP (LOGICZNE) SKOPIOWANE DO WARSTWY DOCELOWEJ DO TEJ PORY
state.fmig2_fcopy_post_lc_size = 10944662855< === BAJTY (FIZYCZNE) PO KOMPRESJI SKOPIOWANE DO WARSTWY DOCELOWEJ, W TEN SPOSÓB FAR
...
state.fmig2_files_copied = 8 <=== PLIKI, KTÓRE ZOSTAŁY SKOPIOWANE
state.fmig2_files_failed_in_copy = <0 === PLIKI, KTÓRYCH NIE UDAŁO SIĘ SKOPIOWAĆ
state.fmig2_files_failed_in_install = 0 <=== PLIKI, KTÓRE SKOPIOWAŁY/ZWERYFIKOWAŁY, ALE NIE ZOSTAŁY ZAINSTALOWANE
state.fmig2_files_failed_in_verify = 0 <=== PLIKI, KTÓRE ZOSTAŁY SKOPIOWANE, ALE NIE UDAŁO SIĘ ZWERYFIKOWAĆ
state.fmig2_files_installed = 4< === PLIKI, KTÓRE ZOSTAŁY SKOPIOWANE/ZWERYFIKOWANE/ZAINSTALOWANE
state.fmig2_files_verified = 4 <=== PLIKI, KTÓRE ZOSTAŁY UKOŃCZONE KOPIOWANIE/WERYFIKOWANIE
...
state.fmig2_is_running = 1 <=== FMIG JEST URUCHOMIONY
state.fmig2_is_waiting = 0< === FMIG OCZEKUJE (NA PRZYKŁAD NA ZAKOŃCZENIE CZYSZCZENIA)
state.fmig2_progress_current_phase =<= 2 === BIEŻĄCA FAZA (W TYM PRZYPADKU KOPIOWANIE/SKANOWANIE)
state.fmig2_progress_percent_complete == 92 <=== % ZAKOŃCZENIA BIEŻĄCEJ FAZY W OPARCIU O SPRAWDZONE PLIKI VS WSZYSTKIE PLIKI W PRZESTRZENI
NAZW state.fmig2_progress_phase_time = 1245 <=== SEKUNDY SPĘDZONE W BIEŻĄCEJ FAZIE DO TEJ PORY
state.fmig2_progress_total_time = 1255 <=== SEKUNDY FMIG DZIAŁAŁ DO TEJ PORY
state.fmig2_start_time = 1470061560 <=== CZAS ROZPOCZĘCIA BIEŻĄCEGO PRZEBIEGU FMIG
...
state.fmig2_total_inodes = 14 <=== ŁĄCZNA LICZBA PLIKÓW DO ZAEWIDENCJONOWANIA W PRZESTRZENI NAZW...


Na koniec różne komunikaty są rejestrowane w plikach dziennika DDFS (/ddr/var/log/debug/ddfs.info), aby wskazać postęp FMIG. Ponownie, dane wyjściowe są bardzo podobne dla funkcji ER i LTR, więc tylko te z systemu obsługującego LTR są wyświetlane tutaj:

08/01 15:26:00.945 (tid 0x7ff4c683e090): UWAGA: MSG-FMIG-00004: Rozpoczęto przenoszenie danych === FMIG STARTS...<

08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: faza 1 (rozsiewanie) rozpoczęta <=== ROZPOCZYNA SIĘ WYSIEW ZBIORCZY (NIE DZIAŁA NA LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: faza 1 (rozstawienie) zakończona
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: rozpoczęto fazę 2 (skanowanie) === ROZPOCZĘCIE FAZY SKANOWANIA<
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig: plik kandydata /data/col1/jftest/file2, plik src snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== PLIK KANDYDUJĄCY POBRANY PRZEZ KOPIUJ WĄTEK
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: plik kandydujący /data/col1/jftest/file3, plik src snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== PLIK KANDYDUJĄCY ROZPOCZYNA KOPIĘ
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: plik kandydujący /data/col1/jftest/file4, plik src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== PLIK KANDYDUJĄCY ROZPOCZYNA KOPIĘ
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: plik kandydujący /data/col1/jftest/file5, plik src snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== PLIK KANDYDUJĄCY ROZPOCZYNA KOPIOWANIE
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (chmura): faza 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, w toku 1936986672 vbajtów =<== OKRESOWE
 
ZRZUCANIE STATYSTYK08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== SKOPIOWANY PLIK KOŃCZY WERYFIKACJĘ
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== SKOPIOWANY PLIK KOŃCZY WERYFIKACJĘ
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== SKOPIOWANY PLIK KOŃCZY WERYFIKACJĘ
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== SKOPIOWANY PLIK KOŃCZY WERYFIKACJĘ
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (chmura): faza 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, w toku vbytes 536870911 <=== WIĘCEJ STATYSTYK
 
OKRESOWYCH08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: faza 2 (skanowanie) zakończona <=== FAZA SKANOWANIA ZAKOŃCZONA (WSZYSTKIE PLIKI KANDYDUJĄCE SKOPIOWANE)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: faza 3 (weryfikacja) rozpoczęta <=== ROZPOCZĘCIE
 
FAZY WERYFIKACJI08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== POZOSTAŁE PLIKI ZWERYFIKOWANO
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: faza 4 (pakowanie) zakończona <=== FAZA PAKOWANIA (NIE DZIAŁA NA LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: faza 5 (instalacja) rozpoczęta <=== FAZA INSTALACJI ROZPOCZYNA SIĘ
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: faza 5 [install] zakończona<=== FAZA INSTALACJI KOŃCZY SIĘ
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): UWAGA: MSG-FMIG-00001: Ukończono przenoszenie danych (chmura) w cps chmury: Upłynęło 0:22:35, 9 zmigrowanych plików, 11274289152 wszystkich przeniesionych <bajtów === FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  Faza[1]: Faza trwająca 10 sekund[2]: 1291 sekund Faza[3]: Faza trwająca 16 sekund[4]: Faza 0 sekund[5]: 11 sekund <=== POKAZANE

CZASY FAZNależy pamiętać, że:

• Liczby wskazujące ilość danych po kompilacji (fizycznych) skopiowanych do warstwy docelowej są aktualizowane tylko za każdym razem, gdy plik zakończy kopiowanie. W rezultacie, jeśli migrowany był pojedynczy duży plik, post-comp będzie pokazywał 0 bajtów do momentu zakończenia kopiowania (i fazy skanowania)
• Liczby wskazujące ilość danych przed kompresją (logicznych) skopiowanych do warstwy docelowej są aktualizowane okresowo, a nie tylko po zakończeniu kopiowania pliku
• Wartość procentowa ukończenia przedstawiona w fazie skanowania nie wskazuje łącznego procentu skopiowanych do tej pory danych kandydujących. Zamiast tego wskazuje, że % wszystkich plików w przestrzeni nazw DDFS został do tej pory sprawdzony przez wątki kopiowania w celu określenia, czy są kandydatami do migracji. W rezultacie, gdy FMIG znajduje się w fazie skanowania, często obserwuje się: