Data Domain. Как отслеживать перемещение данных с помощью Data Domain Restorer

Для некоторых моделей Data Domain Restorer (DDR) можно настроить функцию, известную как Extended Retention (ER) или Long Term Retention (LTR). Эта функция позволяет добавить в систему второй уровень хранилища, на который можно переносить файлы, требующие длительного хранения. Тип хранилища, используемого для этого второго уровня, зависит от конкретной используемой функциональности, то есть:

• Длительное хранение: Второй уровень хранилища, называемый архивным уровнем, формируется из дисковых полок, физически подключенных к DDR
• Длительное хранение: Второй уровень хранилища, называемый облачным уровнем, формируется из объектного хранилища, предоставленного поддерживаемым поставщиком облачных решений (т. е. он является внешним по отношению к DDR)

Механика движения данных:

В обоих случаях для физического переноса файла с активного на архивный/облачный уровень используется процесс, известный как перемещение данных (FMIG). При запуске FMIG проходит через 5 фаз работы, как описано ниже:

Фаза 1 - Массовый посев:

• Этот параметр пропущен во всех системах с поддержкой LTR
• Этот пропуск пропущен в системах ER под управлением DDOS 5.5.1.x (и более поздних версий)
• В системах ER с DDOS 5.5.0.x (и более ранних версий) это может выполнять копирование выбранных данных на уровне блоков с активного уровня на архивный уровень. Механика этой копии выходит за рамки данного документа, поэтому здесь не обсуждается.

Этап 2 - Сканирование:

• Файловая система Data Domain (DDFS) выполняет поиск файлов на активном уровне, которые являются кандидатами на перенос на уровень архива/облака (файлы, которые не изменялись дольше, чем определялось для политики перемещения данных родительских MTrees/порогового значения по возрасту)
• Запускается несколько потоков копирования (точное количество потоков зависит от модели/конфигурации системы), причем каждый из потоков читает файл-кандидат на активном уровне и копирует на уровень архива/облака уникальные данные (т. е. данные, которых еще не существует на целевом уровне)
• Запускается несколько потоков проверки (опять же, количество конкретных потоков зависит от модели/конфигурации системы), которые после завершения копирования файла-кандидата считывают копию файла с целевого уровня, чтобы убедиться в его допустимости или доступности всех данных
• После копирования или проверки файла-кандидата он добавляется в список файлов, ожидающих установки на целевом уровне (обновление метаданных файла указывает, что файл теперь существует на целевом уровне). Периодически происходит пробуждение потока установки для установки всех ожидающих файлов

Этап 3 - Верификация:

• На этом этапе DDFS ожидает завершения проверки всех скопированных файлов на целевом уровне

Стадия 4 - Упаковка:

• Этот параметр пропущен во всех системах с поддержкой LTR
• В системах ER FMIG пытается удалить дублирующиеся сегменты данных, которые были скопированы на уровень архива на этапе сканирования. Обратите внимание, что дублирующиеся сегменты данных могут быть скопированы для ускорения процесса копирования, однако, учитывая структуру уровня архива (максимальный общий коэффициент сжатия при пониженной производительности чтения), такие дублирующиеся данные должны быть удалены

Этап 5 - Установка:

• На этом этапе DDFS ожидает завершения установки всех скопированных/проверенных файлов

Мониторинг прогресса FMIG:

В основном оболочка командной строки Data Domain (DDSH) используется для мониторинга хода выполнения FMIG в системах ER и LTR. Обратите внимание на следующее.

• В системах ER следует использовать команды 'archive data-movement [status|watch]', в то время как в LTR-системах следует использовать команды 'data-movement [status|watch]', т.е.:

• В системах ER сообщается о прогрессе всех 5 фаз (т.е. на выходе будет отображаться «фаза x из 5»), в то время как в системах LTR, учитывая, что фазы 1 и 4 всегда пропускаются, показывается прогресс только фаз 2/3/5 (т.е. на выходе будет отображаться «фаза x из 3»)
• Команда 'status' показывает однократный снимок хода выполнения FMIG:

• Команда 'watch' показывает скользящий вывод по мере того, как FMIG проходит через фазы:

Набор разделов реестра также используется для отслеживания хода выполнения FMIG - они захватываются в автоопорах, сгенерированных системой, и также могут быть отображены через DDSH:

ER: # reg show dynamic.art.fmig
ЛТР: # reg show state.fmig2

В обоих случаях отображаемые разделы реестра очень похожи, и в результате здесь отображаются только ключи из системы с поддержкой LTR:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== ОБЩЕЕ КОЛИЧЕСТВО ФАЙЛОВ В ПРОСТРАНСТВЕ ИМЕН DDFS ПРОВЕРЯЕТСЯ НА СООТВЕТСТВИЕ КРИТЕРИЯМ КАНДИДАТА
state.fmig2_end_time = 1470059610< === ВРЕМЯ ОКОНЧАНИЯ ПОСЛЕДНЕГО ЗАПУСКА FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== БАЙТЫ PRE-COMP (ЛОГИЧЕСКИЕ) СКОПИРОВАНЫ НА ЦЕЛЕВОЙ УРОВЕНЬ НА ДАННЫЙ МОМЕНТ
state.fmig2_fcopy_post_lc_size = 10944662855< === БАЙТЫ POST-COMP (ФИЗИЧЕСКИЕ) СКОПИРОВАНЫ НА ЦЕЛЕВОЙ УРОВЕНЬ, ТАКИМ ОБРАЗОМ, FAR
...
state.fmig2_files_copied = 8 <=== ФАЙЛЫ, КОТОРЫЕ ЗАВЕРШИЛИ КОПИРОВАНИЕ
state.fmig2_files_failed_in_copy = 0< === ФАЙЛЫ, КОТОРЫЕ НЕ УДАЛОСЬ СКОПИРОВАТЬ
state.fmig2_files_failed_in_install <= 0 === ФАЙЛЫ, КОТОРЫЕ СКОПИРОВАНЫ/ПРОВЕРЕНЫ, НО НЕ УДАЛОСЬ УСТАНОВИТЬ
<state.fmig2_files_failed_in_verify = 0 === ФАЙЛЫ, КОТОРЫЕ СКОПИРОВАНЫ, НО НЕ ПРОВЕРЕНЫ
state.fmig2_files_installed <= 4 === ФАЙЛЫ, КОТОРЫЕ ЗАВЕРШИЛИ КОПИРОВАНИЕ/ПРОВЕРКУ/УСТАНОВКУ
state.fmig2_files_verified = 4 <=== ФАЙЛЫ, КОТОРЫЕ ЗАВЕРШИЛИ КОПИРОВАНИЕ/ПРОВЕРКУ
...
state.fmig2_is_running = 1< === ВЫПОЛНЯЕТСЯ FMIG state.fmig2_is_waiting
= 0< === FMIG ОЖИДАЕТ (НАПРИМЕР, ЗАВЕРШЕНИЯ ОЧИСТКИ)
state.fmig2_progress_current_phase = 2< === ТЕКУЩАЯ ФАЗА (В ДАННОМ СЛУЧАЕ КОПИРОВАНИЕ/СКАНИРОВАНИЕ)
state.fmig2_progress_percent_complete = 92 <=== % ЗАВЕРШЕНИЯ ТЕКУЩЕГО ЭТАПА НА ОСНОВЕ КОЛИЧЕСТВА ПРОВЕРЕННЫХ ФАЙЛОВ В ОБЩЕМ КОЛИЧЕСТВЕ ФАЙЛОВ В ПРОСТРАНСТВЕ
ИМЕН state.fmig2_progress_phase_time = 1245 <=== СЕКУНД, ЗАТРАЧЕННЫХ НА ТЕКУЩИЙ ЭТАП
state.fmig2_progress_total_time = 1255 <=== СЕКУНД, ЗАПУЩЕННЫХ FMIG НА ДАННЫЙ МОМЕНТ
state.fmig2_start_time = 1470061560 <=== ВРЕМЯ НАЧАЛА ТЕКУЩЕГО ЗАПУСКА FMIG
...
state.fmig2_total_inodes = 14< === ВСЕГО ФАЙЛОВ ДЛЯ ПРОВЕРКИ В ПРОСТРАНСТВЕ
ИМЕН...

Наконец, в файлах журнала DDFS (/ddr/var/log/debug/ddfs.info) регистрируются различные сообщения, указывающие на ход выполнения FMIG. Опять же, вывод очень похож для функций ER и LTR, поэтому здесь показаны только те, которые из системы с поддержкой LTR:

08/01 15:26:00.945 (tid 0x7ff4c683e090): ПРИМЕЧАНИЕ. MSG-FMIG-00004: Начало <движения данных === FMIG ЗАПУСКАЕТСЯ...

08/01 15:26:00.977 (TID 0x7ff4cbeabcf0): INFO: Fmig: фаза 1 (посев) началась< === МАССОВАЯ ЗАГРУЗКА НАЧИНАЕТСЯ (НЕ ЗАПУСКАЕТСЯ НА LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: фаза 1 (посев) завершена
08/01 15:26:10.978 (TID 0x7ff4cbeabcf0): INFO: Fmig: началась фаза 2 (сканирование) <=== НАЧИНАЕТСЯ
 
ФАЗА СКАНИРОВАНИЯ08/01 15:26:22.162 (TID 0x4ca2150): Fmig: файл кандидата /data/col1/jftest/file2, файл src snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== ФАЙЛ-КАНДИДАТ ПОДХВАЧЕН ПОТОКОМ COPY THREAD
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: файл кандидата /data/col1/jftest/file3, файл src snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== ФАЙЛ КАНДИДАТА НАЧИНАЕТ КОПИРОВАНИЕ
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: файл кандидата /data/col1/jftest/file4, файл src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== ФАЙЛ КАНДИДАТА НАЧИНАЕТ КОПИРОВАНИЕ
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: файл кандидата /data/col1/jftest/file5, файл src snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== ФАЙЛ КАНДИДАТА НАЧИНАЕТ КОПИРОВАНИЕ
 
08/01 15:27:11.072 (TID 0x7ff45ad95d30): Fmig: fmig_dump_stats (облако): фаза 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, выполняется vbytes 1936986672 <=== ПЕРИОДИЧЕСКИ ВЫГРУЖАЕТСЯ
 
СТАТИСТИКА08/01 15:45:59.040 (TID 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== СКОПИРОВАННЫЙ ФАЙЛ ЗАВЕРШАЕТ ПРОВЕРКУ
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== СКОПИРОВАННЫЙ ФАЙЛ ЗАВЕРШАЕТ ПРОВЕРКУ
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== СКОПИРОВАННЫЙ ФАЙЛ ЗАВЕРШАЕТ ПРОВЕРКУ
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== СКОПИРОВАННЫЙ ФАЙЛ ЗАВЕРШАЕТ ПРОВЕРКУ
 
08/01 15:47:15.113 (TID 0x7ff45ad95d30): Fmig: fmig_dump_stats (облако): фаза 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, выполняется Байты 536870911 <=== БОЛЬШЕ ПЕРИОДИЧЕСКОЙ СТАТИСТИКИ
 
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): INFO: Fmig: фаза 2 (сканирование) завершена <=== ФАЗА СКАНИРОВАНИЯ ЗАВЕРШЕНА (ВСЕ ФАЙЛЫ-КАНДИДАТЫ COPIED)
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig: началась фаза 3 (верификация) <=== НАЧИНАЕТСЯ
 
ЭТАП ПРОВЕРКИ08/01 15:47:57.855 (TID 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== ОСТАВШИЕСЯ ФАЙЛЫ ПРОВЕРЕНЫ
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: фаза 4 (упаковка) завершена <=== ФАЗА УПАКОВКИ (НЕ ЗАПУСКАЕТСЯ НА LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: фаза 5 (установка) начата <=== ФАЗА УСТАНОВКИ НАЧИНАЕТСЯ
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: фаза 5 [установка] завершена<=== ФАЗА УСТАНОВКИ ЗАКАНЧИВАЕТСЯ
 
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): ПРИМЕЧАНИЕ. MSG-FMIG-00001: Перемещение данных завершено (в облаке) по CPS облака: 0:22:35 прошло, 9 файлов перенесено, 11274289152 от общего количества байтов перенесено< === FMIG ЗАВЕРШАЕТСЯ
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Фмиг:  Фаза[1]: Фаза 10 сек[2]: 1291 сек. Фаза[3]: Фаза 16 сек[4]: 0 сек Фаза[5]: 11 с === ПОКАЗАНЫ ФАЗОВЫЕ ТАЙМИНГИ<

Обратите внимание, что:

• Данные, показывающие объем данных, скопированных на целевой уровень, обновляются только при каждом завершении копирования файла. В результате, если переносится один большой файл, post-comp будет отображать 0 байт до тех пор, пока не будет завершено копирование (и этап сканирования)
• Цифры, указывающие объем данных до сжатия (логических), скопированных на целевой уровень, обновляются периодически, а не только после завершения копирования файлов
• Процент завершения, показанный на этапе сканирования, не указывает на общий % данных-кандидатов, скопированных на данный момент. Вместо этого он указывает, что % от общего количества файлов в пространстве имен DDFS был проверен потоками копирования, чтобы определить, являются ли они кандидатами на перенос. В результате, когда FMIG находится на этапе сканирования, часто можно увидеть: