Домен даних: Як відстежувати рух даних за допомогою Data Domain Restorer

Деякі моделі Data Domain Restorer (DDR) можуть бути налаштовані з функціональністю, відомою як розширене зберігання (ER) або довгострокове зберігання (LTR). Ця функціональність дозволяє додати в систему другий рівень сховища, в яке можна перенести файли, що потребують тривалого зберігання. Тип сховища, що використовується для цього другого рівня, залежить від конкретної функціональності, що використовується, тобто:

• Розширене зберігання: Другий рівень сховища відомий як рівень архіву і формується з корпусів дисків, фізично приєднаних до DDR
• Довгострокове зберігання: Другий рівень сховища відомий як хмарний рівень і формується з об'єктного сховища, наданого підтримуваним постачальником хмари (тобто воно є зовнішнім по відношенню до DDR)

Механіка переміщення даних:

В обох випадках для фізичної міграції файлу з активного на архівний/хмарний рівень використовується процес, відомий як переміщення даних (FMIG). Після запуску FMIG проходить 5 фаз роботи, як описано нижче:

Фаза 1 - Масовий посів:

• Це пропущено в усіх системах з підтримкою LTR
• Це пропущено в системах ER під керуванням DDOS 5.5.1.x (і пізніших версіях)
• У системах ER під управлінням DDOS 5.5.0.x (і більш ранніх) це може виконувати копіювання вибраних даних на рівні блоку з активного рівня на рівень архіву. Механіка цієї копії виходить за рамки цього документа, тому тут не обговорюється.

Фаза 2 - Сканування:

• Файлова система домену даних (DDFS) шукає файли активного рівня, які є кандидатами на міграцію на рівень архіву/хмари (файли, які не були змінені довше, ніж політика переміщення даних батьківського mtrees/віковий поріг)
• Запускається кількість потоків копіювання (конкретна кількість залежить від моделі/конфігурації системи), при цьому кожен із потоків читає файл-кандидат на активному рівні та копіює унікальні дані на рівень архіву/хмари (тобто дані, які ще не існують на цільовому рівні)
• Запускається кількість потоків перевірки (знову ж таки, конкретна кількість потоків залежить від моделі/конфігурації системи), які, як тільки файл-кандидат завершить копію, зчитує копію файлу цільового рівня, щоб переконатися, що вона дійсна / всі дані доступні
• Після того, як файл-кандидат був скопійований/перевірений, він додається до списку файлів, які очікують на «встановлення» на цільовому рівні (оновлення метаданих щодо файлу, щоб вказати, що він тепер існує на цільовому рівні). Періодично прокидається потік встановлення, щоб 'встановити' всі файли, що очікують на розгляд

Етап 3 - Верифікація:

• На цьому етапі DDFS чекає завершення перевірки всіх скопійованих файлів на цільовому рівні

Фаза 4 - Упаковка:

• Це пропущено в усіх системах з підтримкою LTR
• У системах швидкої допомоги FMIG намагається видалити будь-які повторювані сегменти даних, які були скопійовані на рівень архіву на етапі сканування. Зверніть увагу, що повторювані сегменти даних можуть бути скопійовані для прискорення процесу копіювання, однак, враховуючи дизайн рівня архіву (максимальний загальний коефіцієнт стиснення при погіршенні продуктивності читання), такі повторювані дані потрібно видаляти

Етап 5 - Монтаж:

• На цьому етапі DDFS очікує завершення встановлення всіх скопійованих/перевірених файлів

Моніторинг прогресу ФМІГ:

В основному оболонка командного рядка Data Domain (DDSH) використовується для моніторингу прогресу FMIG в системах ER і LTR. Зазначимо, що:

• У системах швидкої допомоги слід використовувати команди 'archive data-movement [status|watch]', тоді як у системах LTR слід використовувати команди 'data-movement [status|watch]', тобто:

• У системах ER повідомляється про прогрес усіх 5 фаз (тобто на виході буде відображатися «фаза x з 5»), тоді як у системах LTR, враховуючи, що фази 1 і 4 завжди пропускаються, відображається прогрес лише фаз 2/3/5 (тобто на виході буде показана «фаза x з 3»)
• Команда 'status' показує одноразовий знімок прогресу FMIG:

• Команда 'watch' показує рухомий вихід під час проходження FMIG по фазах:

Набір ключів реєстру також використовується для відстеження прогресу FMIG - вони фіксуються в автопідтримках, згенерованих системою, і також можуть відображатися через DDSH:

ER: # reg show dynamic.art.fmig
ЛТР: # reg show state.fmig2

В обох випадках відображені ключі реєстру дуже схожі, і в результаті тут

відображаються лише ті, що з системи з підтримкою LTR:# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== ЗАГАЛЬНА КІЛЬКІСТЬ ФАЙЛІВ У ПРОСТОРІ ІМЕН DDFS ПЕРЕВІРЕНО, ЧИ ВІДПОВІДАЮТЬ ВОНИ КРИТЕРІЯМ БУТИ КАНДИДАТОМ
state.fmig2_end_time = 1470059610 <=== ЧАС ЗАВЕРШЕННЯ ОСТАННЬОГО ЗАПУСКУ FMIG
state.fmig2_fcopy_byte_count = 11274289151 <=== БАЙТИ PRE-COMP (ЛОГІЧНІ) СКОПІЙОВАНІ НА ЦІЛЬОВИЙ РІВЕНЬ
state.fmig2_fcopy_post_lc_size = 10944662855 <=== ПОСТ-COMP (ФІЗИЧНІ) БАЙТИ, СКОПІЙОВАНІ НА ЦІЛЬОВИЙ РІВЕНЬ ДОСІ
...
state.fmig2_files_copied = 8 <=== ФАЙЛИ, ЯКІ ЗАВЕРШИЛИ КОПІЮВАННЯ
state.fmig2_files_failed_in_copy = 0 <=== ФАЙЛИ, ЯКІ НЕ ВДАЛОСЯ СКОПІЮВАТИ
state.fmig2_files_failed_in_install = 0 <=== ФАЙЛИ, ЯКІ СКОПІЮВАЛИ/ПЕРЕВІРИЛИ, АЛЕ НЕ ВДАЛОСЯ ВСТАНОВИТИ
state.fmig2_files_failed_in_verify = 0 === ФАЙЛИ<, ЯКІ СКОПІЮВАЛИ, АЛЕ НЕ ПЕРЕВІРИЛИ
state.fmig2_files_installed = 4 <=== ФАЙЛИ, ЯКІ ЗАВЕРШИЛИ КОПІЮВАННЯ/ПЕРЕВІРКУ/ВСТАНОВЛЕННЯ
state.fmig2_files_verified = 4 <=== ФАЙЛИ, ЯКІ ЗАВЕРШИЛИ КОПІЮВАННЯ/ПЕРЕВІРКУ
...
state.fmig2_is_running = 1 <=== FMIG ПРАЦЮЄ
state.fmig2_is_waiting = 0 <=== FMIG ЧЕКАЄ (НАПРИКЛАД, ДЛЯ ЗАВЕРШЕННЯ ОЧИЩЕННЯ)
state.fmig2_progress_current_phase = 2 <=== ПОТОЧНА ФАЗА (В ДАНОМУ ВИПАДКУ КОПІЮВАННЯ/СКАНУВАННЯ)
state.fmig2_progress_percent_complete = 92 <=== % ЗАВЕРШЕННЯ ПОТОЧНОЇ ФАЗИ НА ОСНОВІ ПЕРЕВІРЕНИХ ФАЙЛІВ У ПОРІВНЯННІ З ЗАГАЛЬНОЮ КІЛЬКІСТЮ ФАЙЛІВ У ПРОСТОРІ ІМЕН
state.fmig2_progress_phase_time = 1245 <=== СЕКУНДИ, ВИТРАЧЕНІ В ПОТОЧНІЙ ФАЗІ ДО ЦЬОГО ЧАСУ
state.fmig2_progress_total_time = 1255 <=== СЕКУНД, ЯКІ FMIG ВИКОНУВАВ ДО ЦЬОГО ЧАСУ
state.fmig2_start_time 1470061560<= === ЧАС ПОЧАТКУ ПОТОЧНОГО ЗАПУСКУ FMIG
...
state.fmig2_total_inodes = 14 <=== ВСЬОГО ФАЙЛІВ ДЛЯ ПЕРЕВІРКИ В ПРОСТОРІ


ІМЕН...Нарешті, різні повідомлення записуються до файлів журналу DDFS (/ddr/var/log/debug/ddfs.info) для позначення прогресу FMIG. Знову ж таки, вихідні дані дуже схожі для функцій ER та LTR, тому тут

показані лише ті, що з системи з підтримкою LTR:08/01 15:26:00.945 (tid 0x7ff4c683e090): ПОВІДОМЛЕННЯ: MSG-FMIG-00004: Розпочато <переміщення даних === FMIG ПОЧИНАЄТЬСЯ
...
08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 1 (посів) розпочата <=== ПОЧИНАЄТЬСЯ МАСОВИЙ ПОСІВ (НЕ ПРАЦЮЄ НА LTR)
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 1 (посів) завершена
08/01 15:26:10.978 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: розпочато фазу 2 (сканування) =<== ПОЧИНАЄТЬСЯ
 
ФАЗА СКАНУВАННЯ08/01 15:26:22.162 (tid 0x4ca2150): Fmig: файл кандидата /data/col1/jftest/file2, файл src snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== ФАЙЛ КАНДИДАТА ПІДІБРАНО ШЛЯХОМ КОПІЮВАННЯ ПОТОКУ
08/01 15:26:22.164 (tid 0x7ff4c5214670): Fmig: Файл кандидата /data/col1/jftest/file3, файл src snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== ФАЙЛ КАНДИДАТА ПОЧИНАЄ КОПІЮВАТИ
08/01 15:26:22.273 (tid 0x7ff7d252a9e0): Fmig: файл кандидата /data/col1/jftest/file4, файл src snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== ФАЙЛ КАНДИДАТА ПОЧИНАЄ КОПІЮВАТИ
08/01 15:26:22.274 (tid 0x7ff7d090a630): Fmig: файл кандидата /data/col1/jftest/file5, файл src snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== ПОЧИНАЄТЬСЯ КОПІЮВАННЯ
 
ФАЙЛУ КАНДИДАТА08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats ( хмара): фаза 2, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, в процесі роботи vbytes 1936986672 <=== СТАТИСТИКА ПЕРІОДИЧНО
 
СКИДАЄТЬСЯ08/01 15:45:59.040 (tid 0x7ff7d25298c0): Fmig: fmig verified file5, src file snap_fh 10:0:15:0:e7b64416:57989b6e:0 <=== СКОПІЙОВАНИЙ ФАЙЛ ЗАВЕРШУЄ ПЕРЕВІРКУ
08/01 15:45:59.140 (tid 0x7ff4c5218310): Fmig: fmig verified file3, src file snap_fh 10:0:13:0:e9b64736:57989b6e:0<=== СКОПІЙОВАНИЙ ФАЙЛ ЗАВЕРШУЄ ПЕРЕВІРКУ
08/01 15:45:59.225 (tid 0x7ff4c540b5f0): Fmig: fmig verified file2, src file snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== СКОПІЙОВАНИЙ ФАЙЛ ЗАВЕРШУЄ ПЕРЕВІРКУ
08/01 15:45:59.228 (tid 0x7ff4e591bcd0): Fmig: fmig verified file4, src file snap_fh 10:0:14:0:e6b64286:57989b6e:0 <=== СКОПІЙОВАНИЙ ФАЙЛ ЗАВЕРШУЄ ПЕРЕВІРКУ
 
08/01 15:47:15.113 (tid 0x7ff45ad95d30): Fmig: fmig_dump_stats (хмара): фаза 2, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, в процесі 536870911 <=== БІЛЬШЕ ПЕРІОДИЧНИХ СТАТИСТИЧНИХ ДАНИХ
 
08/01 15:47:41.858 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 2 (сканування) завершена <=== ФАЗА СКАНУВАННЯ ЗАВЕРШЕНА (ВСІ ФАЙЛИ КАНДИДАТІВ СКОПІЙОВАНІ)
08/01 15:47:41.858 (TID 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 3 (перевірка) розпочата <=== ПЕРЕВІРКА ПОЧАТКУ
 
ФАЗИ08/01 15:47:57.855 (tid 0x7ff50351a620): Fmig: fmig verified file10, src file snap_fh 10:0:1a:0:64f703c6:57989b6e:0 <=== РЕШТА ФАЙЛІВ ПЕРЕВІРЕНО
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 4 (упаковка) закінчилася <=== ФАЗА ПАКУВАННЯ (НЕ ПРАЦЮЄ НА LTR)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 5 (install) розпочато <=== ФАЗА ВСТАНОВЛЕННЯ ПОЧИНАЄТЬСЯ
08/01 15:48:08.890 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Fmig: фаза 5 [install] завершена<=== КІНЕЦЬ
 
ФАЗИ ВСТАНОВЛЕННЯ08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): ПОВІДОМЛЕННЯ: MSG-FMIG-00001: Переміщення даних завершено (хмара) на хмарному cps: 0:22:35, 9 файлів перенесено, 11274289152 загальної кількості байтів перенесено <=== FMIG ЗАВЕРШУЄТЬСЯ
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): ІНФОРМАЦІЯ: Фміг:  Етап[1]: Фаза 10 секунд[2]: 1291 сек Фаза[3]: Фаза 16 секунд[4]: 0 сек Фаза[5]: 11 СЕК <=== ПОКАЗАНІ

ТАЙМІНГИ ФАЗЗазначимо, що:

• Цифри, що вказують на кількість посткомпонованих (фізичних) даних, скопійованих до цільового рівня, оновлюються лише щоразу, коли файл завершує копіювання. В результаті, якщо переноситься один великий файл, post-comp покаже 0 байт до завершення копіювання (і фази сканування)
• Цифри, що вказують на кількість прекомп (логічних) даних, скопійованих до цільового рівня, оновлюються періодично і не тільки по завершенню копіювання файлу
• Відсоток завершення, показаний на етапі сканування, не вказує на загальний % скопійованих даних кандидатів на даний момент. Замість цього він вказує на % від загальної кількості файлів у просторі імен DDFS, які були перевірені потоками копіювання, щоб визначити, чи є вони кандидатами на міграцію. В результаті, коли FMIG знаходиться на етапі сканування, часто можна побачити: