Data Domain. Общая информация о длительном хранении / очистке облачного уровня / чистке памяти в Data Domain Restorer (DDR)

Data Domain Operating System (DDOS) 6.0 вводит новую функцию под названием облачное хранение или длительное хранение (LTR). Эта функция позволяет добавить второй уровень объектного хранилища, выделенного поставщиком облачных решений, в определенные модели Data Domain Restorer (DDR) с соответствующей лицензией CLOUD_CAPACITY.

В системах, использующих LTR, файлы, полученные DDR, первоначально записываются на активный уровень (локально подключенное хранилище). Политики перемещения данных / пороговые значения возраста затем настраиваются для каждого mtree таким образом, что некоторые файлы, требующие длительного хранения, позже переносятся с активного на облачный уровень в процессе перемещения данных (регулярная запланированная задача).

Файлы на облачном уровне можно удалить обычным образом, однако связанное пространство в облачном или объектном хранилище будет освобождено для использования не сразу. Чтобы удалить избыточные данные из облака, необходимо очистить облачный уровень.

Структура облачного уровня

Облачный уровень подразделяется на «облачные модули». Обратите внимание на следующее.

• Облачный уровень может содержать до двух облачных модулей.
• Размер каждого облачного модуля может быть равен максимальному поддерживаемому размеру активного уровня для данной модели DDR.
• Каждый облачный модуль может быть выделен от другого поставщика объектного хранилища.

Например:

# cloud unit list
Name                      Profile        Status
-----------------------   ------------   ------
B-unit                    LTR-ECS-Ben    Active <=== ECS provider
cloud-unit-virtustream1   virtustream1   Active <=== Virtustream provider
-----------------------   ------------   ------

Основные концепции очистки облака

• Очистка облака работает только для одного облачного модуля во время каждого запуска. Чтобы определить, что облачный модуль очищается, в журналах DDFS можно найти следующее сообщение (/ddr/var/log/debug/ddfs.info) — в этом случае выполняется очистка облачного модуля cloud-unit-virtustream1:

• Если в системе настроено несколько облачных модулей, функция очистки облака будет выполнять циклическую очистку этих устройств при каждом запуске функции.
• Очистку облака можно запустить вручную или автоматически по расписанию. Для запуска вручную используется следующая команда:

• Очистку активного уровня и очистку облака нельзя выполнять параллельно (из-за того, что оба уровня используют одни и те же структуры памяти в DDFS).
• Если выполняется очистка активного уровня (запущена вручную или по графику) и выполняется попытка запуска очистки облака, это приведет к ошибке, т. е.:

• Если очистка облака была запущена автоматически (т. е. по графику), то при одновременном запуске очистки активного уровня, очистка облачного модуля будет прервана, чтобы разрешить выполнение очистки активного уровня. На это указывают следующие данные в журналах DDFS:

• Если очистка облака была запущена вручную и предпринимается попытка запустить очистку активного уровня, запуск очистки активного уровня завершится сбоем — приоритет выполнения будет у процесса очистки облака, т. е.:

• Для начала очистки облака облачный модуль должен иметь как минимум 1% «оттока» данных (т. е. >= 1% данных, которые в настоящее время находятся в облачном модуле, должны считаться избыточными и, следовательно, допустимыми для удаления). Если это не так, в командной строке будет отображаться следующее, если очистка облака запущена вручную:

• Если система содержит два облачных модуля и запланированная очистка первого модуля по какой-либо причине завершается сбоем (например, при недостаточном оттоке), будет предпринята автоматическая попытка начать очистку второго модуля (т. е. нет необходимости ждать следующего запланированного запуска очистки облака для очистки второго модуля).
• Очистка облака может быть ограничена (аналогично очистке активного уровня), чтобы определить, какие действия следует предпринять, когда система находится под значительной рабочей нагрузкой (например, получение, внесение и обработка данных/восстановление/репликация).

Планирование очистки облака

В DDOS 6.0 и более поздних версиях способ планирования очистки активного уровня не изменился — по умолчанию очистка активного уровня запланирована раз в неделю на 0600 во вторник, т. е.:

# filesys clean show schedule
Очистка файловой системы настроена для запуска по вторникам в «0600».

Очистка облака по умолчанию запланирована для выполнения после каждого 4-го запуска запланированной очистки активного уровня. Для отображения графика очистки облака необходимо использовать следующую команду:

# cloud clean frequency show
Частота очистки облачного уровня настроена для запуска после каждых 4 циклов очистки активного уровня.

В результате в системе с конфигурацией по умолчанию очистка облака будет запускаться каждые 4 недели. Если в системе имеется два облачных модуля, каждый модуль будет очищаться раз в 8 недель.

Для изменения частоты очистки облака можно использовать следующую команду:

# cloud clean frequency set 2
Частота очистки облачного уровня настроена для запуска после каждых 2 циклов очистки активного уровня.

Чтобы сбросить очистку облака до графика по умолчанию после каждых 4 очисток активного уровня, можно использовать следующую команду:

# cloud clean frequency reset
Частота очистки облачного уровня сброшена на значение по умолчанию (каждые 4 цикла очистки активного уровня).

Обратите внимание, что график очистки облака не включает циклы очистки активного уровня, запускаемые вручную. В результате в указанной выше системе даже если очистка активного будет запускаться вручную каждый день, очистка облачного уровня будет запускаться только один раз в 4 недели.

Кроме того, можно полностью отключить запланированную очистку облака с помощью следующей команды:

# cloud clean frequency set never
Для частоты очистки облачного уровня будет задано значение «never».

В этом случае очистка облака будет выполняться только при запуске вручную.

Чтобы остановить выполняемую в данный момент очистку облака, можно использовать следующую команду:

# cloud clean stop

Чтобы определить, когда в последний раз запускалась очистка облака, можно использовать следующую команду:

# cloud clean status
Очистка облачного уровня завершена 01.08.2016 в 20:54:43.

Алгоритм очистки облака

Для очистки облака будет использоваться тот же алгоритм, что и для очистки активного уровня. В DDOS 6.0 (и более поздних версиях) по умолчанию используется идеальная физическая чистка памяти (PPGC), однако ее можно изменить на физическую чистку памяти (PGC) с помощью системных параметров.

Обратите внимание, что физическую чистку памяти не следует отключать, так как использование алгоритма стандартной/полной очистки для очистки облачного модуля может привести к сбою/перезапуску DDFS.

Алгоритм, используемый для очистки облака, отображается в журналах DDFS при запуске очистки, например:

06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern: Выбранный алгоритм: Physical Cleaning <=== PPGC or PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Выбранный алгоритм: Full Cleaning <=== Traditional GC

Обратите внимание, что из приведенных выше выходных данных невозможно установить, какой процесс выполняется: PPGC или PGC — конкретный используемый алгоритм понятен по количеству этапов в процессе очистки. Как правило:

стандартная/полная GC: 10 этапов
PGC: 12 этапов
PPGC: 6 этапов

Для получения дополнительной информации об изменении алгоритма очистки, используемого в системе, обратитесь к своему поставщику услуг поддержки.

Различия между этапами копирования в процессах очистки активного уровня и очистки облачного уровня

Этап копирования в процессе очистки — это этап, на котором физически удаляются избыточные данные в DDR / освобождается пространство. Обратите внимание, что существуют различия между тем, как этап копирования осуществляется для активного и облачного уровней.

Активный уровень:

• Данные, записанные на активный уровень DDR, содержатся в контейнерах по 4,5 Мбайт.
• По умолчанию контейнер будет рассматриваться для копирования в процессе очистки, только если он содержит <= 92% «живых» (т. е. активно используемых) данных.
• Активно используемые данные будут извлечены из контейнера и записаны в новый контейнер (вместе с активно используемыми данными из других скопированных контейнеров) в конце файловой системы.
• Индексы на диске обновляются для отражения нового контейнера, содержащего активно используемые данные
• После этого исходный контейнер (содержащий как «живые», так и «мертвые» данные) удаляется, а освободившееся дисковое пространство становится доступным для использования.

Облачный уровень:

• Данные, записанные на облачный уровень DDR, структурируются по-разному — вместо размещения в контейнерах по 4,5 Мбайт отдельные фрагменты данных (области сжатия 64 Кбайт) записываются в облачный модуль (ПРИМЕЧАНИЕ. В DDOS 6.1.2.0 и более поздних версий объекты, хранящиеся в облачном модуле, имеют больший размер. Подробнее см. в Data Domain. Большой размер объекта для облачного уровня).
• Вместо извлечения «живых» данных из существующей области сжатия и их копирования функция облачной очистки будет учитывать для удаления только области сжатия, которые содержат исключительно «мертвые» данные.

Такие различия обусловлены затратами, связанными с чтением/записью большого объема данных в облачном хранилище, однако это означает, что облачный модуль может быть искусственно заполнен (т. е. содержать большое количество областей сжатия, каждая из которых содержит очень небольшое количество «живых» данных, препятствующих их удалению).

В такой ситуации можно задать системные параметры, принудительно выполнив очистку дефрагментации облачного модуля. Это приведет к копированию «живых» данных из существующих областей сжатия, чтобы консолидировать «живые» данные в максимально малом количестве областей сжатия, что позволит освободить пространство.

Для получения дополнительной информации о выполнении очистки дефрагментации обратитесь к своему поставщику услуг поддержки.