IDPA. Руководство по многоуровневому хранению с использованием облака и путь решения

В этой статье представлен путь решения для многоуровневого хранения с использованием облака Data Domain. Она содержит пошаговые инструкции по настройке многоуровневого хранения с использованием облака и управлению им, включая действия по поиску и устранению неполадок и другую важную информацию.

 

 

Установка и настройка:

Шаг 1. Импорт сертификата облачного модуля в Data Domain.

Описание процедуры и инструкции для интеграции сертификата облачного модуля см. в главе «Cloud Tier» руководства пользователя.

Видеодемонстрация доступна в разделе «Добавление облачного модуля». 
 

Важные ссылки на статьи базы знаний на тему создания сертификата облачного модуля для различных поставщиков облачных решений: 

Google Cloud. Развертывание Data Domain. Необходимость наличия сертификата для настройки функции уровня облака с помощью решения Google Cloud.

Amazon AWS. Data Domain Cloud Tier. Интеграция Data Domain с Amazon AWS S3.

Azure Virtustream, ECS.  Многоуровневое хранение с использованием облака Data Domain. Ошибка сертификата при добавлении облачного модуля

Посмотрите видео ниже (или посмотрите его на YouTube) для получения подробной информации:

 

ECS.

Data Domain. Требования к сертификатам для безопасного подключения уровня облака DD к ECS и руководство по передовым практикам.

Data Domain. Невозможно импортировать сертификат F5 с Elastic Cloud Storage (ECS) в Data Domain.

 

Шаг 1. Процедура:

В PowerProtect DD System Manager выполните следующие действия:

1. Выберите «Data Management» > «File System» > «Cloud Units».

2. На панели инструментов нажмите «Manage Certificates». Откроется диалоговое окно «Manage Certificates for Cloud».

3. Нажмите Add.

4. Выберите один из следующих вариантов:

• • Вы хотите загрузить сертификат в виде файла .pem.
    • Сделайте следующее: перейдите к файлу сертификата и выберите его. 
  • Вы хотите скопировать и вставить текст сертификата.
    • Сделайте следующее: скопируйте содержимое файла .pem и вставьте его в диалоговое окно.

5. Нажмите Add.

После выполнения этого шага в пользовательском интерфейсе Data Domain должен отображаться сертификат облачного модуля:

«Data Management» --> «Cloud Units» --> «Certificates»:

Шаг 2. Добавление облачного модуля в Data Domain

Описание процедуры и инструкции для добавления или интеграции облачного модуля в Data Domain см. в главе «Cloud Tier» руководства пользователя. 

Видеодемонстрация доступна ниже (или в видео на YouTube):

Шаг 2. Процедура: 

В PowerProtect DD System Manager выполните следующие действия:

1. Выберите «Data Management» > «File System» > «Cloud Units».

2. Нажмите «Add».

3. В диалоговом окне «Add Cloud Unit» укажите следующие сведения:

• • Name. Понятное имя для облачного модуля.
  • Cloud Provider. Поставщик облачных решений (например, AWS, Azure, ECS и т. д.).
  • Введите другие соответствующие сведения, такие как класс хранения, регион хранения, ключ доступа, секретный ключ, основной ключ, конечная точка и т. д.

Указанные выше параметры для ввода зависят от выбранного поставщика облачных решений. 

Шаг 3. Включение уровня облака в Avamar или на сервере резервного копирования.

Описание процедуры и инструкции для включения многоуровневого хранения с использованием облака в Avamar или на сервере резервного копирования см. в главе «Cloud Tier» руководства пользователя.

Видеодемонстрация доступна ниже (или в видео на YouTube):

Известные проблемы и статьи:

• • Avamar. Конфигурация многоуровневого хранения с использованием облака не сохраняется

 

Шаг 4. Создание и планирование политики многоуровневого хранения с использованием облака на Avamar Server. 

Описание процедуры и инструкции для создания и планирования политики многоуровневого хранения с использованием облака см. в главе «Cloud Tier» руководства пользователя.

Видеодемонстрация доступна ниже (или в видео на YouTube):

Шаг 5. Планирование переноса данных в DD.

Дополнительные сведения см. в разделах «Moving data manually» и «Moving data automatically» руководства пользователя.

Видеодемонстрация доступна ниже (или в видео на YouTube):

Шаг 5. Процедура:

Перенос данных можно запускать и останавливать вручную или автоматически с помощью расписания (ежедневно, еженедельно или ежемесячно) и ограничения.

В PowerProtect DD System Manager выполните следующие действия:

Вручную:

1. Выберите «Data Management» > «File System».

2. В нижней части страницы нажмите «Show Status of File System Services».

Отобразятся следующие элементы состояния:

«File System»
«Physical Capacity Measurement»
«Data Movement»
«Active Tier Cleaning»

3. Чтобы перенести данные, нажмите «Start».

Автоматически:

1. Выберите «Data Management» > «File System» > «Settings».

2. Перейдите на вкладку «Data Movement».

3. Задайте ограничение и расписание.

Управление и администрирование 

Создайте политику многоуровневого хранения на Avamar Server: 

• • Для каких клиентов может использоваться многоуровневое хранение.
  • Какие резервные копии для этих клиентов подлежат переносу на другой уровень.
  • Давность, при которой резервная копия должна быть перенесена в облако.
  • Истечение срока хранения этих резервных копий в облаке. 

Отзыв резервных копий с уровня облака:

 

Операции восстановления для уровня облака: 

--cloud-copy-lifetime=days

Восстановление на уровне файлов или детальное восстановление с уровня облака:

Как обнаружить резервные копии Avamar на уровне облака или создать отчет о них:

В пользовательском интерфейсе Avamar AUI на основе HTML:

Процесс переноса данных в Data Domain

В рамках этого процесса резервные копии в DD переносятся с активного уровня на уровень облака. Также это описано в шаге 5 — раздел «Установка и настройка».

 

В. Как можно запустить перенос данных вручную?

О. Можно использовать команду «data-movement start». 

Пример.

data-movement start

Data-movement started.

В. Как можно отслеживать перенос данных?

О. Для проверки состояния переноса данных можно использовать команду «data-movement status».

Пример.

data-movement status

----------------------------
Data-movement is initializing..
Data-movement recall:
---------------------
No recall operations found.

 

Если выполняется перенос данных, можно использовать команду «data-movement watch».

Например:

data-movement watch

Data-movement: phase 1 of 3 (copying)  
 92% complete; time: phase  0:08:04, total  0:08:14       Copied (post-comp): 3.35 GiB, (pre-comp): 3.29 GiB,B,      Files copied: 7, Files verified: 3, Files installed: 3

В. Как остановить перенос данных?

О. Можно использовать команду «data-movement stop».

Пример.

data-movement stop

Data-movement stop initiated. Run the status command to check its status.

См. статью Data Domain Restorer и долгосрочное хранение в облаке. Часто задаваемые вопросы для получения дополнительной информации.

Процесс очистки уровня облака

В. Как запустить ручную очистку уровня облака?

A1. Процедура. В PowerProtect DD System Manager:

а. Нажмите «Data Management» > «File System» > «Settings».

б. Выберите вкладку «Cleaning».

в. Установите ограничение и расписание для уровня облака.

A2. Можно использовать команду «cloud clean start» (или «cloud clean start » в случаях с несколькими облаками).

Пример.

cloud clean start cloudunit2

Cloud tier cleaning started for cloud unit "cloudunit2". Use 'cloud clean watch' to monitor progress.

В. Как можно отслеживать очистку уровня облака?

О. Для проверки выполнения очистки облака можно использовать команду «cloud clean status».

Пример.

cloud clean status

Cloud tier cleaning finished on cloud unit "cloudunit2" at 2023/09/12 06:19:03.

Previous cloud tier cleaning attempt was unsuccessful.
 Failure reason:
cloud unit "cloudunit2" did not have sufficient cleanable data.
Cloud tier cleaning finished at 2023/09/15 12:16:06.

Если выполняется очистка облака, ее можно отслеживать с помощью команды «cloud clean watch».

В. Может ли очистка активного уровня выполняться одновременно с очисткой уровня облака?

О. Нет. Как очистка активного уровня, так и очистка уровня облака используют одни и те же общие внутренние структуры данных, для которых требуется эксклюзивный доступ.

В. Как отобразить или изменить расписание очистки уровня облака?

О. Чтобы отобразить текущее расписание очистки облака, используйте команду «cloud clean frequency show».

Пример.

cloud clean frequency show

Cloud tier cleaning frequency is set to run after every 4 active tier cleaning cycles.

В. Как изменить расписание очистки облака?

О. Для изменения расписания используется команда «cloud clean frequency set».

Пример.

cloud clean frequency set 3

Cloud tier cleaning frequency is set to run after every 3 active tier cleaning cycles.

В. Как изменить или отобразить ограничение очистки уровня облака?

О. По умолчанию ограничение очистки уровня облака установлено на 50%.

Для отображения текущего ограничения очистки облака используется команда «cloud clean throttle show». 

Пример.

cloud clean throttle show

Cloud tier cleaning throttle is set to 28 percent

Для изменения ограничения очистки используется команда «cloud clean throttle set».

Пример.

cloud clean throttle set 20

Cloud tier cleaning throttle set to 20 percent

Подробнее об очистке облака см. в статье Data Domain. Общая информация о длительном хранении / очистке облачного уровня / чистке памяти в Data Domain Restorer

 

Приложение А

База знаний и известные процедуры и исправления для IDPA или Avamar — многоуровневое хранение с использованием облака Data Domain:

• Avamar. Интерфейс пользователя Avamar Administrator отображает общую емкость Data Domain, если в системе настроен уровень облака
• Avamar. Уровень облака. Отмеченные резервные копии не передаются в облако из-за ненастроенного расписания
• Avamar. Как обновить ссылку на метаданные резервной копии в Avamar, если резервная копия вручную отозвана из уровня облака DD Cloud Tier на активный уровень
• Avamar. Как переименовать уровень облака, интегрированный с Avamar
• Avamar. При изменении возрастного порога в политике переноса данных для уровня облака отображается всплывающее окно «Negative Age threshold values not allowed»
• Avamar. Интеграция Data Domain. Ошибки hfscheck, связанные с функцией переноса файлов на уровень облака
• Avamar. Интеграция Data Domain. Политика уровня облака не отмечает ежедневные резервные копии как предназначенные для облака, так как параметры истечения срока действия и возрастного порога идентичны
• Avamar. MCS сообщает, что политика уровня облака успешно выполнена, когда выбранные резервные копии клиентов хранятся в DD, а уровень облака не включен
• Avamar. Ошибка avtier 5062, недопустимые флажки «--reversed-operation» и «--unmark-only» без возможности отключения
• Avamar. Не удается включить Cloud DR при добавлении папки виртуальной машины в качестве участника в политику Avamar
• Avamar. Как отозвать резервные копии, перенесенные на уровень облака Data Domain Cloud Tier
• Data Domain Restorer и долгосрочное хранение в облаке. Часто задаваемые вопросы
• Data Domain. Общая информация о длительном хранении / очистке облачного уровня / чистке памяти в Data Domain Restorer

Для многоуровневого хранения с использованием облака Data Domain с NetWorker:

• NetWorker с Data Domain Cloud Tier. Руководство по сортировке и поиску и устранению неисправностей

Приложение Б

 

В Avamar внутренний подключаемый модуль под названием avtier используется для маркировки резервных копий для распределения по уровням, отзыва резервных копий с уровня облака и других задач многоуровневого хранения с использованием облака.

 

Советы по поиску и устранению неисправностей для Avamar:

Резервные копии, отмеченные политикой многоуровневого хранения с использованием облака Avamar:

• • Внутренний подключаемый модуль avtier использует процесс ddrmaint в Avamar, чтобы отмечать резервные копия, подлежащие переносу. 
  • Благодаря этому процессу система Data Domain понимает, что необходимо пометить конкретную резервную копию как подлежащую перемещению облако. 

Чтобы подтвердить, что резервные копии были помечены политикой многоуровневого хранения, выполните следующую команду в качестве пользователя root: 

grep -i mark-backup /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log

 

Резервные копии, отозванные Avamar с помощью функции восстановления, восстановления вручную или восстановления с помощью политики многоуровневого хранения:

• • Внутренний подключаемый модуль avtier использует процесс ddrmaint в Avamar, чтобы сообщить Data Domain о необходимости отзыва резервных копий с уровня облака на активный уровень.

Чтобы подтвердить, что резервные копии отзываются на активный уровень, выполните следующую команду в качестве пользователя root:  

grep -i "recall-backup" /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log

 

Советы по поиску и устранению неисправностей для Data Domain

В Data Domain это можно проверить с помощью следующей команды:

data-movement status

Подробные сведения см. в разделе, посвященном отзыву. 

 

 

В отчете о расположении файлов в Data Domain показано, где находятся файлы на уровне облака или активном уровне:

filesys report generate file-location <File_path_with_file_name> 

Структура уровня облака:

• • Уровень облака подразделяется на облачные модули. 
  • Облачный уровень может содержать до двух облачных модулей.
  • Размер каждого облачного модуля может быть равен максимальному поддерживаемому размеру активного уровня для данной модели DDR.
  • Каждый облачный модуль может быть выделен от другого поставщика объектного хранилища.

Пример.

cloud unit list 

Name        Profile       Status   Reason
---------   -----------   ------   -------------------------------
ECS_Unit1   ECS_Profile   Active   Cloud unit connected and ready.
S3_Unit     S3_Profile    Active   Cloud unit connected and ready.
---------   -----------   ------   -------------------------------

В. Как можно отслеживать операцию отзыва?

О. Операцию отзыва можно отслеживать с помощью команды «data-movement status path all», а если требуется определенный файл — «data-movement status path /data/col1/<Avamar-xxxxx>/<Client_ID>/<Backup_ID>/<File_Name> ». 

Пример.

data-movement status path /data/col1/<Avamar-xxxxx>/<Client_ID>/<Backup_ID>/<File_Name>  

Data-movement recall: 
---------------------
Data-movement for  /data/col1/mtree1/file1 :
phase 2 of 3 (Verifying) 80% complete; time: phase XX:XX:XX total XX:XX:XX 
Copied (post-comp): XX XX, (pre-comp) XX XX 

 

Avamar, Avamar Data Store, Avamar Data Transport, Avamar Server, Avamar Virtual Edition, Data Domain, Data Domain Boost – File System, PowerProtect DP4400, DD OS, PowerProtect DP5300, PowerProtect DP5800, PowerProtect DP8300, PowerProtect DP8800 , PowerProtect Data Protection Software, Integrated Data Protection Appliance Family, PowerProtect Data Protection Hardware, Integrated Data Protection Appliance Software ... View More View Less