Data Domain. Как устранить проблемы, связанные с высоким коэффициентом использования пространства или недостатком доступной емкости в Data Domain Restorers (DDR)

 

• Это область диска, где размещаются новые файлы и данные, и на большинстве DDR файлы остаются здесь до истечения срока действия или удаления с помощью клиентского приложения резервного копирования.
• На DDR, сконфигурированных с Extended Retention (ER) или Long Term Retention (LTR), может периодически выполняться перемещение данных для переноса старых файлов с активного уровня в архивный уровень или уровень облака.
• Единственный способ высвобождения на активном уровне пространства, использованного удаленными или перенесенными файлами, — это запуск процесса очистки или чистки памяти (GC).

• На активном уровне может наблюдаться нехватка свободного пространства, что приведет к появлению следующих оповещений или сообщений.

• Если активный уровень заполняется на 100%, новые данные не будут записываться в DDR, что может привести к сбою резервного копирования/репликации — в этом случае могут отображаться следующие оповещения или сообщения.

• В некоторых случаях заполнение активного уровня может стать причиной того, что файловая система Data Domain (DDFS) становится доступна только для чтения. На этом этапе существующие файлы невозможно удалить.

• Объясняется, почему активный уровень может быть заполнен
• Описывается простой набор проверок, которые можно выполнить для определения причины высокого коэффициента использования активного уровня и соответствующие действия по защите от этого.

• Эта статья не является исчерпывающей (т. е. может быть небольшое количество ситуаций, когда повышается коэффициент использования активного уровня DDR или DDR заполняется по причине, не описанной в данном документе), однако предполагается, что статья должна охватывать наиболее распространенные причины и проблемы.
• В этой статье не описывается высокий уровень использования архивного уровня или уровня облака.

  Использование активного уровня DDR может оказаться выше ожидаемого по ряду причин:

• Срок действия файлов резервного копирования или наборов сохранений определяется некорректно, или они не удаляются приложением резервного копирования клиента из-за неправильной политики хранения или неверной конфигурации приложения резервного копирования.
• Задержка репликации приводит к хранению на активном уровне большого объема старых данных, ожидающих репликации.
• Объем данных, записываемых на активный уровень, имеет меньший, чем ожидалось, общий коэффициент сжатия.
• Размер системы был задан неправильно, т. е. она слишком мала для объема данных, который пытаются сохранить на ней.
• Резервные копии состоят из большого количества очень маленьких файлов, и эти файлы занимают намного больше места, чем ожидалось при первоначальной записи, однако это пространство должно быть освобождено во время очистки или чистки памяти.
• Перемещение данных не выполняется регулярно в системах, настроенных на использование ER/LTR. Это приводит к тому, что старые файлы, которые необходимо перенести на уровни архива или облака, остаются на активном уровне.
• Очистка или чистка памяти выполняется нерегулярно.
• Избыточные или старые моментальные снимки mtree, существующие в DDR, препятствуют очистке пространства от удаленных файлов или данных.

Шаг 1. Определите, требуется ли выполнять очистку активного уровня

Операционная система Data Domain (DDOS) пытается поддерживать счетчик «Cleanable GiB» для активного уровня. Это оценка того, сколько физического пространства (после сжатия) может быть освобождено на активном уровне при выполнении очистки или чистки памяти. Этот счетчик отображается с помощью команд «filesys show space»/«df»:
 
Если:

• Значение параметра «Cleanable GiB» большое.
• DDFS заполнена на 100% (и поэтому доступна только для чтения).

Перед выполнением дальнейших действий, описанных в данном документе, необходимо выполнить очистку и дождаться ее завершения. Чтобы начать очистку, следует использовать команду «filesys clean start», т.е.:
 
Чтобы убедиться, что очистка запущена должным образом, можно использовать команду «filesys status», например:
 
Обратите внимание на следующее.

• Если очистка не запускается, обратитесь к поставщику услуг поддержки для получения дополнительной помощи — это может означать, что система обнаружила ошибку «missing segment error», которая блокирует очистку.
• Если очистка уже выполняется, при попытке запуска отображается следующее сообщение:

• Пространство на активном уровне не будет освобождено/восстановлено до тех пор, пока при очистке не будет достигнут этап копирования (по умолчанию этап 9 в DDOS 5.4.x и более ранних версиях, этап 11 в DDOS 5.5.x и более поздних версиях). Для получения дополнительной информации по этапам очистки см.: https://support.emc.com/kb/446734
• Объем пространства, обозначенный как «Cleanable GiB», может быть не освобожден, поскольку это значение является приблизительным. Дополнительные сведения об этой функции см. в статье: https://support.emc.com/kb/485637
• Очистка может не освободить все возможное пространство за один цикл — это связано с тем, что в DDR, содержащих очень большие наборы данных, очистка будет работать с частью файловой системы, содержащей самые ненужные данные (например, чтобы освободить максимальный объем пространства за время, необходимое для очистки). В некоторых случаях потребуется запускать очистку несколько раз, пока не будет освобождено все возможное пространство.
• Если значение параметра «Cleanable GiB» было очень большим, это может означать, что очистка не выполнялась регулярно — убедитесь, что очистка запланирована:

После завершения очистки используйте команду «filesys show space» или «df», чтобы определить, устранены ли проблемы с использованием пространства. Если коэффициент использования по-прежнему высокий, выполните оставшиеся шаги, приведенные в этой статье.

Шаг 2. Проверка запаздывания больших объемов репликации относительно исходных контекстов репликации

Встроенная репликация Data Domain разработана на основе концепции «контекстов репликации». Примеры случаев, когда необходимо реплицировать данные между системами:

• Контексты репликации создаются на исходных и целевых DDR.
• Контексты инициализируются.
• После завершения инициализации репликация будет периодически отправлять обновления или разницу из источника в целевую систему для синхронизации данных в системах.

Если контекст репликации источника запаздывает, это может привести к тому, что старые данные будут храниться на диске исходной системы (обратите внимание, что запаздывание контекстов репликации не может привести к чрезмерному использованию целевой системы):

• Контексты репликации каталогов (используются при репликации одного дерева каталогов в /data/col1/backup между системами):

•  Контексты репликации MTree (используются при репликации любого дерева mtree, кроме /data/col1/backup между системами):

• Контексты репликации коллекции (используются при репликации всего содержимого одного DDR в другую систему):

 Чтобы определить, запаздывают ли контексты репликации, необходимо выполнить следующие действия:

• Определите имя хоста текущей системы:

• Определите дату и время в текущей системе:

• Выведите список контекстов репликации, настроенных в системе, а также их значения «synced as of time». Обратите внимание, что нас интересуют контексты, где «destination» НЕ содержит имя хоста текущей системы (указывая на то, что текущая система является исходной), а «synced as of time» — существенно устаревший:

Контексты, для которых текущая система является исходной, и которые показывают значительные задержки или контексты, которые больше не требуются, должны быть прерваны. Это можно сделать, выполнив следующую команду в исходной и целевой системах:
 
Например, чтобы прервать «интересующие» контексты, показанные выше, необходимо выполнить следующую команду в исходной и целевой системах:
 
Обратите внимание на следующее.

• Как только контексты будут прерваны, необходимо выполнить очистку активного уровня, чтобы освободить возможное пространство на активном уровне.
• При использовании репликации дерева mtree после прерывания контекстов снимки репликации mtree могут остаться на диске. Убедитесь в том, что шаг 5 выполняется, чтобы истек срок действия любых ненужных моментальных снимков до запуска очистки.
• Если дерево mtree исходной или целевой системы настроено на миграцию данных на уровни архива или облака, следует проявлять осторожность при прерывании соответствующих контекстов репликации mtree, так как эти контексты не могут быть повторно созданы или инициализированы в будущем. Причина в том, что при инициализации контекста репликации mtree в исходной системе создается моментальный снимок mtree, содержащий сведения обо всех файлах в mtree (независимо от уровня). Затем этот моментальный снимок реплицируется полностью на активный уровень целевой системы. В результате, если активный уровень целевой системы не имеет достаточного свободного пространства для загрузки всех данных mtree из исходной системы, инициализация не может быть завершена. Для получения дополнительной информации по этому вопросу обратитесь к поставщику услуг поддержки
• Если контекст репликации коллекции поврежден, то его невозможно воссоздать/инициализировать без предварительного уничтожения экземпляра DDFS на целевом DDR (и потери всех данных в этой системе). В результате при последующей инициализации может потребоваться значительное время или пропускная способность сети, поскольку все данные из источника должны быть снова физически реплицированы в целевую систему.

Шаг 3. Проверьте наличие mtree, которые больше не требуются

Содержимое DDFS логически разделено на несколько mtree. Для отдельных приложений резервного копирования или клиентов обычным делом является запись в отдельные mtree. Если приложение резервного копирования выведено из эксплуатации, оно больше не сможет записывать и удалять данные из DDR. Это может привести к тому, что в системе будут оставаться старые или ненужные mtree. Данные в этих mtree будут существовать бесконечно долго, занимая пространство на диске DDR. Поэтому все такие ненужные mtree должны быть удалены. Пример.

• Получите список mtree в системе:

• Любые mtree, которые больше не требуются, следует удалить с помощью команды «mtree delete», т.е.:

• Пространство, занимаемое удаленным mtree на диске, будет освобождено при следующем запуске очистки или чистки памяти активного уровня.

Обратите внимание на следующее.

• Для тех Mtree, которые являются целевыми для репликации mtree (т. е. имеют статус RO/RD в выводе списка mtree), необходимо прервать соответствующий контекст репликации до удаления mtree
• Может оказаться, что mtree, которые используются в качестве логических устройств хранения DDBoost (LSU) или в качестве пулов виртуальных ленточных библиотек (VTL), будет невозможно удалить с помощью команды «mtree delete» — дополнительные сведения по их удалению см. в руководстве по администрированию Data Domain.
• Mtree, настроенные для блокировки хранения (т. е. имеющие статус RLCE или RLGE), не могут быть удалены. Вместо этого для отдельных файлов в mtree необходимо снять блокировку хранения и удалять их по отдельности. Подробнее см. в руководстве по администрированию Data Domain

Шаг 4. Проверка наличия старых и ненужных моментальных снимков mtree

. Моментальный снимок Data Domain представляет собой моментальный снимок соответствующего mtree на определенный момент времени. Это означает следующее.

• Моментальный снимок будет иметь ссылки на любые файлы, которые имеются в mtree во время создания моментального снимка.
• Несмотря на то, что снимок файловой системы продолжает существовать, даже если эти файлы удалены, очистка не сможет освободить какое-либо физическое пространство, которое они используют на диске, потому что данные должны оставаться в системе, если впоследствии будет осуществляться доступ к копии файла в моментальном снимке.

Чтобы определить, имеются ли у каких-либо mtree старые/ненужные снимки, необходимо выполнить следующие действия.

• Получите список mtree в системе с помощью команды «mtree list», как показано в шаге 3
• Выведите список моментальных снимков, существующих для каждого mtree, с помощью команды «snapshot list»:

• Там, где существуют моментальные снимки, используйте вывод команды «snapshot list mtree [mtree name]», чтобы определить снимки, которые:

• Если команду отображения списка моментальных снимков запустить повторно, эти снимки будут отображаться как просроченные:

Обратите внимание на следующее.

• Невозможно определить, какой объем физических данных хранит на диске отдельный моментальный снимок или набор моментальных снимков — единственное значение «пространства», связанное со снимком файловой системы показывает размер предварительно сжатого (логического) mtree при создании моментального снимка (как показано в приведенном выше примере).
• Снимки файловой системы с именем «REPL-MTREE-AUTO-YYYY-MM-DD-HH-MM-SS» управляются репликацией mtree, и в обычных условиях не нужно вручную задавать для них истечение срока действия (репликация приведет к автоматическому истечению срока действия этих моментальных снимков, когда они больше не требуются). Если такие моментальные снимки значительно устарели, это означает, что соответствующий контекст репликации, скорее всего, существенно запаздывает (как описано в шаге 2).
• Моментальные снимки файловой системы с именем «REPL-MTREE-RESYNC-RESERVE-YYYY-MM-DD-HH-MM-SS» создаются путем репликации mtree в случае прерывания контекста репликации mtree. Их можно использовать для предотвращения полной повторной синхронизации данных репликации, если прерванный контекст будет вновь создан позже (например, если контекст был прерван по ошибке). Если репликация не будет восстановлена, истечение срока действия этих контекстов можно задать вручную, как описано выше.
• Моментальные снимки с истекшим сроком действия будут существовать в системе до следующего запуска очистки или чистки памяти — на данном этапе они будут физически стерты и удалены из вывода команды «snapshot list mtree [mtree name]». Очистка позволит освободить дисковое пространство, которое занимали эти моментальные снимки.

Шаг 5. Проверьте наличие большого количества старых файлов в системе

Запросы автоподдержки из DDR содержат гистограммы, показывающие разбиение файлов в DDR по возрасту, например:
 
Это может быть полезно для нахождения в системе файлов, срок действия которых не истек и которые не были удалены, как ожидалось, приложением резервного копирования клиента. Например, если в указанную выше систему были внесены записи приложением резервного копирования, в котором максимальный срок хранения одного файла составлял 6 месяцев, очевидно, что приложение резервного копирования не выполняет удаление файлов и не устанавливает для них истечение срока действия, как ожидалось, так как примерно 80 000 файлов на DDR старше 6 месяцев.

Обратите внимание на следующее.

• Приложение резервного копирования должно устанавливать истечение срока действия файлов или удалять их.
• DDR никогда не устанавливает истечение срока действия и не удаляет файлы автоматически, если приложение резервного копирования не дает ему явные указания удалить файл. Файл будет по-прежнему находиться в DDR, бесконечно долго занимая пространство.

Поэтому такие проблемы должны быть сначала исследованы службой поддержки поставщиков приложения резервного копирования.

При необходимости служба поддержки Data Domain может предоставить дополнительные отчеты.

• Предоставить имена и время изменения всех файлов в DDR, упорядоченные по возрасту (чтобы можно было определить имя и местонахождение любых старых данных).
• Разделить гистограммы возраста файлов на отдельные отчеты для активного, архивного и облачного уровней (где включены функции ER/LTR).

Для этого выполните следующие действия.

• Соберите доказательства, как описано в параграфе «Сбор sfs_dump» в разделе примечаний данного документа.
• Откройте сервисную заявку у поставщика услуг поддержки.

После удаления старых или ненужных файлов необходимо запустить очистку или чистку памяти для физического освобождения пространства на активном уровне

Шаг 6. Проверьте наличие резервных копий, которые содержат большое количество небольших файлов

В связи с особенностями DDFS небольшие файлы (по сути, любой файл размером приблизительно менее 10 Мбайт) может занимать слишком много места при первоначальной записи в DDR. Это происходит из-за архитектуры «SISL» (Stream Informed Segment Layout), в которой небольшие файлы занимают на диске множество отдельных блоков по 4,5 Мбайт. Например, при первоначальной записи файл размером 4 Кбайт может занимать до 9 Мбайт физического дискового пространства.

Это избыточное пространство впоследствии высвобождается при выполнении очистки или чистки памяти (поскольку данные из небольших файлов затем объединяются в меньшее количество блоков объемом 4,5 Мбайт), но при этом небольшие модели DDR могут показывать чрезмерный коэффициент использования и заполняться при запуске такого резервного копирования.

Автоподдержка содержит гистограммы файлов, разбитые по размеру, например:
 
Если имеются доказательства, что при резервном копировании записывается очень большое количество небольших файлов, в системе может временно значительно возрастать коэффициент использования в промежутках между каждым вызовом процедуры очистки или чистки памяти. В этом случае рекомендуется изменить методологию резервного копирования, чтобы включить все небольшие файлы в один большой архив (например, файл tar), прежде чем записывать их в DDR. Обратите внимание, что любой такой архив не должен быть сжат или зашифрован (так как это может привести к повреждению коэффициента сжатия или коэффициента дедупликации данных).

Шаг 7. Проверьте, не является ли значение коэффициента дедупликации ниже ожидаемого

Основная цель DDR — дедупликация и сжатие данных устройства. Коэффициент дедупликации или сжатия в значительной степени зависит от сценария использования системы и типа данных, которые она хранит, однако во многих случаях существует «ожидаемый» коэффициент сжатия на основе результатов, полученных в ходе доказательного тестирования или аналогичных операций. Для определения текущего общего коэффициента сжатия системы (и, следовательно, соответствия требованиям) можно использовать команду «filesys show compression». Пример.
 
В приведенном выше примере система достигает общего коэффициента сжатия 65,3x для активного уровня (что очень хорошо). Если, однако, это значение показывает, что общий коэффициент сжатия не соответствует ожиданиям, то, скорее всего, потребуется дальнейшее исследование. Обратите внимание, что выяснение причин того, почему коэффициент сжатия ниже ожидаемого, является непростой работой, так как может иметься множество корневых причин. Подробнее об этом процессе см. в следующей статье: https://support.emc.com/kb/487055

Шаг 8. Проверьте, является ли система источником для репликации коллекции

При использовании репликации коллекции, если размер исходной системы физически превышает размер целевой системы, размер исходной системы будет искусственно ограничен размером целевой системы (т. е. будет присутствовать область диска в исходной системе, которая будет помечена как неиспользуемая). Причина заключается в том, что при использовании репликации коллекции целевое устройство должно быть копией исходного на уровне блоков, однако если исходное устройство физически больше целевого, существует вероятность того, что в него могут быть записаны избыточные данные, которые затем не могут быть реплицированы в целевое устройство (так как оно уже заполнено). Можно избежать этого, ограничив размер исходной системы в соответствии с размером целевой системы.

• С помощью команд из шага 2 проверьте, является ли система источником для репликации коллекции. Для этого запустите команду «replication status» и определите, имеются ли контексты репликации, начинающиеся с «col://» (указывает на репликацию коллекции), которые НЕ содержат имя хоста локальной системы в целевой системе (указывает, что эта система должна быть исходной для контекста репликации).
• Если система является исходной для репликации коллекции, проверьте размер активного уровня каждой системы путем входа в каждую систему и выполнения команды «filesys show space» — сравните размер активных уровней «post-comp» на каждой.
• Если размер исходной системы значительно больше целевой, то размер ее активного уровня будет искусственно ограничен.
• Чтобы обеспечить возможность использования всего пространства в исходной системе для данных, необходимо выполнить следующие действия:

Шаг 9. Проверьте, регулярно ли выполняется перемещение данных

Если DDR настроен на Extended Retention (ER) или Long Term Retention (LTR), то к нему будет подключен второй уровень хранения (уровень архива для ER или уровень облака для LTR). В этом случае политики перемещения данных, скорее всего, настроены для mtree, чтобы переносить старые или неизмененные данные, требующие длительного хранения с активного уровня на альтернативный уровень хранения, чтобы пространство, используемое этими файлами на активном уровне, можно было физически освободить путем очистки или чистки памяти. Если политики перемещения данных настроены неправильно или процесс перемещения данных выполняется нерегулярно, старые данные останутся на активном уровне дольше, чем ожидалось, и будут занимать физическое пространство на диске.

• Сначала проверьте, настроена ли система для ER или LTR, запустив команду «filesys show space» и проверив наличие архивного или облачного уровня. Обратите внимание, что для использования этих альтернативных уровней хранения необходимо указать размер после сжатия > 0 Гбайт:

• Если в системе используется конфигурация ER или LTR, убедитесь, что политики перемещения данных для mtree соответствуют ожидаемым параметрам и заданы таким образом, чтобы старые данные передавались на альтернативный уровень хранения.

• Если в системе используется конфигурация ER или LTR, убедитесь, что запланировано перемещение данных с регулярными интервалами для физической миграции файлов и данных с активного уровня в альтернативное хранилище.

• Если система настроена на использование ER/LTR, проверьте время последнего перемещения данных:

• После завершения перемещения данных необходимо выполнить очистку активного уровня (обратите внимание, что после завершения перемещения данных можно настроить автоматический запуск этой операции), чтобы убедиться в физическом освобождении пространства, используемого переносимыми файлами на активном уровне:

Шаг 10. Добавление дополнительного хранилища на активный уровень

Если все предыдущие шаги выполнены, очистка активного уровня завершается, однако на активном уровне по-прежнему недостаточно места, вероятно, система не была правильно сконфигурирована для рабочей нагрузки, которую она получает. В этом случае необходимо выполнить одно из следующих действий.

• Снизить нагрузку на систему, например:

• Добавить дополнительное хранилище на активный уровень системы и увеличить его размер:

Поддержка Data Domain может генерировать несколько отчетов, в которых отображается следующая информация:

• Список всех файлов на определенном уровне (например, активный, архивный или облачный), упорядоченных по возрасту
• Расчетный размер и коэффициент сжатия по дереву mtree или основному дереву каталогов
• Список всех файлов в определенном дереве mtree, упорядоченных по возрасту
• и т.д.

Для этого необходимо собрать следующую информацию:

• Новый пакет поддержки из DDR — дополнительную информацию см. в статье https://support.emc.com/kb/323283
• Вывод команд «sfs_dump» или «sfs_dump -c»:

• Отчет о местонахождении файла (требуется, если система настроена на использование ER или LTR):

Для получения помощи в сборе указанных выше данных или при выполнении любых действий, описанных в этом архиве, обратитесь к своему поставщику услуг поддержки.