Avamar. Концепции и обучение по управлению емкостью

Сведения о проблемах управления емкостью, связанных с устройствами Data Domain, см. в разделе «Освобождение пространства в заполненной системе Data Domain» руководства по интеграции Avamar и системы Data Domain. Актуальные руководства для вашей операционной среды можно найти в статье Как найти документацию по Avamar на сайте поддержки Dell.

Цели этой статьи:
 

• Подвести итоги по типам данных, которые хранятся в разделах /data*.
• Внедрить концепцию «емкость операционной системы» и сравнить ее с концепцией «емкость пользователя» (иногда называемая «емкость GSAN»).
• Объяснить, почему Avamar не следует запускать на пределе емкости пользователя.
• Перечислить факторы, влияющие на издержки контрольной точки.
• Описать отслеживание использования разделов данных.
• Описать признаки, возникающие, если емкость операционной системы выходит из-под контроля.
• Перечислить типичные причины появления сообщения MSG_ERR_DISKFULL .
• Описать методы восстановления, используемые в тех случаях, когда высокая емкость операционной системы влияет на нормальную работу системы.
• Описать признаки, которые возникают, если емкость пользователя превышает предел емкости пользователя.
• Обсудить, как восстановить работу в случае высокой емкости пользователя.

Эта статья предполагает, что читатель знаком с разделом «Управление емкостью» в Руководстве по передовым практикам эксплуатации Avamar.

Актуальные руководства для вашей операционной среды можно найти в статье Как найти документацию по Avamar на сайте поддержки Dell.

Распространенные проблемы, которые влияют или являются признаками слишком высокой «емкости операционной системы»:

• Сбой проверки контрольной точки (hfscheck).
• Сбой выполнения чистки памяти и создание отчетов с сообщением MSG_ERR_DISKFULL.
• Сбои при создании контрольной точки.

Наиболее распространенные признаки, связанные со слишком высокой «емкостью пользователя»:

• Резервное копирование завершается сбоем.
• Входящие задания репликации завершаются сбоем.
• Интерфейс администратора отображает систему в режиме «администратора» во время резервного копирования

См. раздел «Решение».

Как хранятся данные в сети Grid Avamar?

Управление емкостью Avamar относится к данным, расположенным в разделах /data* всех узлов данных Avamar. Они включают:

• дедуплицированные данные резервного копирования;
• данные четности RAIN;
• данные об издержках контрольных точек.

Данные четности RAIN и контрольных точек являются уровнями резервирования, доступными для Avamar в дополнение к RAID и репликации.

Для правильной работы таких задач обслуживания, как чистка памяти и асинхронное сжатие полос, также требуется свободное пространство в разделах данных.

Ниже приведено графическое представление физического пространства хранения, доступного в разделах данных на узлах хранения Avamar.

 

Как хранятся данные в разделах данных?

На приведенной выше схеме приведено простое представление использования пространства в разделах данных.

Значение 100% слева определяется как общий объем физического пространства, доступного операционной системе в разделах данных.

Если какой-либо из разделов данных занимает более 85% общего пространства, чистка памяти не может быть выполнена.

Маркер 100% емкости пользователя (ограничение только для чтения) показывает, что для хранения дедуплицированных данных доступно до 65% общего пространства в разделе данных. Пространство ниже этого маркера 100% емкости пользователя эквивалентно значению коэффициента использования сервера, которое отображается в интерфейсе администратора. Если объем дедуплицированных данных, которые хранятся в любом разделе данных на любом узле, достигает 65%, система Avamar становится доступна только для чтения и прекращает дальнейший прием данных резервного копирования.

Теперь понятно, что в пользовательском интерфейсе Avamar Administrator пользователь видит пространство, которое занимают резервные копии, но не видит пространства, занимаемого разделами данных операционной системы.

 

Почему систему Avamar не следует запускать на пределе «емкости пользователя»?

Связь между большой «емкостью пользователя» и издержками контрольной точки такова, что, по мере того как система становится все более полной, даже небольшое увеличение объема данных резервного копирования может привести к большому увеличению издержек контрольной точки.

Полное обсуждение причин, по которым это происходит, выходит за рамки данной статьи, однако важно помнить следующее. Чем ближе система Avamar к 100% емкости пользователя, тем меньше емкости операционной системы доступно для издержек контрольных точек.

В полной системе, как видно на схеме выше, издержки контрольной точки ограничены 20% от общего пространства операционной системы в разделах данных.

Для надежной работы системы Avamar на высоких уровнях «емкости пользователя» она должна соответствовать следующим критериям.

• Система должна иметь низкую скорость изменения данных за день (не более 1%).
• Емкость должна находиться в стабильном состоянии (как описано в разделе «Управление емкостью» руководства по передовым практикам эксплуатации Avamar). Актуальные руководства для вашей операционной среды можно найти здесь: Как найти документацию по Avamar на сайте поддержки Dell.
• Задачи обслуживания должны выполняться ежедневно.

Если какое-либо из этих утверждений не выполняется, можно ожидать постепенного увеличения или внезапного скачка издержек контрольной точки, что приведет к серьезным проблемам в работе.

 

Факторы, влияющие на издержки контрольной точки

Следующие факторы могут привести к увеличению издержек контрольной точки.

• Асинхронное сжатие полос (включено по умолчанию)
• Количество контрольных точек, сохраненных в системе
• Проверка контрольных точек не выполняется ежедневно.
• Насколько пусты полосы при повторном использовании сервером Avamar Server (становится более серьезной проблемой при высоких уровнях использования сервера)
• Скорость изменения ежедневного резервного копирования<

Системный администратор имеет определенную степень контроля над этими факторами. Конфигурация асинхронного сжатия предназначена только для поддержки, но администраторы могут удалять лишние контрольные точки, исследовать сбои контрольных точек и влиять на коэффициент использования сервера и скорость ежедневного изменения данных.

 

Отслеживание использования разделов данных

Верный способ отслеживания использования раздела данных операционной системы — использование следующей команды Avamar из Avamar Utility Node.

Пример.

admin@utilitynode:~/>: avmaint nodelist | grep fs-percent
        fs-percent-full="7.8"
        fs-percent-full="6.3"
        fs-percent-full="6.4"
        fs-percent-full="6.4"
        fs-percent-full="7.6"
        fs-percent-full="6.2"
        fs-percent-full="6.1"
        fs-percent-full="6.6"
        fs-percent-full="7.8"
        fs-percent-full="6.4"
        fs-percent-full="6.5"
        fs-percent-full="6.8"

Этот результат дает истинное представление о коэффициенте использования емкости операционной системы. В сети Grid, где узлы данных используют пул файлов, команда Linux df не имеет смысла, так как полосы предварительно выделены в пуле файлов, и многие из них могут не использоваться.

 

Что произойдет, если использование емкости операционной системы выйдет из-под контроля?

С точки зрения пользователя первый признак того, что использование раздела данных вышло из-под контроля, появляется, когда его коэффициент превышает 85%.

Чистка памяти больше не выполняется и завершается сообщением об ошибке MSG_ERR_DISKFULL .

Здесь часто возникают недопонимания. Часто пользователь думает, что сообщение MSG_ERR_DISKFULL означает, что в системе больше нет пространства для резервного копирования.

Эта интерпретация неверна, однако пользователь обычно проверяет значение коэффициента использования сервера в графическом интерфейсе Avamar Administrator и видит приемлемое значение, например 60%.

Пользователь может попытаться удалить резервные копии из графического интерфейса управления резервным копированием Avamar. Даже если уровень емкости пользователя высокий, удаление резервных копий не решит проблему, так как чистка памяти не выполняется и не удаляет из системы фрагменты данных с истекшим сроком хранения.

Если в системе возникают проблемы с высокой емкостью операционной системы и пользователя, сначала необходимо устранить проблему с высокой емкостью операционной системы.

При высоком коэффициенте использования емкости операционной системы системе может не хватить пространства для создания контрольных точек.

 

Почему появляется сообщение MSG_ERR_DISKFULL?

Наиболее типичной причиной является слишком высокие издержки контрольной точки. Типичные причины высоких издержек контрольных точек могут быть следующими.

• Сбой проверки контрольной точки (hfscheck) постоянно повторяется.
• Сбой hfscheck имеет множество корневых причин (внезапная отмена, сбой программного обеспечения и т. д.).
• В системе недостаточно места, и она имеет высокую скорость ежедневного изменения данных.
• Системе требуется больше узлов данных для обработки скорости изменения данных и хранения данных.
• Система настроена на резервное копирование большего количества данных или клиентов, чем предусмотрено.
• Хранится слишком много контрольных точек (по умолчанию Avamar хранит две контрольные точки, одна из которых проверена).
• Системный администратор создал лишние контрольные точки.
• Обслуживание было проведено недавно, но хранение контрольных точек по умолчанию не было восстановлено.

См. следующую статью для разрешения сценария MSR_ERR_DISKFULL. Задачи обслуживания Avamar завершаются ошибкой «MSG_ERR_DISKFULL» из-за того, что емкость операционной системы раздела «Data» >89%.

 

Действия по исследованию и уменьшению емкости операционной системы.

1. Определите, когда завершилась последняя проверка hfscheck. Для этого используйте либо интерфейс Avamar Administrator, либо командную строку в Avamar Utility Node.

• В интерфейсе Avamar Administrator перейдите на вкладку «Server > Checkpoint Management».
• Проверьте последние дату и время, указанные в столбце Checkpoint Validation. Это должно произойти в течение последних 24 часов.

• С помощью командной строки Avamar Utility Node выполните команду cplist.

admin@utilitynode:~/>: cplist

cp.20110114111419 Fri Jan 14 11:14:19 2011   valid rol ---  nodes   3/3 stripes   1131
cp.20110114194457 Fri Jan 14 19:44:57 2011   valid --- ---  nodes   3/3 stripes   1131

 

2. Проверьте, выполнена проверка HFScheck или нет.

Last hfscheck: finished Sat Jan 15, 11:07:17 2011 after 06m 41s >> checked 528 of 528 stripes (OK)

admin@utilitynode:~/>: dpnctl status maint

Identity added: /home/admin/.ssh/dpnid (/home/admin/.ssh/admin_key)
dpnctl: INFO: Maintenance windows scheduler status: enabled.

• Если планировщик окон обслуживания неактивен, отключен или приостановлен, включите его с помощью команды dpnctl start maint.
• При необходимости создайте новую контрольную точку и запустите hfscheck или дождитесь завершения следующего запланированного окна технического обслуживания.

После успешного выполнения проверки hfscheck (после устранения проблем или перезапуска планировщика обслуживания) самая старая контрольная точка будет удалена, а емкость операционной системы должна значительно снизиться.

• Если емкость операционной системы по-прежнему слишком велика, а чистка памяти завершается сбоем с сообщением MSG_ERR_DISKFULL, может потребоваться помощь службы технической поддержки Dell.
• В противном случае, если емкость операционной системы достаточно низкая для выполнения чистки памяти, то необходимо снизить «емкость пользователя» и уменьшить значение коэффициента «использования сервера».

 

 

Действия по уменьшению высокой емкости пользователя

В отличие от емкости операционной системы, уровни емкости пользователя напрямую зависят от системного администратора Avamar.

1. Обеспечьте ежедневную чистку памяти и убедитесь, что она не прерывается резервным копированием.

Это самый важный момент, так как даже система достаточного размера может быстро получить высокую емкость пользователя, если чистка памяти не выполняется регулярно и надежно.

Как показано выше, убедитесь, что окно обслуживания включено, и используйте сценарии capacity.sh и sched.sh, чтобы проверить, что чистка памяти выполняется и данные удаляются.

До версии Avamar 7.x резервное копирование не могло выполняться во время окна «ограничения» чистки памяти.

Функция Hash Referenced Bit Maps, представленная в Avamar 7.x, позволяет выполнять резервное копирование во время чистки памяти. Для выполнения этой функции необходимо, чтобы у «карт» было не менее 5 минут «спокойного» времени в день, в течение которого не выполняется резервное копирование, чтобы их можно было сбросить.

Содержимое об этой функции можно получить, перейдя по ссылке к статье Avamar. Начиная с Avamar v7, чистка памяти сообщает о «skipped-hashes», которые невозможно очистить из-за «Hash Referenced Bit Maps», когда данные используются.

2. Остановите добавление новых клиентов в сеть Grid.
 

Когда сеть Grid Avamar приближается к высокому значению емкости, следует немедленно прекратить добавление новых клиентов, чтобы предотвратить ухудшение ситуации.

Если есть еще одна сеть Grid Avamar, которая работает на более низком уровне использования сервера, рассмотрите возможность добавления новых клиентов в эту сеть Grid вместо сервера, который заполняется.


3. Узнайте, какие клиенты занимают больше всего пространства в хранилище.

Чтобы решить проблему емкости, необходимо определить, какие клиенты несут ответственность за добавление большего количества данных в систему Avamar.

Сценарий capacity.sh (выполняемый в командной строке Avamar Utility Node) также можно использовать для определения клиентов с наибольшей скоростью изменения.

Зарегистрированные пользователи Dell могут получить доступ к содержимому статьи, перейдя по ссылке Avamar. Управление емкостью с помощью сценария capacity.sh для получения дополнительных сведений об использовании сценария capacity.sh.

Часто оказывается, что самые ресурсоемкие клиенты — это те, которые выполняют резервное копирование баз данных SQL или серверов электронной почты, поэтому на них следует обратить особое внимание.

После определения клиентов с высокой скоростью изменения произведите повторную оценку политик хранения, чтобы определить, можно ли снизить требования к хранилищу до приемлемого уровня.

Если доступна другая система Avamar, рассмотрите возможность переноса крупных клиентов или клиентов с высокой скоростью изменения с более используемых на менее используемые системы с помощью интерфейса Avamar Client Manager.

Если уровень емкости пользователя очень высокий (>90%), может потребоваться завершение срока действия старых резервных копий через интерфейс управления резервным копированием или с помощью инструмента modify-snapups. 

Пользователи Dell могут получить доступ к содержимому статьи, перейдя по ссылке Управление емкостью Avamar. Удаление резервных копий с помощью инструмента «modify-snapups».

Удаление резервных копий не приведет к немедленному снижению уровня использования сервера. Но оно позволит чистке памяти начать удаление данных при следующем выполнении чистки памяти. Удаление старых резервных копий — это временное решение проблемы. Резервные копии будут заменены в ближайшие дни. При удалении резервных копий необходимо также настроить политики хранения.

После удаления резервных копий и изменения политик хранения внимательно следите за изменением объема данных в системе с помощью сценария capacity.sh. Вы увидите, что значение «removed» увеличилось, а значение «Net Change» должно стать отрицательным. В конечном итоге по мере удаления избыточных данных из системы значение «Removed» возвращается к нормальному уровню. Продолжайте отслеживать значение «Removed».

Если значение «net change» не становится отрицательным, проверьте журнал чистки памяти, чтобы узнать, как долго выполняется чистка памяти, и сколько работы она выполняет в течение окна обслуживания.

Пользователи Dell могут получить доступ к содержимому статьи, перейдя по ссылке Avamar. Управление емкостью с помощью сценария capacity.sh для получения дополнительных сведений об использовании сценария capacity.sh.

Часто высокий коэффициент использования системы Avamar обусловлен естественным и ожидаемым ростом объемов данных. Для продолжения резервного копирования рабочей системы необходимо освободить дополнительное пространство.

Способ выполнения этой операции зависит от типа системы Avamar.

• Cистемы с одним узлом и системы Avamar Virtual Edition (AVE)

Их невозможно расширить. Закажите вторую, более объемную систему Avamar и отправьте запрос в Dell Professional Services для выполнения переноса с меньшей системы на более крупную. Со службой Professional Services можно связаться через менеджера по работе с заказчиками Dell.
Новая система может быть с одним узлом, AVE или с несколькими узлами, если она обеспечивает больше пространства для хранения, чем исходная.

• Системы с несколькими узлами

Эти системы могут быть расширены до 16 узлов данных. Для получения дополнительной информации обратитесь к менеджеру по работе с заказчиками Dell. Обычные каналы поддержки не выполняют добавление узлов, поэтому для запроса этой работы не нужно открывать сервисную заявку.

• Интеграция Data Domain

Интеграция системы Data Domain в качестве внутреннего устройства хранения данных — полезный способ расширения емкости, доступной для клиентов, выполняющих резервное копирование в Avamar. Обсудите варианты с менеджером по работе с заказчиками Dell.

Полезные инструменты

• status.dpn
• capacity.sh
• Avalanche
• DPN Summary Report
• replcnt.sh
• Avamar Client Manager

Передовые практики.

• Постарайтесь предотвратить увеличение значения коэффициента использования сервера Avamar (емкости пользователя) выше 80%.
• Низкая емкость пользователя обеспечивает отказоустойчивость при неожиданных изменениях объема добавляемых данных и может защитить систему от выхода из строя в случае непредвиденных сбоев или кратковременных проблем с задачами обслуживания.
• Система Avamar, в которой емкость пользователя превышает 80%, требует более тщательного наблюдения со стороны системного администратора, чтобы обеспечить выполнение задач обслуживания и не допустить, чтобы система стала доступна только для чтения.