Процессы освобождения пространства Avamar — Часть 2. Хруст

Что такое «crunching» в Avamar?

Чистка памяти определяет данные, на которые больше не ссылались никакие резервные копии.
Дескриптор заголовок фрагмента изменен, чтобы указать, какие фрагменты следует удалить. Полосы данных, которые содержат эти фрагменты, не изменились.
Удаление этих фрагментов происходит побоку от операции crunching.

Crunching — это операция обслуживания Avamar, которая изменяет полосы, собранные «мусором», чтобы освободить место в этих непрерывных страйпах. 
Благодаря обработке страйпов, чтобы сделать свободное пространство непрерывным, Avamar эффективно повторно использует пространство для входящих данных резервного копирования.

Подумайте о том, как можно перейти к классической дефрагментации жестких дисков. 
Данные необходимо перемещать из одного места в другое, чтобы контейнеры данных можно было более эффективно использовать повторно.

Утилиты дефрагментации диска перемещают связанные элементы данных в смежные части вращающихся жестких дисков, чтобы быстрее получать последовательный доступ.
Однако при анализе данные перемещаются в нижнюю часть страйпа, чтобы пространство для новых входящих фрагментов было выделено.

Аналогии:

Представьте себе шину с одной передней входной дверцей и без выходной дверцы. Люди (фрагменты) входить в шину с помощью передней дверцы. 
Это специальная шина, в которой люди могут только поверяться с помощью технологии Star Диски «beam me up Scotty». 
Шина начинается с полной загрузки. 
После дематизации нескольких людей на шине есть место для дополнительных поездов.
Никто не сможет вместить систему, пока не вытесную из входа в стойку. Это означает, что «crunched» по направлению к задней части шины, чтобы свободного места рядом с передней дверцей.

Важность crunching:

Мы обсудим, что происходит при записи данных резервного копирования в Avamar. Это объясняет важность crunching.

При подготовке к приему данных резервного копирования Avamar выбирает страйп на каждом узле данных, который имеет самое непрерывное свободное пространство. Страйп помечен как активный страйп. 
Все новые входящие данные резервного копирования добавляются в активный страйп. 
При заполнении страйпа следующая(наименее полная) полоса помечается как активная полоса.

Представьте систему, в которой недостаточно crunching.
Страйп с возможностью «crunchable» (сборка мусора, но пока не завершена) может быть относительно пуст. 
Этот относительно пустой страйп не будет выбран в качестве активного страйпа, если имеется другой страйп с большей непрерывной свободной емкостью. 

На схеме ниже оба полосы на схеме были собраны, но только страйп данных 2 был разбит,

Несмотря на то что страйп данных 1 является более информативным, страйп 2 имеет более полезное непрерывное пространство. 
Avamar выбирает страйп 2 в качестве активного страйпа. 

По мере увеличения коэффициента использования ресурсов хранилища Avamar активный страйп выбираются из пула с все более полными полосами.

Если время доработки будет превышено, повторное использование страйпов неэффективно. 
Для сбора входящих данных в среднем требуется больше страйпов, даже если этот объем данных остается неизменным. 
Использование большего объема полос для сбора данных приводит к более высоким издержкам на контрольную точку, чем при более эффективном повторном использовании полос.

По этой причине всегда следите за тем, чтобы У Avamar была возможность регулярно выполнять достаточное количество анализов.

Как работает процесс устранения неполадок? 

Когда система выполняет crunching на страйпах, происходит:

• Считывает данные из файла страйпа в каталоге курсора в память.
• Определяет, на какие фрагменты ссылаются заголовок фрагмента.
• Перезаписывает файл страйпа и заголовок фрагмента на диск. Файл страйпа заполняется только элементами, на которые ссылается заголовок фрагмента.

Изменение файла страйпа нарушает его жесткий канал, увеличивая коэффициент использования файловой системы. 
В Avamar версии 5.0 и более поздних версий страйпты остаются на полной емкости после завершения работы. Это помогает избежать фрагментации файловой системы с течением времени.

Когда происходит crunching?

Асинхронное извлечение компонентов — По умолчанию и предпочтительный метод выполнения crunching.

Асинхронное извлечение выполняется во время последней части окна «Blackout Window», после тайм-аута сбора «мусора» и только при следующих обстоятельствах.

• Если для параметра асинхронной синхронизации установлено значение true.
• При наличии съемных полос*.
• И если мы не достигли своей цели или ежедневного лимита*.
• И если система находится в режиме простоя* (резервное копирование и другое техническое обслуживание не выполняется)
• Если система доступна для записи, и disknoflush не был достигнут.

Асинхронная обработка выполняется без прерывание работы. 
Он использует выделенное время и ресурсы для подготовки страйпов перед окном резервного копирования. 
См. прикрепленную схему blackout-window.jpg, на которой показано это.

Какой объем работы выполняется при выполнении процессов?

Предварительная подготовка страйпов к использованию во время отключения позволяет Avamar как можно быстрее в процессе резервного копирования в процессе резервного копирования. 
Извлечение страйпа изменяет содержимое страйпа. Множество извлечений приводит к большим различиям с данными, хранящимися в каталоге «cur». 
Это приводит к увеличению накладных расходов на контрольную точку и более высокому потреблению пространства в данных / разделах узла данных.

Avamar прогнозирует, сколько полос необходимо подготовить, чтобы соответствовать объему ожидаемых входящих данных на следующий день. 
Расчеты основаны на движении средних значений предыдущих дней N (например, где N — до 10 или 14). 
Этот механизм самонастройки позволяет Avamar работать с достаточным количеством полос для оптимальной работы резервных копий без ненужного количества накладных расходов на контрольную точку. 

Теперь мы можем понять, что если скорость изменения системы внезапно увеличивается, Avamar постепенно внедряет более жесткий предел.

Если при асинхронном crunching не подготавливается достаточное количество страйпов, это делается путем синхронного crunching.

Синхронная синхронизация:

Если при асинхронном crunching не удается предварительно подготовить достаточное количества страйпов или если для параметра асинхронной обработки задано значение false, crunching выполняется синхронно с резервными копиями. 
Этот режим crunching работает при необходимости и работает на страйпах, если страйп может быть разжат и готов к тому, чтобы стать активным страйптом узла.

Возможность синхронной работы с резервными копиями повышает конкуренцию между дисками и ресурсами ввода-вывода. 
В занятых системах это может привести к тому, что выполнение заданий резервного копирования займет больше времени. 

Мы можем настроить Avamar на выполнение только синхронного crunching в ситуациях, когда в системе наблюдается высокая накладная на контрольную точку. Если это сделано, сообщите заказчику, почему мы считаем это необходимым, и расскажите о компромиссе.

A Краткое описание двух режимов crunching:

асинхронное извлечение компонентов:

• Параметр сервера Avamar: asynccrunching=true.
• Более высокая производительность резервного копирования при обычной обработке данных в день.
• Более высокие издержки на контрольную точку.
• Режим работы по умолчанию.
• Может быть отключен, чтобы снизить издержки на контрольную точку в ситуациях с высокой емкостью операционной системы.

Синхронная синхронизация:

• Параметр сервера Avamar: asynccrunching=false
• Запускается по мере необходимости
• Снижение требований к накладным расходам на контрольную точку
• Потенциально более продолжительное резервное копирование
• Не является режимом работы по умолчанию

Что может препятствовать выполнению асинхронного crunching?

 Параметр асинхронной конфигурации является ложным.

• Выполняется резервное копирование
• Достигнут ежедневный предел
• Сервер доступен только для чтения
• Уровень выполнения сервера ниже, чем «admin»
• Выполняется преобразование страйпа
• Достигнут предел disknoflush
• На сервере Avamar, где он применяется, запущен экземпляр hfscheck (иногда называемый CGSAN)
• Начинается HFScheck