Процеси меліорації космічного простору Avamar - Частина 2: Хрускіт

Що таке «хрускіт» в Avamar?

Збір сміття ідентифікує дані, на які більше не посилаються жодні резервні копії.
Дескриптор заголовка фрагмента змінено, щоб вказати, які фрагменти слід видалити. Смуги даних, які містять ці фрагменти, залишаються незмінними.
Видалення цих шматків відбувається як побічний ефект операції хрускоту.

Crunching — це операція з технічного обслуговування Avamar, яка модифікує смуги, зібрані сміттям, щоб зробити вільний простір у цих смугах суміжним. 
Маніпулюючи смугами, щоб зробити їх вільний простір неперервним, Avamar ефективно повторно використовує простір для вхідних резервних копій.

Подумайте про хрускіт подібно до класичної дефрагментації жорстких дисків. 
Дані необхідно переміщати з одного місця в інше, щоб контейнери даних можна було ефективніше використовувати повторно.

Утиліти дефрагментації диска переміщують пов'язані елементи даних до сусідніх частин обертального жорсткого диска, щоб прискорити час послідовного доступу.
Хрускіт, однак, переміщує дані в нижню частину смуги, щоб звільнити місце для нових вхідних фрагментів.

Аналогія:

Уявіть собі автобус з одними вхідними дверима і без дверей виходу. Люди (шматки) заходять в автобус через передні двері. 
Це спеціальний автобус, з якого люди можуть вирушити лише за технологією Star Trek «beam me up Scotty». 
Автобус рушає повним. 
Після того, як кілька людей дематеріалізувалися, в автобусі з'являється місце для більшої кількості пасажирів.
Ніхто інший не може піднятися, поки натовп не відійде від входу. Тобто «хруснули» до задньої частини автобуса, щоб звільнити місце біля передніх дверей.

Чому хрускіт важливий:

Ми обговорюємо, що відбувається, коли резервні копії даних записуються в Avamar. Це пояснює, чому хрускіт важливий.

Готуючись до прийняття резервних копій даних, Avamar вибирає смугу на кожному вузлі даних, який має найбільший неперервний вільний простір. Смуга позначена як активна. 
Будь-які нові вхідні дані резервної копії додаються в активну страйп. 
Коли смуга стає повною, наступна, найменш повна смуга, позначається як активна.

Уявіть собі систему, в якій стався недостатній хрускіт.
«Хрустка» смуга (зібрана сміттям, але ще не зазнала хрускоту) може бути відносно порожньою. 
Ця відносно порожня смуга не буде вибрана як активна, якщо є інша смуга, яка має більш суміжний вільний простір. 

На діаграмі нижче обидві смуги на діаграмі були зібрані сміттям, але лише смуга даних 2 була оброблена,

Незважаючи на те, що смуга даних 1 порожня, смуга 2 має більше корисного суміжного простору. 
Avamar вибирає смужку 2 як активну. 

У міру збільшення використання сховища Avamar активна смуга вибирається з пулу все більш повних смуг.

Якщо хрускіт прострочений, повторне використання смужок неефективне. 
Для фіксації вхідних даних за середньостатистичний день потрібно більше смуг, навіть якщо цей обсяг даних незмінний. 
Використання більшої кількості смуг для захоплення даних призводить до більших накладних витрат на контрольні точки, ніж якби смуги використовувалися ефективніше повторно.

З цієї причини завжди стежте за тим, щоб Avamar мав можливість регулярно виконувати достатню кількість хрускоту.

Як працює хрускіт? 

Коли система виконує хрускіт на смужці, вона:

• Зчитує дані з файлу страйпу в каталозі cur в пам'ять.
• Визначає, на які фрагменти посилається заголовок фрагмента.
• Перезаписує файл страйпу та заголовок фрагмента на диск. Файл страйпу заповнюється лише елементами, на які посилається заголовок фрагмента.

Модифікація файлу страйпу розриває його жорсткий зв'язок, збільшуючи використання файлової системи. 
Починаючи з версії Avamar 5.0 і новіших, смужки залишаються в повному розмірі після хрускоту. Це допомагає уникнути фрагментації файлової системи з часом.

Коли виникає хрускіт?

Асинхронний хрускіт - Типовий і бажаний спосіб виконання crunching.

Асинхронний хрускіт виконується під час останньої частини «вікна затемнення», після закінчення часу вивезення сміття, і лише за таких обставин;

• Якщо для параметра asynccrunching встановлено значення true.
• Якщо є хрусткі смуги*.
• І якщо ми не досягли своєї мети або денного ліміту*.
• І Якщо система простоює* (резервне копіювання або інше технічне обслуговування не виконується).
• Якщо система доступна для запису, а disknoflush не було досягнуто.

Асинхронний хрускіт є операцією на випередження. 
Він використовує виділений час і ресурси для підготовки смуг перед вікном резервного копіювання. 
Дивіться прикріплену схему затемнення-вікна.jpg яка це ілюструє.

Який обсяг роботи виконує хрускіт?

Попередня підготовка смуг для використання під час вікна затемнення дозволяє Avamar отримувати дані якомога швидше під час графіка резервного копіювання. 
Хрускіт змінює вміст смужки. Велика кількість скручувань спричиняє великі відмінності з даними, які зберігаються в каталозі cur. 
Це призводить до збільшення накладних витрат на контрольні точки та збільшення споживання простору в даних / розділах вузлів даних.

Avamar прогнозує, скільки смуг необхідно підготувати, щоб вмістити кількість очікуваних вхідних даних на наступний день. 
Розрахунки ґрунтуються на ковзному середньому за попередні N днів (де N до 10 або 14, наприклад). 
Цей механізм самоналаштування дозволяє Avamar обробляти достатню кількість смуг для оптимальної роботи резервних копій, не спричиняючи непотрібної кількості накладних витрат на контрольні точки. 

Тепер ми можемо зрозуміти, що якщо швидкість змін системи раптом зросте, Avamar знадобиться кілька днів, щоб поступово прийняти збільшений ліміт хрускоту.

Якщо асинхронний хрускіт не готує достатню кількість смуг, про це піклується синхронний хрускіт.

Синхронний хрускіт:

Якщо асинхронна обробка не може попередньо підготувати достатню кількість страйпів, або, якщо параметр asynccrunching встановлено на false, обробка виконується синхронно з резервними копіями. 
Також відомий як хрускіт на вимогу , цей режим хрускоту виконується, коли це необхідно, і працює на смужці, якщо смуга хрустка і готова стати активною смугою вузла.

Синхронне виконання crunching із резервним копіюванням означає посилення конкуренції за ресурси дискового вводу/виводу. 
У завантажених системах це може призвести до того, що завдання резервного копіювання триватимуть довше. 

Ми можемо налаштувати Avamar так, щоб він виконував лише синхронну обробку в ситуаціях, коли система має високі накладні витрати на контрольні точки. Якщо це зроблено, повідомте клієнта, чому ми вважаємо це за необхідне, і поясніть компроміс.

A короткий опис двох режимів хрускоту:Асинхронний хрускіт:

• Параметром сервера Avamar є asynccrunching=true.
• Вища продуктивність резервного копіювання, якщо ви споживаєте дані за звичайний день.
• Вища контрольно-пропускна точка над головою.
• Режим роботи за замовчуванням.
• Може бути вимкнено, щоб зменшити накладні витрати на контрольну точку під час ситуацій із високою продуктивністю операційної системи.

Синхронний хрускіт:

• Параметром сервера Avamar є asynccrunching=false
• Запускається за потреби
• Нижчі вимоги до накладних витрат на контрольно-пропускних пунктах
• Потенційно довший час резервного копіювання
• Не стандартний режим роботи

Що може перешкоджати асинхронному хрускоту?

 Параметр конфігурації asynccrunching має значення false.

• Триває резервне копіювання
• Денний ліміт досягнуто
• Сервер доступний лише для читання
• Рівень виконання сервера нижчий, ніж "admin"
• Триває перетворення страйпів
• Досягнуто ліміту дискнопромивки
• На сервері Avamar, де він застосовується, запущено екземпляр hfscheck (іноді його називають CGSAN)
• Запускається перевірка HFScheck