Авамар: Усунення несправностей із повільною роботою резервного копіювання

  
Типові симптоми повільної роботи резервного копіювання:

• Резервне копіювання не вдається завершити протягом запланованого вікна. Монітор активності повідомляє "Тайм-аут клієнта - кінець"
• Резервне копіювання не має шансу запуститися до закінчення запланованого вікна. Монітор активності повідомляє "Тайм-аут клієнта - старт"
• Збір сміття регулярно виходить з ладу з MSG_ERR_BACKUPSINPROGRESS або MSG_ERR_TRYAGAINLATER 

Збирайте інформацію:
Зберіть детальну інформацію про проблему: 

• Інформація, необхідна службі підтримки під час розслідування проблем із продуктивністю резервного копіювання клієнта Avamar.

Визначте, яка частина резервного ланцюга має найсерйозніше вузьке місце:
На наступній схемі показані основні компоненти в системі резервного копіювання.  


Вузькі місця ЗАВЖДИ існують, але ми повинні працювати над тим, щоб зрозуміти, де вони знаходяться.
Якщо ми зможемо це зробити і пом'якшити вузьке місце, продуктивність повинна покращитися. 
Як тільки вузьке місце буде усунуто, може стати очевидним інше вузьке місце. Наша кінцева мета – досягти ситуації, коли тривалість резервного копіювання є прийнятною. 


Вузькі місця на стороні сервера Avamar:
Якщо ВСІ резервні копії на сервер Avamar виконуються повільно, розгляньте можливість проблеми на стороні сервера.  
Якщо ВСІ резервні копії на сервер Avamar виконуються повільно протягом певного часу доби, подумайте про суперечки на стороні сервера або вузьке місце в мережі.
Якщо є проблема з продуктивністю одного або кількох клієнтів резервного копіювання, зосередьтеся на кожному клієнті окремо.


Здоров'я сервера:
Справний сервер Avamar навряд чи стане вузьким місцем для резервного копіювання. 

Перевірте працездатність сервера резервного копіювання.  

• Авамар: Як запустити скрипт перевірки працездатності proactive_check.pl на сервері Avamar
• Якщо резервні копії надсилаються до Data Domain, перевірте інформацію про DD Autosupport або скористайтеся підтримкою Data Domain, щоб переконатися, що вона справна

Avamar обмежує підключення клієнтів для збереження прийнятного рівня продуктивності.


Суперечка щодо сервера:

Якщо є час доби, коли продуктивність резервного копіювання низька, це може свідчити про суперечки.

• Скрипт sched.sh може дати візуальне уявлення про дії, які виконувалися паралельно з повільним резервним копіюванням.
• Дивіться Avamar: Як використовувати скрипт sched.sh для перевірки історичної активності резервного копіювання, реплікації та обслуговування на сервері Avamar.
• Перевірте наявність незавершених завдань з обслуговування, запустивши status.dpn
• Перевірте, скільки сеансів клієнта активні

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Організуйте графіки технічного обслуговування та резервного копіювання так, щоб вони не перетиналися.
• Перегляньте вивід команд status.dpn та top, щоб перевірити навантаження на вузли даних
• Запустіть mapall 'iostat -x'  на вузлах даних. Перевірте %iowait та %idle та %util , щоб побачити, чи насичена пропускна здатність вводу/виводу будь-якого диска.
• Щоб ізолювати продуктивність конкретного клієнта, перевірте резервну копію, коли сервер Avamar не виконує завдання з обслуговування або інших резервних копій або реплікації.

Продуктивність резервного копіювання домену даних:
Увійдіть на портал підтримки Dell і перевірте:

• Домен даних: DDPCONNCHK Як усунути неполадки підключення та продуктивність Data Domain DDBoost

Вузькі місця на стороні мережі:
Мережа може бути вузьким місцем, якщо клієнт створює резервні копії через глобальну мережу.

Затримка мережі:
Це впливає на швидкість, з якою клієнти можуть перевірити, чи присутні хеші на сервері Avamar.  

• Запустіть ping від клієнта до сервера Avamar і перевірте втрату пакетів і затримку мережі

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Якщо клієнт і сервер розділені глобальною мережею, чи може канал зв'язку передавати необхідні дані в межах вікна резервного копіювання?
При цьому дані, які потрібно передати, становлять 4,316 Гб.

Всі ці цінності взаємопов'язані:

• Обсяг нових резервних копій даних
• Час, доступний для резервного копіювання
• Ефективна пропускна здатність мережі

Більші обсяги нових даних вимагають більшої пропускної здатності мережі або довшого часу резервного копіювання.
Ці фактори мають практичні межі, але можуть бути певною мірою контрольовані користувачем.
Подумайте, чи можна маніпулювати будь-яким із них, щоб забезпечити своєчасне резервне копіювання.


Якщо є підозра на вузьке місце в мережі або проблему зі зв'язком із сервером:
Підтвердьте пропускну здатність мережі між клієнтом і резервним пристроєм. 

• Avamar - Як запустити iperf між двома системами Avamar для перевірки продуктивності мережі

Увімкніть ведення журналу avtar comstats для полегшення усунення несправностей.

• Авамар: Як увімкнути та інтерпретувати журналювання avtar COMSTATS для діагностики проблем зі зв'язком

Вузькі місця на стороні клієнта:

• Avamar Backup зазнав невдачі з "Time Out - End", оскільки він все ще виконує початкове резервне копіювання

Переконайтеся, що резервна копія не була передчасно скасована:
Знайдіть у журналі резервних копій "скасовано". Нижче наведено приклад, коли нетерплячий користувач скасував резервну копію L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

У таких випадках, коли резервна копія завершується витончено, дані зберігаються як «ЧАСТКОВА» резервна копія.

• Авамар: Функція часткового резервного копіювання та практичні поради щодо початкового резервного копіювання

Хоча часткові журнали резервного копіювання вказують на продуктивність резервного копіювання, належний аналіз вимагає ведення журналу з завершеного резервного копіювання.


Перевірте журнал на наявність проблем із розміром кешу файлів або хеш-кешу:

• Дивіться Avamar - Як перевірити журнал клієнта Avamar на наявність проблем із розміром кешу файлів або хеш-кешу

Перевірте, чи передаються прапорці троттлінгу в avtar:
Троттлінг процесора або мережі Avtar значно знижує продуктивність резервного копіювання. 
Дивись Avamar : Як зменшити споживання клієнтом Avamar системних ресурсів (ЦП, мережа, ввід/вивід та пам'ять).

Це можна виявити в журналі резервного копіювання.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Чи є вузьке місце клієнтського процесора або пам'яті Avamar?
Резервна копія Avamar працює настільки швидко, наскільки дозволяє обладнання, і конкурує з іншими сервісами за ресурси. Пам'ятайте про «основну роботу» клієнта і про те, коли він зайнятий. 

Контролюйте клієнт за допомогою диспетчера завдань або провідника процесів (у Windows) або команди «зверху» (UNIX або Linux). Вони можуть виявити, щонасичення процесора відбувається під час резервного копіювання. 

Dell має внутрішній інструмент «LogAnalyzer», який відображає споживання ресурсів і продуктивність у динаміці. Щоб скористатися цим, зверніться до служби підтримки.

Файли кешу завантажуються в пам'ять під час резервного копіювання. Перевірте використання пам'яті клієнтом, щоб стежити за помилками сторінки або підказками про те, що клієнту не вистачає оперативної пам'яті.

Це не така вже й інша проблема, коли клієнти Avamar v7.x для Data Domain використовують «кеш пейджингового зв'язку» (f_cache2.dat).
Кеш пейджингового зв'язку зменшує обсяг пам'яті на клієнті в порівнянні з традиційним «монолітним» avtar кешем.


Перевірте наявність вузького місця вводу/виводу на стороні клієнта:
Після визначення розміру кешу клієнта наступним фактором, що визначає продуктивність резервного копіювання, є система зберігання, яка розміщує дані резервної копії та передає їх на avtar.


Переконайтеся, що цільове сховище справне:
Переконайтеся, що немає проблем із цільовим запам'ятовувальним пристроєм, що перешкоджає оптимальній продуктивності. 
 

Переконайтеся, що стороннє програмне забезпечення не конкурує з avtar за введення-виведення:
Чи конкурують якісь програми на клієнті з клієнтом Avamar за вводу/виводу для зберігання даних?
Антивірусне програмне забезпечення для сканування в реальному часі або під час доступу різко впливає на продуктивність клієнта Avamar.  

• На продуктивність резервного копіювання клієнта Avamar сильно впливає антивірусне програмне забезпечення, яке сканує файли в реальному часі

• Використання паралелізму гучності для підвищення продуктивності резервного копіювання Avamar

Переконайтеся, що клієнт не створює резервні копії даних за допомогою CIFS або NFS:
Резервне копіювання даних CIFS або NFS підтримується лише через прискорювач NDMP. 

• Avamar і можливість підтримки спільних мережевих ресурсів CIFS (SMB) і NFS. 

Перевірте, чи використовується стиснення або шифрування сховища:
Продуктивність резервного копіювання може бути нижчою, ніж очікувалося, якщо цільові дані зберігаються в цільовому сховищі, де дані стискаються або шифруються на рівні файлової системи.  


Аналіз вузьких місць ресурсів клієнта Windows за допомогою Perfmon:
Наступна стаття допомагає створювати графіки продуктивності, щоб зрозуміти, чи чекає клієнт на якомусь конкретному ресурсі в певний момент часу. Розгляньте можливість використання з графіками, створеними за допомогою інструменту LogAnalyzer.

• Avamar - Використання Microsoft Windows perfmon для моніторингу продуктивності клієнтів Avamar 

Резервне копіювання PST-файлів
архіву OutlookРезервна копія з великою кількістю або великими PST-файлами може працювати повільно. 

• Міркування щодо продуктивності під час використання Avamar для резервного копіювання PST-файлів архіву Outlook

Порівняльний аналіз продуктивності
сховищаПеревірте продуктивність пристрою зберігання даних, на якому розміщено цільові дані.

• Тестування продуктивності диска для клієнтів Avamar Linux 

Низька продуктивність резервного копіювання через резервне копіювання даних:
Найпоширеніша причина повільного резервного копіювання пов'язана з характеристиками даних, які резервуються.


Перевірте, чи багато нових або змінених даних:

• Avamar - резервне копіювання працює повільно або не виходить з режимом "Тайм-аут - кінець" через велику кількість нових або змінених даних  

Кілька великих нових або змінених файлів можуть призвести до того, що швидке резервне копіювання переповнить вікно резервної копії. Щоб ідентифікувати ці файли, дивіться:

• Авамар: Як використовувати журнали клієнта, щоб визначити, які файли є новими або зміненими з моменту попереднього резервного копіювання   
• Як визначити, які файли довго оброблялися під час резервного копіювання Avamar 

Клієнти Windows

• Резервне копіювання Avamar набору даних, що містить багато символічних посилань, виконується дуже повільно  
• Продуктивність клієнта Avamar і стиснення Windows NTFS 

Клієнти Linux і UNIX - перевірте, чи містить набір даних клієнта великі, розріджені файли. 

• Avamar і розріджені файли 
• Розмір резервної копії клієнта Avamar Linux може вводити в оману через «/var/log/lastlog» і розріджену поведінку Avamar під час обробки файлів 

Перегляньте підсумкові рядки резервного копіювання, щоб зрозуміти обсяг резервного копіювання та виявити відхилення значень:
Пошукайте в журналі резервних копій рядки "Backup #" або "Backed-up".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Це може заощадити вам багато часу під час дослідження продуктивності резервного копіювання.
Для наведеного вище результату розглянемо:

1. Незалежно від того, чи це початкова резервна копія або резервна копія 1 рівня. (Малоймовірно, оскільки резервна мітка #441)
2. Чи є обґрунтованою кількість файлів у резервній копії. (2,6 мільйона файлів є обґрунтованими)
3. Співвідношення файлів і папок? (Це 10:1, це типово)
4. Загальна кількість даних у наборі даних. (~1,5 ТБ)
5. Кількість файлів, які потрібно обробити, і частка від загальної кількості файлів. (~11 K з 2.5M файлів є прийнятним)
6. Загальний розмір усіх файлів, які потрібно обробити. (це може бути лише приблизна оцінка)
7. Обсяг змінених даних, які будуть відправлені на сервер Avamar. (668 МБ)
8. Чи обґрунтована швидкість зміни. Більш високі показники змін можуть бути прийнятні для невеликих наборів даних (0,04% є розумним)
9. Чи є продуктивність за годину, враховуючи загальний розмір і обсяг резервної копії, розумною. (124 тис. файлів/год вважатиметься повільною продуктивністю, враховуючи інші показники)

Часто ці деталі надають нам достатньо даних, щоб зрозуміти причину низької продуктивності резервного копіювання.
За потреби перегляньте повідомлення в рядку стану, які генеруються під час виконання резервного копіювання.

Визначте, чи є будь-яке зі значень у цих двох логарифмічних рядках викидами. Іншими словами, вони більші чи менші, ніж зазвичай?
Якщо ви знайомі з поведінкою резервного копіювання, вам буде легше виявити аномалії.


Співвідношення
файлів і папокБільшість наборів даних клієнтів мають формат «файл у папку» приблизно 10:1, і avtar налаштований таким чином, щоб відображати це.
Якщо набір даних має низьке співвідношення файлів до папок, як у прикладі нижче, резервна копія може працювати не так ефективно без незначних налаштувань.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Дивіться налаштування продуктивності резервного копіювання клієнта Avamar для наборів даних з низьким співвідношенням файлів до папок.

Аналіз продуктивності за допомогою журналу avtar Повідомлення з інформацією про стан:
Використовуючи Notepad++ або подібний, відфільтруйте журнал за рядками avtar Info, які містять повідомлення про статус . Їх можна фільтрувати за допомогою записів коду, що містять <5100> або <8688> , залежно від версії клієнта Avamar. Ці рядки є періодичними повідомленнями про стан, які повідомляє avtar.

• Avamar - Як інтерпретувати рядки стану журналу резервного копіювання avtar.  

• Резервне копіювання Avamar працює повільно через те, що програмне забезпечення 3rd party змінює метадані для файлів, які в іншому випадку не змінені 

Перегляньте використання прапорців включення та виключення. Уникайте тверджень «включати»:
У посібнику «Найкращі операційні практики» обговорюються списки включення та виключення. 

Avamar повинен порівняти кожен файл у наборі даних резервної копії з обома списками, щоб визначити, чи потрібно створювати резервну копію файлу. Цей процес порівняння збільшує накладні витрати та може збільшити час виконання резервного копіювання.

Перевірте довідник avsar клієнта на наявність avtar.Файл CMD .
Перевірте, чи містить цей файл будь-які активні інструкції --exclude або --exclude-from-file .
Якщо каталог або файлову систему виключено, але використовуються прапорці include, avtar сканує їх на наявність елементів, які було сказано «включити».

Перевірте, чи містить набір даних точки повторного аналізу або файли-заглушки:
Будьте обережні, якщо набір даних містить файли-заглушки або вказівки на дані, що зберігаються на іншому пристрої.
Продуктивність резервного копіювання страждає, якщо avtar доводиться чекати на виклик віддаленого файла.
Прикладами такого програмного забезпечення є: Enterprise Vault Archiver, Moonwalk і DiskXtender.

• Продуктивність резервного копіювання плагіна winclusterfs від Avamar низька після оновлення з 7.0 до 7.2.

Резервні копії віртуальних клієнтів за допомогою гостьової інсталяції Avamar

• Резервне копіювання гостьових систем віртуальної машини Avamar виконується повільно та час очікування вичерпується через вузьке місце апаратного ресурсу  
• Резервне копіювання гостей клієнта Avamar VM зазнає низької продуктивності через VMware vShield Endpoint Trend Micro Deep Security  

• Авамар: Низька продуктивність резервного копіювання в резервному копіюванні плагіна winclusterfs після оновлення до 7.2 з 7.0 

Інші примітки

• Переконайтеся, що клієнти віртуальних машин не обмежені в ресурсах і не дотримуються суворих апаратних обмежень, які впливають на здатність швидкого завершення резервної копії Avamar.  На завантажених комп'ютерах операційна система може бути перевантажена або жонглювати занадто великою кількістю потоків, що призводить до серйозного перемикання контексту.
• Використання посібника з найкращих практик експлуатації Avamar для оптимізації системи Avamar, планування резервних копій та налаштування кешу клієнтів.

Інші посилання

• Продуктивність клієнта Avamar і стиснення Windows NTFS