Avamar. Устранение неисправностей, связанных со снижением производительности резервного копирования

  
Типичные признаки низкой производительности резервного копирования.

• Не удается завершить резервное копирование в запланированном окне. В Activity Monitor отображается сообщение «Client time out - end»
• Резервное копирование не запускается до окончания запланированного окна. В Activity Monitor появляется сообщение «Client time out - start»
• Регулярно происходит сбой сбора ненужных данных с MSG_ERR_BACKUPSINPROGRESS или MSG_ERR_TRYAGAINLATER 

Сбор информации.
Соберите подробную информацию по этой проблеме: 

• Информация, необходимая службе поддержки при исследовании проблем производительности резервного копирования Avamar Client.

Определите, какая часть цепочки резервного копирования имеет наиболее серьезные «узкие места».
На следующей схеме показаны основные компоненты в системе резервного копирования.  


«Узкие места» ВСЕГДА присутствуют, но мы должны работать над тем, чтобы понять, где они находятся.
Если мы сможем это сделать и устранить «узкие места», производительность должна улучшиться. 
После устранения одного «узкого места» может обнаружиться другое «узкое место». Наша конечная цель — добиться приемлемой продолжительности резервного копирования. 


«Узкие места» на стороне Avamar Server.
Если ВСЕ резервные копии на Avamar Server выполняются медленно, возможно, на стороне сервера возникла проблема.  
Если ВСЕ резервные копии на Avamar Server выполняются медленно в определенное время суток, возможно, возникает конфликт на стороне сервера или «узкое место» в сети.
При возникновении проблем с производительностью одного или нескольких клиентов резервного копирования сосредоточьтесь на каждом клиенте отдельно.


Состояние сервера.
Работоспособный экземпляр Avamar Server вряд ли станет «узким местом» для резервного копирования. 

Проверьте работоспособность сервера резервного копирования.  

• Avamar. Как запустить сценарий диагностики системы proactive_check.pl на Avamar Server
• Если резервные копии отправляются в Data Domain, проверьте информацию DD Autosupport или обратитесь в службу поддержки Data Domain, чтобы убедиться, что она исправна.

Avamar ограничивает клиентские подключения для сохранения приемлемых уровней производительности.


Конфликт с сервером.

Если в течение дня производительность резервного копирования низкая, это может указывать на наличие конфликта.

• Сценарий sched.sh может визуально отображать действия, которые выполнялись параллельно с медленно реализуемым резервным копированием.
• См. Avamar. Как использовать сценарий sched.sh для проверки хронологической активности резервного копирования, репликации и обслуживания на Avamar Server.
• Проверьте наличие выполняемых задач обслуживания, выполнив команду status.dpn
• Проверьте, сколько клиентских сессий активно

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Планируйте графики обслуживания и резервного копирования так, чтобы они не пересекались.
• Просмотрите выходные данные команд status.dpn и top , чтобы проверить нагрузку на узлы данных
• Выполните команду mapall 'iostat -x' на узлах данных. Проверьте значения %iowait и %idle и %util, чтобы определить, насыщена ли пропускная способность ввода-вывода какого-либо диска.
• Чтобы выявить производительность конкретного клиента, протестируйте резервное копирование, когда Avamar Server не выполняет задачи обслуживания или другие операции резервного копирования или репликации.

Производительность приема резервного копирования Data Domain.
Войдите на портал поддержки Dell и просмотрите следующее.

• Data Domain. DDPCONCHK. Поиск и устранение неисправностей с подключением и производительностью Data Domain DDBoost

«Узкие места» сети.
Сеть может быть «узким местом», если выполняется резервное копирование клиента по глобальной сети.

Задержка в сети.
Этот фактор влияет на скорость, с которой клиенты могут проверять наличие файлов хэша на Avamar Server.  

• Выполните ping-запрос с клиента на Avamar Server и проверьте потерю пакетов и задержку сети

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Если клиент и сервер разделены глобальной сетью, может ли канал передавать необходимые данные в окне резервного копирования?
В этом случае объем передаваемых данных составляет 4316 Гбайт.

Все эти значения взаимосвязаны:

• Объем новых данных резервного копирования
• Время, доступное для резервного копирования
• Эффективная пропускная способность сети

Для больших объемов новых данных требуется более высокая пропускная способность сети или более длительное время для резервного копирования.
Эти факторы имеют практические ограничения, но могут в некоторой степени контролироваться пользователем.
Рассмотрите вариант управления любым из них для своевременного выполнения резервного копирования.


Если предполагается наличие «узкого места» в сети или проблемы связи с сервером, сделайте следующее.
Проверьте пропускную способность сети между клиентом и устройством резервного копирования. 

• Avamar — как запустить iperf между двумя системами Avamar для проверки пропускной способности сети

Включите регистрацию статистики avtar для упрощения поиска и устранения ошибок.

• Avamar. Как включить и интерпретировать регистрацию avtar COMSTATS для диагностики проблем обмена данными

«Узкие места» на стороне клиента.

• Резервное копирование Avamar завершилось сбоем с сообщением «Time out - End», так как оно по-прежнему выполняет первоначальное резервное копирование

Убедитесь, что резервное копирование не было отменено преждевременно.
В журнале резервного копирования выполните поиск элементом со статусом «canceled». Ниже приведен пример, когда пользователь преждевременно отменил резервное копирование L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

В таких случаях, когда резервное копирование завершается корректно, данные сохраняются как резервное копирование со статусом «PARTIAL».

• Avamar. Функциональность частичного резервного копирования и передовые подходы для начального резервного копирования

Несмотря на то что частичные журналы резервного копирования свидетельствуют о его производительности, для полноценного анализа требуется журнал выполненных резервных копий.


Проверьте журнал на наличие проблем с размером кэша файлов или кэша хэшированных файлов.

• См. Avamar — как проверить журнал Avamar Client на предмет проблем с размером кэша файлов или кэша хэшированных файлов

Проверьте, не передаются ли флаги регулирования в avtar.
Регулирование ЦП или сети avtar значительно снижает производительность резервного копирования. 
См. Avamar. Как регулировать потребление Avamar Client системных ресурсов (ЦП, сети, ввода-вывода и памяти).

Эту информацию можно найти в журнале резервного копирования.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Есть ли у Avamar Client «узкие места» в ЦП или памяти?
Резервное копирование Avamar выполняется с той скоростью, с какой позволяет оборудование, и оно конкурирует с другими сервисами за ресурсы. Помните об «основной работе» клиента и о периодах, когда он занят. 

Следите за клиентом с помощью диспетчера задач или Проводника процессов (в Windows) или команды «top» (в UNIX или Linux). Это может говорить о том, что во время резервного копирования происходит насыщение ЦП. 

У Dell есть внутренний инструмент LogAnalyzer, который отображает потребление ресурсов и производительность с течением времени. Для использования этой функции обратитесь в службу поддержки.

Файлы кэша загружаются в память во время резервного копирования. Проверьте использование памяти клиента, чтобы выявить наличие ошибок страницы или подсказок о нехватке ОЗУ в клиенте.

В этом случае проблема менее актуальна, когда клиенты Avamar v7.x в Data Domain используют «кэш страниц» (f_cache2.dat).
Кэш страниц сокращает объем памяти на клиенте по сравнению с традиционным «монолитным» кэшем avtar.


Проверьте наличие «узкого места» ввода-вывода на стороне клиента.
Следующим фактором после размера кэша клиента, определяющим производительность резервного копирования, является система хранения, которая размещает данные резервного копирования и передает их в avtar.


Убедитесь, что целевое хранилище исправно.
Убедитесь, что с целевым устройством хранения данных нет проблем, препятствующих оптимальной производительности. 
 

Убедитесь, что программное обеспечение стороннего производителя не конкурирует с avtar в ходе операций ввода-вывода.
Конкурируют ли какие-либо приложения на клиенте с Avamar Client для операций ввода-вывода хранилища?
Сканирование антивирусным ПО в режиме реального времени или при доступе существенно влияет на производительность Avamar Client.  

• Производительность резервного копирования Avamar Client подвержена серьезному влиянию сканирования в режиме реального времени антивирусной программы

• Использование параллельной записи томов для улучшения производительности резервного копирования Avamar

Убедитесь, что клиент не выполняет резервное копирование данных с помощью CIFS или NFS.
Резервное копирование данных CIFS или NFS поддерживается только с помощью ускорителя NDMP. 

• Avamar и поддержка для сопоставленных общих сетевых ресурсов CIFS (SMB) и NFS. 

Проверьте, используется ли сжатие или шифрование хранилища.
Производительность резервного копирования может быть ниже ожидаемой, если целевые данные находятся в целевом хранилище, где они сжаты или зашифрованы на уровне файловой системы.  


Анализ «узких мест» клиентских ресурсов Windows с помощью Perfmon.
В следующей статье можно создать графики производительности, чтобы понять, ожидает ли клиент какой-либо конкретный ресурс в определенный момент времени. Рассмотрите возможность использования с графиками, созданными инструментом LogAnalyzer.

• Avamar — использование Microsoft Windows Perfmon для мониторинга производительности Avamar Client 

Резервное копирование архивных файлов Outlook (.pst)
Резервное копирование может выполняться медленно, если количество таких файлов велико или они имеют большой размер. 

• Рекомендации по производительности при использовании Avamar для резервного копирования архивных файлов .pst Outlook

Сравнительная оценка производительности хранилища
Проверьте производительность устройства хранения данных, на котором размещены целевые данные.

• Тестирование производительности дисков для клиентов Avamar Linux 

Низкая производительность резервного копирования в связи с данными, для которых выполняется резервное копирование.
Наиболее распространенная причина медленного резервного копирования связана с характеристиками данных, резервное копирование которых выполняется.


Проверьте, много ли новых или измененных данных.

• Avamar — резервное копирование выполняется медленно или завершается сбоем с сообщением «Time out - end» в связи с большим количеством новых или измененных данных  

Наличие нескольких новых или измененных файлов большого размера может привести к тому, что резервное копирование будет перегружено окном резервного копирования. Чтобы идентифицировать эти файлы, см. следующие материалы:

• Avamar. Как использовать журналы клиента для определения новых или измененных файлов с момента предыдущего резервного копирования   
• Как найти файлы, обработка которых занимала длительное время при выполнении резервного копирования Avamar 

Клиенты Windows

• Резервное копирование набора данных Avamar, содержащего много символьных ссылок, выполняется очень медленно  
• Производительность Avamar Client и сжатие Windows NTFS 

Клиенты Linux и UNIX — проверьте, содержит ли набор данных клиента большие разреженные файлы. 

• Avamar и разреженные файлы 
• Размер резервной копии клиента Avamar Linux может быть неверным из-за поведения обработки разреженных файлов «/var/log/lastlog» и Avamar 

Проверьте строки сводки резервных копий, чтобы понять объем резервного копирования и определить значения отклонения.
Выполните поиск в журнале резервного копирования строк «Backup #» или «Backed-up».

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Это может сэкономить много времени при изучении производительности резервного копирования.
Для выходных данных выше изучите следующие аспекты.

1. Первоначальное ли это резервное копирование или резервное копирование уровня 1. (Маловероятно, так как метка резервного копирования — #441)
2. Обосновано ли количество файлов в резервной копии. (2,6 млн файлов является обоснованным количеством)
3. Каково соотношение файлов и папок? (Номинальное значение: 10:1)
4. Общий объем данных в наборе данных. (~1,5 Тбайт)
5. Количество обрабатываемых файлов и доля от общего количества файлов. (~11 000 файлов из 2,5 млн является обоснованным количеством)
6. Общий размер всех файлов для обработки. (Это может быть только приблизительное значение)
7. Количество измененных данных, которое будет отправлено на Avamar Server. (668 Мбайт)
8. Является ли скорость изменения обоснованной. Более высокая скорость изменения может быть допустима для меньших наборов данных (показатель 0,04% является обоснованным)
9. Является ли производительность в час с учетом общего размера и объема резервного копирования обоснованной. (Показатель 124 000 файлов в час считается низкой производительностью, учитывая другие цифры)

Часто эти сведения предоставляют нам достаточно данных, чтобы понять причину низкой производительности резервного копирования.
При необходимости просмотрите сообщения в строке состояния, которые создаются при выполнении резервного копирования.

Определите, является ли какое-либо из значений в этих двух строках журнала отклонением. Иными словами, они больше или меньше, чем обычно?
Если вы знакомы с поведением резервного копирования, вам будет проще обнаружить аномалии.


Соотношение файлов к папкам
У большинства наборов данных клиентов это соотношение составляет примерно 10:1, и ресурс avtar настроен для этого соотношения.
Если набор данных имеет низкое соотношение файлов к папкам, как показано в примере ниже, резервное копирование может выполняться не так эффективно без небольшой настройки.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

См. Настройка производительности резервного копирования Avamar Client для наборов данных с низким отношением файлов к папкам.

Анализ производительности с помощью сообщений о состоянии журнала avtar.
С помощью Notepad++ или аналогичного приложения отфильтруйте данные журнала по строкам avtar Info, содержащих сообщения о состоянии. Их можно отфильтровать с помощью записей кода, содержащих <5100> или <8688>  в зависимости от версии Avamar Client. Эти строки представляют собой периодические уведомления о состоянии, сообщаемые avtar.

• Avamar — как интерпретировать строки состояния журнала резервного копирования avtar.  

• Резервное копирование Avamar работает медленно из-за модификации метаданных сторонними программами для файлов, которые иначе остались без изменений 

Проверьте использование флагов включения и исключения. Избегайте выражений «include».
В Руководстве по передовым практикам эксплуатации рассматриваются списки включения и исключения. 

Ресурс Avamar должен сопоставить каждый файл в наборе данных резервного копирования с обоими списками, чтобы определить, следует ли выполнять резервное копирование файла. Этот процесс сравнения повышает издержки и может увеличить время выполнения резервного копирования.

Проверьте каталог клиента avsar на наличие файла avtar.cmd.
Проверьте, содержит ли этот файл активные выражения --exclude или --exclude-from-file.
Если каталог или файловая система исключается, но используются флаги включения, avtar выполняет сканирование на предмет элементов, которые необходимо включить.

Проверьте, содержит ли набор данных точки повторного анализа или файлы-заглушки.
Отслеживайте, не содержит ли набор данных файлы-заглушки или указатели на данные, хранящиеся на другом устройстве.
Производительность резервного копирования снижается, если avtar необходимо дождаться восстановления удаленного файла.
Примеры такого программного обеспечения: Enterprise Vault Archiver, Moonwalk и DiskXtender.

• Avamar. Низкая производительность резервного копирования в подключаемом модуле winclusterfs после модернизации с версии 7.0 до версии 7.2.

Резервное копирование виртуальных клиентов с гостевой установкой Avamar

• Резервное копирование виртуальной машины Avamar на гостевом уровне выполняется медленно, и время ожидания истекло из-за «узкого места» аппаратных ресурсов  
• В резервном копировании клиента виртуальной машины Avamar на гостевом уровне наблюдается низкая производительность из-за решения VMware vShield Endpoint Trend Micro Deep Security  

• Avamar. Низкая производительность резервного копирования в подключаемом модуле winclusterfs после модернизации с версии 7.0 до версии 7.2 

Другие примечания

• Убедитесь, что клиенты виртуальных машин не ограничены в ресурсах и не придерживаются строгих аппаратных ограничений, которые влияют на возможность быстрого завершения резервного копирования Avamar.  На работающих компьютерах операционная система может быть перегружена или распределять слишком большое количество потоков, что приводит к серьезному переключению контекста.
• Использование Руководства по передовым практикам эксплуатации Avamar для оптимизации системы Avamar, планирования резервного копирования и настройки кэш-файлов клиентов.

Другие справочные материалы

• Производительность Avamar Client и сжатие Windows NTFS