Avamar — PDM и SnapshotManager не работают из-за проблемы с памятью Tomcat
Summary: Avamar — PDM и SnapshotManager не работают из-за проблемы с памятью Tomcat.
Symptoms
В Avamar 19.7+ реализована новая функция проверки состояния прокси-сервера. Эта функция подключается к службе CIM на каждом прокси-сервере (с циклом опроса по умолчанию 30 минут) для проверки состояния таких служб, как Jetty, CIM, avagent, FLR и vmtools.
В некоторых средах этот цикл опроса состояния прокси-сервера по умолчанию может привести к нехватке памяти Tomcat, что приведет к сбоям в работе служб, таких как Snapshot Manager, Deploy Manager (PDM), Client Manager (AAM) и домашней страницы Avamar DTLT. Эти прерывания будут продолжаться до перезапуска службы Tomcat.
Влияние на Snapshot Manager.
При попытке использовать Snapshot Manager через 60 минут появляется сообщение об ошибке истечения времени ожидания (curl 28).
08:49:00 avvcbimage Info : Creating snapshot 'Avamar-1668329340b6216cd5819bac4f61bece141dc1f5035c2c07c6', quiesceFS=1 08:49:00 avvcbimage Info : SnapshotManager: createSnapshot for vmMoref = vm-161785 08:49:00 avvcbimage Info : SnapshotManager: POST to /snapshotmanager/vm/vm-161785/action/createSnapshot 09:49:00 avvcbimage Info : POST: curl_easy_perform failed. Path:/snapshotmanager/vm/vm-161785/action/createSnapshot Curl Error: 28 09:49:00 avvcbimage Info : SnapshotManager: failed to create snapshot 09:49:00 avvcbimage FATAL : [IMG0009] failed to create snapshot, possible timeoutПосле этого аннотация помеченной виртуальной машины займет еще 60 минут.
09:49:00 avvcbimage Info : backup Failed, only set annotation to LastBackupStatus 09:49:00 avvcbimage Info : AvSnapMgr::addSetAnnotation, vm-161785 09:49:00 avvcbimage Info : SnapshotManager: POST to /snapshotmanager/vm/vm-161785/action/markAnnotations 09:49:00 avvcbimage Info : Login by loginWS test is OK. 09:49:00 avvcbimage Info : Entering the 'final' phase of termination, timer trigger 10:49:00 avvcbimage Info : POST: curl_easy_perform failed. Path:/snapshotmanager/vm/vm-161785/action/markAnnotations Curl Error: 28
Tomcat.
При возникновении проблемы в журналах Tomcat, расположенных в «/usr/local/avamar/var/dtlt/webapp_log» на Avamar Server, можно найти следующее сообщение об ошибке «java.lang.OutOfMemoryError».root@ave198:/usr/local/avamar/var/log/vcs/#: grep 'java.lang.OutOfMemoryError' /usr/local/avamar-tomcat/logs/* /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap space /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap space /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap spaceProxy Deployment Manager.
Во время возникновения этой проблемы пользователи не могут создавать рекомендации прокси-сервера. При попытке использования Proxy Deployment Manager (PDM) могут возникать ошибки, например HTTP 404 или HTTP 500, или ошибки могут не появляться.
Cause
Основная ошибка Avamar 337410. В некоторых средах цикл опроса состояния прокси-сервера по умолчанию продолжительностью 30 минут может привести к исчерпанию памяти Tomcat.
Resolution
Avamar 19.7. Эта неполадка устранена в накопительном исправлении 337464
Avamar 19.8. Эта неполадка устранена в накопительном исправлении 337920
Инструкции по установке вручную.
Чтобы предотвратить повторное возникновение этой проблемы нехватки памяти, можно отключить автоматический опрос функции проверки состояния прокси-сервера.
1. Отредактируйте файл dm.properties на Avamar Server, который находится по адресу /etc/vcs/dm.properties.
2. Найдите параметр «enable_status_check_schedule» и измените его значение на «false».
До
# Is enable status check schedule, default value is true enable_status_check_schedule=trueПосле
# Is enable status check schedule, default value is true enable_status_check_schedule=false
3. Перезапустите Tomcat в качестве пользователя root с помощью следующей команды: emwebapp.sh --restart
Влияние на функцию Proxy Management Status. Нет влияния на эту функцию. Состояние прокси-сервера будет по-прежнему выводиться, когда пользователь входит в меню «Proxy Management» > «Proxy Status» веб-интерфейса пользователя Avamar (AUI).
Additional Information
Временное решение для сбоев резервного копирования.
Для устранения сбоев резервного копирования без перезапуска Tomcat или внесения изменений в файл сервера dm.properties можно отключить Snapshot Manager на прокси-сервере Avamar.
Дополнительные инструкции см. в следующей статье базы знаний: KB 000181611 «Как отключить Snapshot Manager на прокси-сервере Avamar».