Avamar - Dysfonctionnement de PDM et SnapshotManager dû à un problème de mémoire Tomcat
Résumé: Avamar - Dysfonctionnement de PDM et SnapshotManager dû à un problème de mémoire Tomcat.
Symptômes
Avamar 19.7+ a implémenté une nouvelle fonctionnalité permettant de vérifier l’état du proxy. Cette fonctionnalité se connecte au service CIM sur chaque proxy (avec un cycle d’interrogation par défaut de 30 minutes) pour vérifier l’état de services tels que Jetty, CIM, avagent, FLR et vmtools.
Dans certains environnements, ce cycle d’interrogation de l’état du proxy par défaut peut entraîner l’épuisement de la mémoire Tomcat, provoquant ainsi des interruptions de services tels que Snapshot Manager, Deployment Manager (PDM), Client Manager (AAM) et la page d’accueil Avamar DTLT. Ces interruptions persistent jusqu’à ce que le service Tomcat soit redémarré.
Impact sur Snapshot Manager :
Lorsque vous tentez d’utiliser Snapshot Manager, celui-ci signale une erreur de délai d’expiration (curl 28) après 60 minutes.
08:49:00 avvcbimage Info : Creating snapshot 'Avamar-1668329340b6216cd5819bac4f61bece141dc1f5035c2c07c6', quiesceFS=1 08:49:00 avvcbimage Info : SnapshotManager: createSnapshot for vmMoref = vm-161785 08:49:00 avvcbimage Info : SnapshotManager: POST to /snapshotmanager/vm/vm-161785/action/createSnapshot 09:49:00 avvcbimage Info : POST: curl_easy_perform failed. Path:/snapshotmanager/vm/vm-161785/action/createSnapshot Curl Error: 28 09:49:00 avvcbimage Info : SnapshotManager: failed to create snapshot 09:49:00 avvcbimage FATAL : [IMG0009] failed to create snapshot, possible timeoutAprès cela, l’annotation de marquage de machine virtuelle prend 60 minutes de plus.
09:49:00 avvcbimage Info : backup Failed, only set annotation to LastBackupStatus 09:49:00 avvcbimage Info : AvSnapMgr::addSetAnnotation, vm-161785 09:49:00 avvcbimage Info : SnapshotManager: POST to /snapshotmanager/vm/vm-161785/action/markAnnotations 09:49:00 avvcbimage Info : Login by loginWS test is OK. 09:49:00 avvcbimage Info : Entering the 'final' phase of termination, timer trigger 10:49:00 avvcbimage Info : POST: curl_easy_perform failed. Path:/snapshotmanager/vm/vm-161785/action/markAnnotations Curl Error: 28
Tomcat :
Lorsque le problème se produit, le message d’erreur « java.lang.OutOfMemoryError » suivant peut apparaître dans les journaux Tomcat situés à l’emplacement « /usr/local/avamar/var/dtlt/webapp_log » sur le serveur Avamar :root@ave198:/usr/local/avamar/var/log/vcs/#: grep 'java.lang.OutOfMemoryError' /usr/local/avamar-tomcat/logs/* /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap space /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap space /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap spaceProxy Deployment Manager :
Au cours de ce problème, les utilisateurs ne pourront pas créer de recommandations de proxy. Ils pourront rencontrer des erreurs telles que HTTP 404 ou HTTP 500 lors de la tentative d’utilisation de Proxy Deployment Manager (PDM), ou bien ne pas recevoir d’erreurs du tout.
Cause
Bug principal d’Avamar 337410 qui fait que dans certains environnements, le cycle d’interrogation de l’état du proxy par défaut de 30 minutes peut entraîner l’épuisement de la mémoire Tomcat.
Résolution
Avamar 19.7 : ce problème a été résolu dans le correctif cumulatif 337464
Avamar 19.8 : le problème a été résolu dans le correctif cumulatif 337920
Instruction d’installation manuelle :
Pour éviter que ce problème d’épuisement de la mémoire ne se reproduise, vous pouvez désactiver la fonctionnalité de vérification d’interrogation automatique de l’état du proxy.
1. Modifiez le fichier dm.properties sur le serveur Avamar situé à l’emplacement /etc/vcs/dm.properties.
2. Recherchez l’option « enable_status_check_schedule » et remplacez sa valeur par « false ».
Avant
# Is enable status check schedule, default value is true enable_status_check_schedule=trueAprès
# Is enable status check schedule, default value is true enable_status_check_schedule=false
3. Redémarrez Tomcat en tant qu’utilisateur root à l’aide de la commande suivante : emwebapp.sh --restart
Impact sur la fonctionnalité Proxy Management Status : il n’y aura aucun impact sur cette fonctionnalité. L’état du proxy sera toujours extrait lorsque l’utilisateur accédera au menu « Proxy Management > Proxy Status » de l’interface utilisateur Web Avamar (AUI).
Informations supplémentaires
Solution de contournement à court terme pour les échecs de sauvegarde :
Pour résoudre les échecs de sauvegarde sans redémarrer Tomcat ou apporter de modifications au fichier de serveur dm.properties, vous pouvez désactiver le Snapshot Manager sur le proxy Avamar.
Pour plus d’instructions, consultez l’article de la base de connaissances suivant : KB 000181611 « Comment désactiver le Snapshot Manager sur le proxy Avamar » (en anglais).