Avamar - PDM e SnapshotManager non funzionano a causa di un problema di memoria Tomcat
Summary: Avamar - PDM e SnapshotManager non funzionano a causa di un problema di memoria Tomcat.
Symptoms
Avamar 19.7+ ha implementato una nuova funzione per il controllo dello stato del proxy. Questa funzione si connette al servizio CIM su ogni proxy (con un ciclo di polling predefinito di 30 minuti) per controllare lo stato di servizi come Jetty, CIM, Avagent, FLR e vmtools.
In alcuni ambienti, questo ciclo di polling predefinito dello stato del proxy può causare l'esaurimento della memoria Tomcat, determinando interruzioni di servizi come Snapshot Manager, Deploy Manager (PDM), Client Manager (AAM) e la home page di Avamar DTLT. Queste interruzioni persistono fino al riavvio del servizio Tomcat.
Impatto su Snapshot Manager:
Quando si tenta di utilizzare Snapshot Manager, questo segnala un errore di timeout (curl 28) dopo 60 minuti.
08:49:00 avvcbimage Info : Creating snapshot 'Avamar-1668329340b6216cd5819bac4f61bece141dc1f5035c2c07c6', quiesceFS=1 08:49:00 avvcbimage Info : SnapshotManager: createSnapshot for vmMoref = vm-161785 08:49:00 avvcbimage Info : SnapshotManager: POST to /snapshotmanager/vm/vm-161785/action/createSnapshot 09:49:00 avvcbimage Info : POST: curl_easy_perform failed. Path:/snapshotmanager/vm/vm-161785/action/createSnapshot Curl Error: 28 09:49:00 avvcbimage Info : SnapshotManager: failed to create snapshot 09:49:00 avvcbimage FATAL : [IMG0009] failed to create snapshot, possible timeoutL'annotazione della macchina virtuale richiederà altri 60 minuti.
09:49:00 avvcbimage Info : backup Failed, only set annotation to LastBackupStatus 09:49:00 avvcbimage Info : AvSnapMgr::addSetAnnotation, vm-161785 09:49:00 avvcbimage Info : SnapshotManager: POST to /snapshotmanager/vm/vm-161785/action/markAnnotations 09:49:00 avvcbimage Info : Login by loginWS test is OK. 09:49:00 avvcbimage Info : Entering the 'final' phase of termination, timer trigger 10:49:00 avvcbimage Info : POST: curl_easy_perform failed. Path:/snapshotmanager/vm/vm-161785/action/markAnnotations Curl Error: 28
Tomcat:
quando si verifica il problema, è possibile trovare il seguente messaggio di errore "java.lang.OutOfMemoryError" nei registri Tomcat in "/usr/local/avamar/var/dtlt/webapp_log" sul server Avamar:root@ave198:/usr/local/avamar/var/log/vcs/#: grep 'java.lang.OutOfMemoryError' /usr/local/avamar-tomcat/logs/* /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap space /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap space /usr/local/avamar-tomcat/logs/catalina.2022-12-31.log: java.lang.OutOfMemoryError: Java heap spaceProxy Deployment Manager:
quando è presente questo problema, gli utenti non potranno creare raccomandazioni proxy. Potrebbero riscontrare errori come HTTP 404 o HTTP 500 quando tentano di utilizzare Proxy Deployment Manager (PDM) o potrebbero non ricevere alcun errore.
Cause
Bug principale di Avamar 337410 a causa del quale, in alcuni ambienti, il ciclo di polling dello stato del proxy predefinito di 30 minuti può causare l'esaurimento della memoria Tomcat.
Resolution
Avamar 19.7: Questo problema è stato risolto nell'hotfix cumulativo 337464
Avamar 19.8: Il problema è stato risolto nell'hot fix cumulativo 337920
Istruzioni per l'installazione manuale:
Per evitare che il problema di esaurimento della memoria si verifichi nuovamente, è possibile disabilitare il polling automatico della funzione di controllo dello stato del proxy.
1. Modificare il file dm.properties sul server Avamar Server che si trova in /etc/vcs/dm.properties.
2. Individuare l'opzione "enable_status_check_schedule" e modificarne il valore in "false".
Prima
# Is enable status check schedule, default value is true enable_status_check_schedule=trueDopo
# Is enable status check schedule, default value is true enable_status_check_schedule=false
3. Riavviare Tomcat come utente root utilizzando il seguente comando: emwebapp.sh --restart
Impatto sulla funzione stato di gestione proxy: Questa funzionalità non subirà alcun impatto. Lo stato del proxy verrà comunque recuperato quando l'utente accede al menu "Proxy Management > Proxy Status" nell'interfaccia utente web di Avamar.
Additional Information
Soluzione alternativa a breve termine per gli errori di backup:
Per risolvere gli errori di backup senza riavviare Tomcat o apportare modifiche al file del server dm.properties, è possibile disabilitare Snapshot Manager sul proxy Avamar.
Per ulteriori indicazioni, consultare il seguente articolo della knowledgebase: KB 000181611 "Come disattivare Snapshot Manager sul proxy Avamar" (in inglese).