Avamar: "Kunne ikke gemme konsolserverdata på serveren" på grund af portscannere, der forårsager høj Java CPU-udnyttelse
Summary: Portscannere forårsager høj Java CPU-udnyttelse, hvilket resulterer i en MCS-flushfejl (Management Console Server): "Kunne ikke gemme konsolserverdata på serveren."
Symptoms
Denne hændelse kan logføres som en Dial Home-hændelse, en MC UI-hændelse eller ses på en Putty-session på Avamar-hjælpenoden:
Symptom: 22402, Desc: Could not save console server data to server.
Java-processen på Avamar Utility Node er på 100 % CPU eller højere:
top
top - 10:57:10 up 140 days, 19:57, 2 users, load average: 2.55, 2.52, 2.48
Tasks: 187 total, 1 running, 186 sleeping, 0 stopped, 0 zombie
Cpu(s): 74.5%us, 0.2%sy, 0.0%ni, 25.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 12028M total, 10789M used, 1238M free, 187M buffers
Swap: 4086M total, 68M used, 4018M free, 7507M cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12108 admin 20 0 1720m 1.3g 11m S 299 10.9 112556:00 java
13476 admin 20 0 1125m 541m 11m S 0 4.5 157:08.53 java
14055 root 20 0 1485m 158m 10m S 0 1.3 184:58.50 java
Der registreres en eller flere af følgende fejl i /usr/local/avamar/var/mc/server_log/axis2.log:
2013-01-24 23:01:42,517 [1031746922@qtp-1453087591-170] ERROR org.apache.axis2.engine.AxisEngine - The service cannot be found for the endpoint reference (EPR) /php.cgi?/etc/passwd
org.apache.axis2.AxisFault: The service cannot be found for the endpoint reference (EPR) /php.cgi?/etc/passwd
at org.apache.axis2.engine.DispatchPhase.checkPostConditions(DispatchPhase.java:65)
at org.apache.axis2.engine.Phase.invoke(Phase.java:334)
2014-04-09 12:44:56,908 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcService-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcService-server-7.0.0-SNAPSHOT.jar
2014-04-09 12:44:59,015 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcsdk10-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcsdk10-server-7.0.0-SNAPSHOT.jarCause
Høj Java-udnyttelse på Avamar Utility Node-noden kan medføre, at Management Console Server (MCS)-flushes (sikkerhedskopieringer) mislykkes.
En stigning i konstant CPU-udnyttelse efter portscanninger sender affaldsforespørgselsstrenge til MC-webtjenesten via port 9443.
Derfor er MCS ikke tilgængelig for sikkerhedskopieringsprocessen, og det kan medføre, at flushen mislykkes.
Resolution
1. Bekræft, om en portscanner (f.eks. Nessus) scanner en af Avamar-noderne. Hvis det er muligt, skal du deaktivere portscanning til Avamar-hjælpenoden.
2. Log på Avamar Utility-noden som administrator, og indlæs nøglerne Avamar: Sådan logger du på en Avamar-server og indlæser forskellige nøgler.
3. Brug top Kommando til at kontrollere, om Java har et højt CPU-forbrug (over 100% er højt):
top
4. Kontroller, om der vises meddelelser om port 9443 i akseloggen:
grep 9443 /usr/local/avamar/var/mc/server_log/axis2.log
2014-04-09 12:44:56,908 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcService-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcService-server-7.0.0-SNAPSHOT.jar
2014-04-09 12:44:59,015 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcsdk10-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcsdk10-server-7.0.0-SNAPSHOT.jar
5. Kontroller, hvornår java-processen blev startet:
ps -ef | grep java
-
- Hvis datoen for java-processen svarer til dataene fra trin 4 (i dette eksempel 2014-04-09), kan processen være i en tilstand, der ikke svarer
- Hvis datoen for java-processen er ny eller ikke stemmer overens, skal du stoppe med at bruge denne løsning
6. Skift til rodprivilegium:
su -
7. Dræb den krænkende java-proces:
en. Find java-proces-id'et (PID):
ps -ef | grep java
b. Dræb processen.
kill -9 <PID>
8. Afslut rodrettigheder:
exit
9. Stop og start MCS ved hjælp af Avamar: Sådan genstarter du Management Control Server (MCS)
10. Kontroller, at MCS-fejlskylningen nu virker, og at der ikke opstår nogen "22402"-fejl.
mcserver.sh --flush
11. Hvis fejlmeddelelserne fortsætter, skal du gennemse Avamar – Symptomkode 22402 – Kunne ikke gemme konsolserverdata på serveren (Løsningssti) for yderligere fejlfinding.
Hvis der er behov for yderligere assistance, skal du oprette en serviceanmodning.