Avamar: "Kunne ikke lagre konsollserverdata på serveren" på grunn av portskannere som forårsaker høy Java CPU-utnyttelse
Summary: Portskannere forårsaker høy Java CPU-utnyttelse som resulterer i en Management Console Server (MCS) flush-feil: "Kan ikke lagre konsollserverdata på serveren."
Symptoms
Denne hendelsen kan logges som en Dial Home Event, en MC UI-hendelse eller vises på en Putty-økt på Avamar Utility Node:
Symptom: 22402, Desc: Could not save console server data to server.
Java-prosessen på Avamar Utility-noden er på 100 % CPU eller høyere:
top
top - 10:57:10 up 140 days, 19:57, 2 users, load average: 2.55, 2.52, 2.48
Tasks: 187 total, 1 running, 186 sleeping, 0 stopped, 0 zombie
Cpu(s): 74.5%us, 0.2%sy, 0.0%ni, 25.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 12028M total, 10789M used, 1238M free, 187M buffers
Swap: 4086M total, 68M used, 4018M free, 7507M cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12108 admin 20 0 1720m 1.3g 11m S 299 10.9 112556:00 java
13476 admin 20 0 1125m 541m 11m S 0 4.5 157:08.53 java
14055 root 20 0 1485m 158m 10m S 0 1.3 184:58.50 java
Én eller flere av følgende feil oppdages i /usr/local/avamar/var/mc/server_log/axis2.log:
2013-01-24 23:01:42,517 [1031746922@qtp-1453087591-170] ERROR org.apache.axis2.engine.AxisEngine - The service cannot be found for the endpoint reference (EPR) /php.cgi?/etc/passwd
org.apache.axis2.AxisFault: The service cannot be found for the endpoint reference (EPR) /php.cgi?/etc/passwd
at org.apache.axis2.engine.DispatchPhase.checkPostConditions(DispatchPhase.java:65)
at org.apache.axis2.engine.Phase.invoke(Phase.java:334)
2014-04-09 12:44:56,908 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcService-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcService-server-7.0.0-SNAPSHOT.jar
2014-04-09 12:44:59,015 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcsdk10-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcsdk10-server-7.0.0-SNAPSHOT.jarCause
Høy Java-bruk på Avamar Utility Node-noden kan føre til at Management Console Server (MCS)-spylingen (sikkerhetskopiering) mislykkes.
En økning i konstant CPU-utnyttelse etter portskanninger sender søppelspørringsstrenger til MC-nettjenesten over port 9443.
Som et resultat er MCS ikke tilgjengelig for sikkerhetskopieringsprosessen og kan føre til at spylingen mislykkes.
Resolution
1. Kontroller om en portskanner (for eksempel Nessus) skanner noen av Avamar-nodene. Hvis det er mulig, bør du deaktivere portskanning til Avamar-verktøynoden.
2. Logg på Avamar-verktøynoden som administrator, og last inn tastene Avamar: Slik logger du på en Avamar-server og laster inn ulike nøkler.
3. Trykk på top Kommando for å sjekke om Java har høy CPU-bruk (over 100% er høyt):
top
4. Sjekk om noen port 9443-meldinger vises i akseloggen:
grep 9443 /usr/local/avamar/var/mc/server_log/axis2.log
2014-04-09 12:44:56,908 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcService-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcService-server-7.0.0-SNAPSHOT.jar
2014-04-09 12:44:59,015 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcsdk10-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcsdk10-server-7.0.0-SNAPSHOT.jar
5. Bekreft når java-prosessen ble startet:
ps -ef | grep java
-
- Hvis datoen for java-prosessen samsvarer med dataene fra trinn 4 (i dette eksemplet 2014-04-09), kan prosessen være i en tilstand som ikke svarer
- Hvis datoen for java-prosessen er ny eller ikke samsvarer, må du slutte å bruke denne løsningen
6. Bytt til rotprivilegium:
su -
7. Drep den fornærmende java prosessen:
en. Finn java prosess-ID (PID):
ps -ef | grep java
b. Drep prosessen.
kill -9 <PID>
8. Avslutt fra rottilgang:
exit
9. Stopp og start MCS ved hjelp av Avamar: Slik starter du Management Control Server (MCS) på nytt
10. Kontroller at MCS-spylingen fungerer, og at det ikke oppstår noen "22402"-feil.
mcserver.sh --flush
11. Se gjennom Avamar - symptomkode 22402 - Kunne ikke lagre konsollserverdata på serveren (løsningsbane) hvis feilmeldingene vedvarer.
Hvis du trenger mer hjelp, oppretter du en serviceforespørsel.