Avamar: "Nie można zapisać danych serwera konsoli na serwerze" z powodu skanerów portów powodujących wysokie wykorzystanie procesora Java
Summary: Skanery portów powodują wysokie wykorzystanie procesora Java, co skutkuje błędem opróżniania serwera konsoli zarządzania (MCS): "Nie można zapisać danych serwera konsoli na serwerze".
Symptoms
To zdarzenie może być rejestrowane jako zdarzenie dial home, zdarzenie interfejsu użytkownika MC lub widoczne podczas sesji Putty w węźle Avamar Utility Node:
Symptom: 22402, Desc: Could not save console server data to server.
Proces Java w węźle Avamar Utility Node działa na poziomie 100% procesora lub wyższym:
top
top - 10:57:10 up 140 days, 19:57, 2 users, load average: 2.55, 2.52, 2.48
Tasks: 187 total, 1 running, 186 sleeping, 0 stopped, 0 zombie
Cpu(s): 74.5%us, 0.2%sy, 0.0%ni, 25.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 12028M total, 10789M used, 1238M free, 187M buffers
Swap: 4086M total, 68M used, 4018M free, 7507M cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12108 admin 20 0 1720m 1.3g 11m S 299 10.9 112556:00 java
13476 admin 20 0 1125m 541m 11m S 0 4.5 157:08.53 java
14055 root 20 0 1485m 158m 10m S 0 1.3 184:58.50 java
W /usr/local/avamar/var/mc/server_log/axis2.log:
2013-01-24 23:01:42,517 [1031746922@qtp-1453087591-170] ERROR org.apache.axis2.engine.AxisEngine - The service cannot be found for the endpoint reference (EPR) /php.cgi?/etc/passwd
org.apache.axis2.AxisFault: The service cannot be found for the endpoint reference (EPR) /php.cgi?/etc/passwd
at org.apache.axis2.engine.DispatchPhase.checkPostConditions(DispatchPhase.java:65)
at org.apache.axis2.engine.Phase.invoke(Phase.java:334)
2014-04-09 12:44:56,908 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcService-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcService-server-7.0.0-SNAPSHOT.jar
2014-04-09 12:44:59,015 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcsdk10-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcsdk10-server-7.0.0-SNAPSHOT.jarCause
Wysokie wykorzystanie języka Java w węźle Avamar Utility Node może spowodować niepowodzenie opróżniania (tworzenia kopii zapasowych) serwera konsoli zarządzania (MCS).
Wzrost stałego wykorzystania procesora CPU po tym, jak skanowanie portów wysyła niepotrzebne ciągi zapytań do usługi sieci Web MC za pośrednictwem portu 9443.
W rezultacie MCS nie jest dostępny dla procesu tworzenia kopii zapasowej i może spowodować niepowodzenie opróżniania.
Resolution
1. Potwierdź, czy skaner portów (np. Nessus) skanuje dowolny z węzłów Avamar. Jeśli to możliwe, wyłącz skanowanie portów do węzła Avamar Utility Node.
2. Zaloguj się do węzła Avamar Utility Node jako administrator i załaduj klucze Avamar: Logowanie się na serwerze Avamar i ładowanie różnych kluczy.
3. Użyj polecenia top , aby sprawdzić, czy java ma wysokie użycie procesora (ponad 100% to wysokie):
top
4. Sprawdź, czy w dzienniku osi pojawiają się komunikaty portu 9443:
grep 9443 /usr/local/avamar/var/mc/server_log/axis2.log
2014-04-09 12:44:56,908 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcService-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcService-server-7.0.0-SNAPSHOT.jar
2014-04-09 12:44:59,015 [main] INFO org.apache.axis2.deployment.ServiceDeployer - Deploying Web service: mcsdk10-server-7.0.0-SNAPSHOT.jar - file:/data01/avamar/var/mc/server_tmp/Jetty_0_0_0_0_9443_mcsdk.axis2.war____.xz4n3v/webapp/WEB-INF/services/mcsdk10-server-7.0.0-SNAPSHOT.jar
5. Sprawdź, kiedy proces Java został uruchomiony:
ps -ef | grep java
-
- Jeśli data procesu java jest zgodna z danymi z kroku 4 (w tym przykładzie 2014-04-09), proces może być w stanie braku odpowiedzi
- Jeśli data procesu java jest nowa lub nie jest zgodna, przestań używać tego rozwiązania
6. Przełącz na uprawnienia root:
su -
7. Zabij obraźliwy proces java:
a. Znajdź identyfikator procesu Java (PID):
ps -ef | grep java
b. Zabij proces.
kill -9 <PID>
8. Wyjdź z uprawnień root:
exit
9. Zatrzymaj i uruchom MCS za pomocą Avamar: Jak ponownie uruchomić serwer Management Control Server (MCS)
10. Sprawdź, czy opróżnianie MCS działa i czy nie występują błędy "22402".
mcserver.sh --flush
11. Jeśli komunikaty o błędach będą się powtarzać, zapoznaj się z Avamar — kod objawu 22402 — Nie można zapisać danych serwera konsoli na serwerze (ścieżka rozwiązania) w celu uzyskania dodatkowych problemów
Jeśli wymagana jest dalsza pomoc, utwórz zgłoszenie serwisowe.