VPLEX: Serwer zarządzający doświadcza wysokiego zużycia pamięci RAM i miejsca na dysku wewnętrznym

Summary: serwer zarządzania działający bez zewnętrznego odbiorcy zdarzeń AMQP może doświadczać wysokiego użycia pamięci RAM i wewnętrznego miejsca na dysku.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms



  • Serwer zarządzania działający bez zewnętrznego konsumenta zdarzeń AMQP może doświadczać wysokiego użycia pamięci RAM i wewnętrznego miejsca na dysku. 
  • System, w którym występuje wysokie zużycie pamięci, doświadcza większych niż zwykle opóźnień podczas wykonywania poleceń CLI lub GUI.  
  • System, w którym zabraknie miejsca na dysku wewnętrznym na partycji głównej, nie będzie mógł zapisywać danych na tej partycji (podczas gdy VPLEX będzie nadal zapisywać logi na innych partycjach, kilka usług linuksowych używa partycji głównej i nie będzie w stanie rejestrować dalszych zdarzeń).

Objaw 1:
Duża ilość pamięci RAM jest używana przez rabbitmq.
 
service@ManagementServer:~>top
 
top - 13:17:26 w górę 103 dni, 13 min, 20 użytkowników, średnia obciążeń: 0.28, 0.34, 0.36
Zadania: 201 łącznie, 1 uruchomiony, 200 śpiący, 0 zatrzymany, 0 zombie
Procesor(y): 12,3%us, 0.9%sy, 0.0%ni, 85.0%id, 1.5%wa, 0.0%hi, 0.2%si, 0.0%st
Pamięć:   3920396 tys. ogółem, 3448376 tys. używane, 472020 tys. wolne, 14752 tys.
Zamiana:  8388604k ogółem, 413608k używane, 7974996k wolne, 1781800k buforowane
 
PID UŻYTKOWNIK PR NI VIRT  RES SHR S %CPU %MEM TIME+ POLECENIE
22674 rabbitmq 20 0 3.4g 3.7g 2040 S 2 87.9 225:09.39 beam.smp
16302 serwis 20 0 2975m 1.1g 9232 S 2 2.4 561:18.54 java
 
Objaw 2:
Alerty Call homes o wysokim lub krytycznym wykorzystaniu miejsca na dysku.
Gdy partycja główna na serwerze zarządzania osiągnie 90% dostępnego miejsca, zostanie wyświetlone następujące wywołanie główne
.
 
<Identyfikator>0x8a4a31fb</identyfikator>
<Nazwa>SMS_PARTITION_HIGH_CAPACITY</nazwa><
serwera> BŁĄD </ważność><
customerRCA> Partycja na serwerze zarządzania osiągnęła dużą pojemność.</klientRCA >
 
Gdy partycja główna zostanie zapełniona, zostanie wyświetlone następujące wywołanie główne.
 
<Identyfikator>0x8a4a61fa</nazwa><>
identyfikatora SMS_PARTITION_CRITICAL_CAPACITY</nazwa><
serwerowości> BŁĄD </ważność><
customerRCAPartycja na serwerze zarządzania przekroczyła krytyczny próg pojemności.<>/klientRCA >
 
Objaw 3:
Duża ilość miejsca na dysku jest wykorzystywana przez rabbitmq.
 
service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # du -shx *
4.0K cluster_nodes.config
4.0K DECISION_TAB. LOG
4,0 tys. NAJNOWSZYCH. REJESTRUJ
32 tys. msg_store_persistent14G msg_store_transient <<<<4,0 tys. nodes_running_at_shutdown 408 mln kolejek 4,0 tys. rabbit_durable_exchange.


DCD
4,0 tys. rabbit_durable_queue. DCD
4,0 tys. rabbit_durable_queue. DCL
4,0 tys. rabbit_durable_route. DCD
4,0 tys. rabbit_runtime_parameters. DCD
8,0 tys. rabbit_runtime_parameters. DCL
4,0 tys. rabbit_serial
4,0 tys. rabbit_user. DCD
4,0 tys. rabbit_user_permission. DCD
4,0 tys. rabbit_vhost. DCD

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # df -h
Używany rozmiar systemu plików Dostępny Use% Zamontowane na
/dev/sda5 20G 19G 692K 100% / <<<<
udev 1.9G 196K 1.9G 1% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/sda1 504M 60M 420M 13% /boot
/dev/sda7 16G 4.1G 11G 27% /var/log
/dev/sda8 44G 5.0G 37G 13% /diag
/dev/sda9 9.9G 151M 9.2G 2% /data

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # ls -lah msg_store_transient/ | głowa
ogółem 14G
drwxr-x--- 1 rabbitmq rabbitmq 12K Lis 13 11:14 .
drwxr-x--- 1 rabbitmq rabbitmq 734 lis 13 15:03 ..
-rw-r----- 1 rabbitmq rabbitmq 15M Lis 6 05:: 51 0.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M 13 listopada 05:19 1000.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M 13 listopada 05:21 1001.rdq-rw-r
----- 1 rabbitmq 17M lis 13 05:22 1002.rdq-rw-r
----- 1 rabbitmq 17M lis 13 05:23 1003.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M 13 listopada 05:25 1004.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M lis 13 05:30 1005.rdq


Objaw 4:
Duża liczba komunikatów w zewnętrznej kolejce komunikatów.
 
service@sms-bali-2:~>sudo rabbitmqctl list_queues
Lista kolejek ...
Aliveness-test 0
queue.vplex.external    1749909 <<<<<
queue.vplex.ndu.events 0
sms_internal 0...
Zrobić.
 

Cause

  • RabbitMQ podejmie próbę zachowania wszystkich zdarzeń do momentu ich wykorzystania lub osiągnięcia progu zużycia pamięci. 
  • W przypadku VPLEX obecnie nie ma domyślnego odbiorcy dla queue.vplex.external. 
  • Jeśli ta opcja nie zostanie zaznaczona, rozmiar kolejki może urosnąć do bardzo dużych rozmiarów. 
  • Gdy zużycie pamięci osiągnie 20%, RabbitMQ zapisze kolejkę na dysku, który z kolei zajmuje miejsce na dysku głównym. 

Resolution

Obejście 1:
Z poziomu serwera zarządzania uruchom ponownie serwer rabbitmq przy użyciu następującego polecenia

sudo service rabbitmq-server restart

Przykładowe dane wyjściowe:

service@ManagementServer:~>
rabbitmq-serwer.
Ponowne uruchamianie serwera rabbitmq: SUCCESS
sudo service rabbitmq-server restartservice@ManagementServer:~>  
 

Obejście 2:
Z poziomu serwera zarządzania uruchom ponownie serwer zarządzania przy użyciu następującego polecenia:

sudo shutdown r teraz

Przykładowe dane wyjściowe:
service@ManagementServer:~>sudo shutdown -r now

Broadcast message from root (pts/0) (Mon Mar 5 19:33:18, 2018):

The system goes down for reboot NOW!


Notatka:
Następnie pojawi się komunikat o błędzie krytycznym PuTTY z informacją "Serwer nieoczekiwanie zamknął połączenie sieciowe"

Trwała poprawka:
Ten problem został rozwiązany w GeoSynchrony 5.5 i nowszych.

Affected Products

VPLEX Series

Products

VPLEX for All Flash, VPLEX GeoSynchrony, VPLEX Series, VPLEX VS1, VPLEX VS2
Article Properties
Article Number: 000170841
Article Type: Solution
Last Modified: 20 Nov 2020
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.