VPLEX. Сервер управления отмечает высокий уровень использования ОЗУ, памяти и внутреннего дискового пространства

Summary: Сервер управления, работающий без внешнего потребителя событий AMQP, может столкнуться с большим использованием ОЗУ, памяти и внутреннего дискового пространства.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms



  • Сервер управления, работающий без внешнего потребителя событий AMQP, может столкнуться с большим использованием ОЗУ, памяти и внутреннего дискового пространства. 
  • В системе с высоким потреблением памяти задержка при выполнении команд интерфейса командной строки или графического интерфейса пользователя будет выше обычной.  
  • Система, у которой закончилось внутреннее дисковое пространство в корневом разделе, не сможет записывать данные в этот раздел (в то время как VPLEX будет продолжать записывать журналы в другие разделы, некоторые службы Linux используют корневой раздел и не смогут регистрировать дальнейшие события).

Симптом 1:
Большой объем оперативной памяти, используемый rabbitmq.
 
service@ManagementServer:~>top
 
top - 13:17:26 на 103 дня, 13 мин, 20 пользователей, средняя загрузка: 0.28, 0.34, 0.36
Задачи: 201 всего, 1 работающий, 200 спящий, 0 остановленный, 0 зомби
Процессор(ы): 12,3%US, 0,9%SY, 0,0%NI, 85,0%ID, 1,5%WA, 0,0%HI, 0,2%Si, 0,0%ST
Память:   3920396k всего, 3448376k использовано, 472020k свободно, 14752k буферов
Замена:  8388604k всего, 413608k использовано, 7974996k свободно, 1781800k кэшировано
 
PID USER PR NI VIRT  RES SHR S %CPU %MEM TIME+ COMMAND
22674 rabbitmq 20 0 3.4g 3.7g 2040 S 2 87.9 225:09.39 beam.smp
16302 Service 20 0 2975M 1.1G 9232 S 2 2.4 561:18.54 java
 
Симптом 2:
Функция Call Home предупреждает о высоком или критическом использовании дискового пространства.
Когда корневой раздел на сервере управления займет 90% от доступного пространства, появится сообщение
Call Home.
 
<Идентификатор>0x8a4a31fb</имя идентификатора
>><SMS_PARTITION_HIGH_CAPACITY</имя><
серверности> ОШИБКА </серьезность><
customerRCAВ разделе на сервере управления занято большое место.<>/customerRCA >
 
Когда корневой раздел заполнится, вы увидите следующее сообщение Call Home.
 
<Идентификатор>0x8a4a61fa</имя идентификатора
>><SMS_PARTITION_CRITICAL_CAPACITY</имя><
serverity> ОШИБКА </серьезность><
customerRCAВ разделе на сервере управления превышен критический пороговый уровень емкости.<>/customerRCA >
 
Симптом 3:
Rabbitmq использует большой объем дискового пространства.
 
service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # du -shx *
4.0K cluster_nodes.config
4.0K DECISION_TAB. ЖУРНАЛ
4.0K ПОСЛЕДНЯЯ ВЕРСИЯ. РЕГИСТРАЦИЯ 32 КБ msg_store_persistent14Г msg_store_transient <<<<4,0 тыс. nodes_running_at_shutdown 408 млн очередей 4,0 тыс. rabbit_durable_exchange
.


DCD
4.0K rabbit_durable_queue. DCD
4.0K rabbit_durable_queue. DCL
4.0K rabbit_durable_route. DCD
4.0K rabbit_runtime_parameters. DCD
8.0K rabbit_runtime_parameters. DCL
4.0K rabbit_serial
4.0K rabbit_user. DCD
4.0K rabbit_user_permission. DCD
4.0K rabbit_vhost. DCD

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # df -h
Размер используемой файловой системы Доступное использование % Смонтировано на
/dev/sda5 20G 19G 692K 100% / <<<<
udev 1.9G 196K 1.9G 1% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/sda1 504M 60M 420M 13% /boot
/dev/sda7 16G 4.1G 11G 27% /var/log
/dev/sda8 44G 5.0G 37G 13% /diag
/dev/sda9 9.9G 151M 9.2G 2% /data

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # ls -lah msg_store_transient/ | голова
всего 14G
drwxr-x--- 1 rabbitmq rabbitmq 12K Nov 13 11:14 .
drwxr-x--- 1 rabbitmq rabbitmq 734 13 ноя 15:03 ..
-rw-r----- 1 rabbitmq rabbitmq 15M 6 ноя 05:51 0.rdq-rw-r
----- 1 rabbitmq rabbitmq 17 мин 13 ноя 05:19 1000.rdq-rw-r
----- 1 rabbitmq 17 мин 13 ноя 05:21 1001.rdq-rw-r
----- 1 rabbitmq rabbitmq 17 мин 13 ноя 05:22 1002.rdq-rw-r
----- 1 rabbitmq 17 мин 13 ноя 05:23 1003.rdq-rw-r
----- 1 rabbitmq rabbitmq 13 ноя 13 05:25 1004.rdq-rw-r
----- 1 rabbitmq 17 мин 13 ноя 05:30 1005.rdq


Симптом 4:
Большое количество сообщений во внешней очереди сообщений.
 
service@sms-bali-2:~>sudo rabbitmqctl list_queues
Перечисление очередей ...
Aliveness-test 0
queue.vplex.external    1749909 <<<<<
queue.vplex.ndu.events 0
sms_internal 0...
Договорились.
 

Cause

  • RabbitMQ будет пытаться сохранять все события до тех пор, пока события не будут использованы или не будет достигнут порог потребления памяти. 
  • В настоящее время для VPLEX нет потребителя по умолчанию для queue.vplex.external. 
  • Если этот флажок не установлен, размер очереди может вырасти до очень большого размера. 
  • Как только потребление памяти достигнет 20%, RabbitMQ запишет очередь на диск, который, в свою очередь, использует корневое дисковое пространство. 

Resolution

Временное решение 1.
На сервере управления перезапустите сервер rabbitmq с помощью следующей команды

sudo service rabbitmq-server restart

Пример вывода:

service@ManagementServer:~>
rabbitmq-сервер.
Перезапуск rabbitmq-сервера: УСПЕХ
sudo service rabbitmq-server restartservice@ManagementServer:~>  
 

Временное решение 2.
На сервере управления перезапустите сервер управления с помощью следующей команды:

sudo shutdown r now

Пример вывода:
service@ManagementServer:~>sudo shutdown -r now

Широковещательное сообщение от root (pts/0) (Пнд 5 марта 2018 19:33:18):

Система отключается для перезагрузки СЕЙЧАС!


Примечание:
Затем появится всплывающее сообщение PuTTY Fatal Error с сообщением «Сервер неожиданно закрыл сетевое подключение»Постоянное

исправление:
Эта проблема была устранена в GeoSynchrony 5.5 и более поздних версиях.

Affected Products

VPLEX Series

Products

VPLEX for All Flash, VPLEX GeoSynchrony, VPLEX Series, VPLEX VS1, VPLEX VS2
Article Properties
Article Number: 000170841
Article Type: Solution
Last Modified: 20 Nov 2020
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.