VPLEX: Hanteringsserver med hög RAM-minnesanvändning och intern diskutrymmesanvändning

Summary: hanteringsserver som körs utan en extern AMQP-händelsekonsument kan uppleva hög RAM-minnesanvändning och intern diskutrymmesanvändning.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms



  • En hanteringsserver som körs utan en extern AMQP-händelsekonsument kan uppleva hög RAM-minnesanvändning och intern diskutrymmesanvändning. 
  • Ett system med hög minnesförbrukning upplever högre latens än normalt när du kör CLI- eller GUI-kommandon.  
  • Ett system som får slut på internt diskutrymme på rotpartitionen kommer inte att kunna skriva till den partitionen (medan VPLEX kommer att fortsätta att skriva loggar till andra partitioner, använder flera Linux-tjänster rotpartitionen och kommer inte att kunna logga ytterligare händelser).

Symptom 1:
Stor mängd RAM-minne används av rabbitmq.
 
service@ManagementServer:~>top
 
top - 13:17:26 upp 103 dagar, 13 min, 20 användare, belastningsgenomsnitt: 0,28, 0,34, 0,36
Uppgifter: 201 totalt, 1 igång, 200 sovande, 0 stoppade, 0 zombie
CPU: 12.3%us, 0.9%sy, 0.0%ni, 85.0%id, 1.5%wa, 0.0%hi, 0.2%si, 0.0%st
Mem:   3920396k totalt, 3448376k används, 472020k gratis, 14752k buffertar
Swap:  8388604k totalt, 413608k används, 7974996k gratis, 1781800k cachad
 
PID USER PR NI VIRT  RES SHR S %CPU %MEM TIME+ COMMAND
22674 rabbitmq 20 0 3.4g 3.7g 2040 S 2 87.9 225:09.39 beam.smp
16302 service 20 0 2975m 1.1g 9232 S 2 2.4 561:18.54 java
 
Symptom 2:
Call Home varnar för hög eller kritisk användning av diskutrymme.
När rotpartitionen på hanteringsservern når 90 % av det tillgängliga utrymmet visas följande
call home.
 
<ID>0x8a4a31fb</ID-namn<>
>SMS_PARTITION_HIGH_CAPACITY</namn><
serveritet> FEL</allvarlighetsgrad><
customerRCA> En partition på hanteringsservern har nått hög kapacitet.</customerRCA >
 
När rotpartitionen blir full visas följande call home.
 
<ID>0x8a4a61fa</ID-namn
>><SMS_PARTITION_CRITICAL_CAPACITY</namn><
serveritet> FEL</allvarlighetsgrad><
customerRCAEn partition på hanteringsservern har överskridit ett tröskelvärde för kritisk kapacitet.<>/customerRCA >
 
Symptom 3:
En stor mängd diskutrymme används av rabbitmq.
 
service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # du -shx *
4.0K cluster_nodes.config
4.0K DECISION_TAB. LOG
4.0K SENASTE. LOG 32 000 msg_store_persistent

14 G msg_store_transient <<<<
4,0 000 nodes_running_at_shutdown
408 miljoner köer
4,0 000 rabbit_durable_exchange. DCD
4.0K rabbit_durable_queue. DCD
4.0K rabbit_durable_queue. DCL
4.0K rabbit_durable_route. DCD
4.0K rabbit_runtime_parameters. DCD
8,0 K rabbit_runtime_parameters. DCL
4,0 K rabbit_serial
4,0 K rabbit_user. DCD
4.0K-rabbit_user_permission. DCD
4.0K rabbit_vhost. DCD

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # df -h
Filsystemets storlek som används Tillgänglig användning% Monterad på
/dev/sda5 20G 19G 692K 100% / <<<<
udev 1.9G 196K 1.9G 1% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/sda1 504M 60M 420M 13% /boot
/dev/sda7 16G 4.1G 11G 27% /var/log
/dev/sda8 44G 5.0G 37G 13% /diag
/dev/sda9 9.9G 151M 9.2G 2% /data

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # ls -lah msg_store_transient/ | huvud
totalt 14G
drwxr-x--- 1 rabbitmq rabbitmq 12K 13 nov 11:14 .
drwxr-x--- 1 rabbitmq rabbitmq 734 Nov 13 15:03 ..
-rw-r----- 1 rabbitmq rabbitmq 15M 6 nov 05:51 0.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:19 1000.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:21 1001.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:22 1002.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:23 1003.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:25 1004.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:30 1005.rdq


Symptom 4:
Ett stort antal meddelanden i den externa meddelandekön.
 
service@sms-bali-2:~>sudo rabbitmqctl list_queues
Lista köer ...
aliveness-test 0
queue.vplex.external    1749909 <<<<<
queue.vplex.ndu.events 0
sms_internal 0...
Gjort.
 

Cause

  • RabbitMQ försöker behålla alla händelser tills händelserna förbrukas eller tröskelvärdet för minnesförbrukning nås. 
  • För VPLEX finns det för närvarande ingen standardkonsument för queue.vplex.external kö. 
  • Om det inte är markerat kan köstorleken bli mycket stor. 
  • När minnesförbrukningen når 20 % kommer RabbitMQ att skriva ut kön till disken som i sin tur använder rotdiskutrymme. 

Resolution

Lösning 1:
Starta om rabbitmq-servern från hanteringsservern med följande kommando

sudo-tjänst rabbitMQ-server omstart

Exempel på utdata:

service@ManagementServer:~>
rabbitMQ-server.
Starta om rabbitmq-servern: FRAMGÅNG
sudo service rabbitmq-server restartservice@ManagementServer:~>  
 

Lösning 2:
Från hanteringsservern startar du om hanteringsservern med följande kommando,

sudo avstängning r nu

Exempel på utdata:
service@ManagementServer:~>sudo avstängning -r nu

Sänd meddelande från root (pts/0) (Mon Mar 5 19:33:18 2018):

Systemet går ner för omstart NU!


Notera:
Då kommer ett PuTTY Fatal Error-meddelande att dyka upp som anger "Servern oväntat stängd nätverksanslutning"

Permanent fix:
Det här problemet åtgärdades i GeoSynchrony 5.5 och senare.

Affected Products

VPLEX Series

Products

VPLEX for All Flash, VPLEX GeoSynchrony, VPLEX Series, VPLEX VS1, VPLEX VS2
Article Properties
Article Number: 000170841
Article Type: Solution
Last Modified: 20 Nov 2020
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.