VPLEX: Beheerserver ervaart een hoog RAM-geheugengebruik en intern schijfruimtegebruik

Summary: beheerserver die wordt uitgevoerd zonder een externe AMQP-gebeurtenisconsument, kan te maken krijgen met een hoog RAM-geheugengebruik en intern schijfruimtegebruik.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms



  • Een beheerserver die wordt uitgevoerd zonder een externe AMQP-gebeurtenisconsument, kan te maken krijgen met een hoog RAM-geheugengebruik en intern schijfruimtegebruik. 
  • Een systeem met een hoog geheugenverbruik zal een hogere latentie dan normaal ervaren bij het uitvoeren van CLI- of GUI-opdrachten.  
  • Een systeem dat geen interne schijfruimte meer heeft op de hoofdpartitie kan niet naar die partitie schrijven (terwijl VPLEX logbestanden blijft schrijven naar andere partities, gebruiken verschillende Linux-services de hoofdpartitie en kunnen ze geen verdere gebeurtenissen loggen).

Symptoom 1:
Grote hoeveelheid RAM-geheugen wordt gebruikt door rabbitmq.
 
service@ManagementServer:~>top
 
top - 13:17:26 up 103 days, 13 min, 20 users, load average: 0.28, 0.34, 0.36
Taken: 201 totaal, 1 lopend, 200 slapend, 0 gestopt, 0 zombie
Cpu('s): 12.3%US, 0.9%sy, 0.0%NI, 85.0%ID, 1.5%WA, 0.0%HI, 0.2%SI, 0.0%st
Mem:   3920396k totaal, 3448376k gebruikt, 472020k vrij, 14752k buffers
Swap:  8388604k totaal, 413608k gebruikt, 7974996k vrij, 1781800k gecached
 
PID USER PR NI VIRT  RES SHR S %CPU %MEM TIME+ COMMAND
22674 rabbitmq 20 0 3.4g 3.7g 2040 S 2 87.9 225:09.39 beam.smp
16302 service 20 0 2975m 1.1g 9232 S 2 2.4 561:18.54 java
 
Symptoom 2:
Call Homes waarschuwt voor hoog of kritiek schijfruimtegebruik.
Wanneer de hoofdpartitie op de beheerserver 90% van de beschikbare ruimte bereikt, ziet u de volgende
call home.
 
<ID>0x8a4a31fb</ID-naam
>><SMS_PARTITION_HIGH_CAPACITY</naam><
serverity> FOUT </ernst><
customerRCA>Een partitie op uw beheerserver heeft een hoge capaciteit bereikt.</customerRCA >
 
Wanneer de rootpartitie vol raakt, ziet u de volgende call home.
 
<ID>0x8a4a61fa</ID-naam
>><SMS_PARTITION_CRITICAL_CAPACITY</naam><
serverity> FOUT </ernst><
customerRCA>Een partitie op uw beheerserver heeft een kritieke capaciteitsdrempelwaarde overschreden.</customerRCA >
 
Symptoom 3:
Een grote hoeveelheid schijfruimte wordt gebruikt door rabbitmq.
 
service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # du -shx *
4.0K cluster_nodes.config
4.0K DECISION_TAB. LOG
4.0K LAATSTE. LOG 32K msg_store_persistent
14G msg_store_transient <<<<4.0K nodes_running_at_shutdown 408M wachtrijen 4.0K rabbit_durable_exchange.


DCD
4,0K rabbit_durable_queue. DCD
4,0K rabbit_durable_queue. DCL
4.0K rabbit_durable_route. DCD
4,0K rabbit_runtime_parameters. DCD
8.0K rabbit_runtime_parameters. DCL
4,0K rabbit_serial
4,0K rabbit_user. DCD
4,0K rabbit_user_permission. DCD
4,0K rabbit_vhost. DCD

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # df -h
Gebruikte grootte bestandssysteem Beschikbaar gebruik% Gemonteerd op
/dev/sda5 20G 19G 692K 100% / <<<<
udev 1,9G 196K 1,9G 1% /dev
tmpfs 1,9G 0 1,9G 0% /dev/shm
/dev/sda1 504M 60M 420M 13% /boot
/dev/sda7 16G 4,1G 11G 27% /var/log
/dev/sda8 44G 5,0G 37G 13% /diag
/dev/sda9 9.9G 151M 9.2G 2% /data

service@ManagementServer:/var/lib/rabbitmq/mnesia/rabbit@localhost # ls -lah msg_store_transient/ | head
total 14G
drwxr-x--- 1 rabbitmq rabbitmq 12K Nov 13 11:14 .
drwxr-x--- 1 rabbitmq rabbitmq 734 nov 13 15:03 ..
-rw-r----- 1 rabbitmq rabbitmq 15M 6 nov 05:05:05 51 0.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:19 1000.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:21 1001.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:22 1002.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:23 1003.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:25 1004.rdq-rw-r
----- 1 rabbitmq rabbitmq 17M Nov 13 05:30 1005.rdq


Symptoom 4:
Een groot aantal berichten in de externe berichtenwachtrij.
 
service@sms-bali-2:~>sudo rabbitmqctl list_queues
Lijst wachtrijen ...
aliveness-test 0
queue.vplex.external    1749909 <<<<<
queue.vplex.ndu.events 0
sms_internal 0...
Gedaan.
 

Cause

  • RabbitMQ probeert alle gebeurtenissen te bewaren totdat de gebeurtenissen zijn verbruikt of de drempelwaarde voor geheugengebruik is bereikt. 
  • Voor de VPLEX is er momenteel geen standaardconsument voor queue.vplex.external queue. 
  • Als deze optie niet wordt aangevinkt, kan de wachtrijgrootte erg groot worden. 
  • Zodra het geheugenverbruik 20% bereikt, zal RabbitMQ de wachtrij naar schijf schrijven, die op zijn beurt rootschijfruimte gebruikt. 

Resolution

Tijdelijke oplossing 1:
Start vanuit de beheerserver de rabbitmq-server opnieuw op met de volgende opdracht

Sudo Service RabbitMQ-Server opnieuw opstarten

Voorbeeldresultaat:

service@ManagementServer:~>
rabbitmq-server.
Rabbitmq-server herstarten: SUCCES
sudo service rabbitmq-server restartservice@ManagementServer:~>  
 

Tijdelijke oplossing 2:
Start vanaf de beheerserver de beheerserver opnieuw op met behulp van de volgende opdracht:

sudo shutdown r now

Voorbeeldresultaat:
service@ManagementServer:~>sudo shutdown -r now

Broadcast message from root (pts/0) (Mon Mar 5 19:33:18 2018):

The system is going down for reboot NOW!


Opmerking:
Vervolgens verschijnt er een PuTTY Fatal Error-bericht met de melding "Server onverwacht gesloten netwerkverbinding"

Permanente oplossing:
Dit probleem is opgelost in GeoSynchrony 5.5 en hoger.

Affected Products

VPLEX Series

Products

VPLEX for All Flash, VPLEX GeoSynchrony, VPLEX Series, VPLEX VS1, VPLEX VS2
Article Properties
Article Number: 000170841
Article Type: Solution
Last Modified: 20 Nov 2020
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.