Avamar. Пользовательский интерфейс ADME пуст, отображается пустое содержимое из-за использования пространства «/»

Файл журнала был удален, емкость уменьшилась, в результате чего пользовательский интерфейс можно было заполнить.
  

root@<avamar-host>:/atoadmin/tmp/atocfg2/#: cp autotapeout2.stat /data01/.
root@<avamar-host>:/atoadmin/tmp/atocfg2/#: rm -rf autotapeout2.stat
root@<avamar-host>:/atoadmin/log/#: df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda5             7.9G  6.2G  1.4G  83% /
udev                   16G  256K   16G   1% /dev
tmpfs                  16G     0   16G   0% /dev/shm
/dev/sda1             114M   54M   55M  50% /boot
/dev/sda3             1.8T  105G  1.7T   6% /data01
/dev/sda7             1.5G  171M  1.3G  12% /var
/dev/sdb1             1.9T   61G  1.8T   4% /data02
/dev/sdc1             1.9T   60G  1.8T   4% /data03
root@<avamar-host>:/atoadmin/log/#:

Рекомендуется перезапустить пользовательский интерфейс ADMe после:

root@<avamar-host>:/data01/#: adme -gui stop

Веб-интерфейс ADMe остановлен.

root@<avamar-hostname>:/data01/#: adme -gui start

Служба веб-интерфейса ADMe успешно запущена PID=[122153]
Для запуска перейдите по URL-адресу в браузере. 

https://<avamar-hostname>:8888

root@<avamar-host>:/data01/#:
root@<avamar-host>:/data01/#: adme -gui status

Запущена служба веб-интерфейса ADMe PID=[122153]
Для запуска веб-интерфейса перейдите в браузере по URL-адресу https://< avamar-hostname>:8888

root@<avamar-host>:/data01/#:

После открытия пользовательского интерфейса ADMe (https://Avamar-URL:8888) и входа в него пользовательский интерфейс ADMe отображает пустую страницу без ресурсов и содержимого.

Признаки:
- ADMe показывает пустую белую страницу.
- При просмотре других вкладок или представлений также появляется пустая белая страница, а содержимое также не отображается.

После расследования выяснилось, что корневой каталог '/' заполнен на 100%.

Пользовательский интерфейс ADME можно проверить, если он не регистрируется из-за нехватки места:

1. Состояние пользовательского интерфейса
   1. Это можно проверить с помощью следующей команды, которая проверяет состояние пользовательского интерфейса.

root@<avamar-hostname>:/atoadmin/#: adme -gui status
/usr/local/avamar/bin/adme[18520]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18528]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18535]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18548]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18554]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18564]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18567]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18568]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18569]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18570]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18571]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18572]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18573]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18574]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18575]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18611]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18612]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18613]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18614]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18615]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18616]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18617]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18618]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18619]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18620]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18621]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18622]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[18623]: echo: write to 1 failed [No space left on device]
/usr/local/avamar/bin/adme[19083]: echo: write to 1 failed [No space left on device]

ADMe WEB-UI service is started PID=[20228]
 To launch Web-UI, point your browser to URL -  https://<avamar-hostname>:8888

root@<avamar-hostname>:/atoadmin/#:

2- df -h
Чтобы определить файлы, занимающие большую емкость, выполните следующие действия.

root@<avamar-hostname>:/atoadmin/tmp/atocfg2/#: df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda5             7.9G  7.9G     0 100% /
udev                   16G  256K   16G   1% /dev
tmpfs                  16G     0   16G   0% /dev/shm
/dev/sda1             114M   54M   55M  50% /boot
/dev/sda3             1.8T  104G  1.7T   6% /data01
/dev/sda7             1.5G  171M  1.3G  12% /var
/dev/sdb1             1.9T   61G  1.8T   4% /data02
/dev/sdc1             1.9T   60G  1.8T   4% /data03
root@<avamar-hostname>:/atoadmin/tmp/atocfg2/#:

root@<Avamar-hostname>:/atoadmin/#: cd /
root@<Avamar-hostname>://#: perl -e'%h=map{/.\s/;99**(ord$&&7)-$`,$_}`du -hx`;die@h{sort%h}'
0       ./dev
7.7G    .
4.7G    ./usr
2.9G    ./usr/local
2.3G    ./usr/local/avamar
2.1G    ./atoadmin
1.7G    ./atoadmin/tmp
1.6G    ./atoadmin/tmp/atocfg2
1.2G    ./usr/local/avamar/bin
692M    ./usr/local/avamar/lib
508M    ./usr/local/avamar-tomcat-7.0.59
497M    ./usr/local/avamar-tomcat-7.0.59/webapps
437M    ./usr/share
399M    ./usr/local/avamar/tmp
360M    ./usr/java
341M    ./usr/lib64
335M    ./usr/lib
301M    ./opt
294M    ./root
291M    ./root/.avamardata
276M    ./atoadmin/log
201M    ./usr/sbin
188M    ./opt/emc-third-party
182M    ./usr/java/jre1.8.0_131
181M    ./usr/java/jre1.8.0_131/lib
176M    ./usr/java/jre1.8.0_112
175M    ./usr/java/jre1.8.0_112/lib
173M    ./lib
162M    ./lib/modules
160M    ./usr/bin
153M    ./opt/emc-third-party/platform/suse-11-x64/ruby-1.9.1
141M    ./usr/lib64/erlang
136M    ./usr/local/avamar/lib/jetty
127M    ./usr/local/avamar-tomcat-7.0.59/webapps/aam
121M    ./usr/local/avamar-tomcat-7.0.59/webapps/dtlt
115M    ./usr/lib64/erlang/lib
111M    ./usr/share/locale
109M    ./usr/lib/locale

root@<avamar-hostname>:/atoadmin/log/#: ls -lSrh
total 366M
-rwxrwxrwx 1 root root    0 Mar 15 17:06 webui.log.0.lck
-rwxrwxrwx 1 root root    0 May  8 17:27 atoevent.log
-rwxrwxrwx 1 root root    0 Oct 26  2016 1
-rwxrwxrwx 1 root root  13K Apr 14  2017 admbatch-ADM.log
-rwxrwxrwx 1 root root  25K Nov  9 14:47 admbatch-LINUXFS.log
-rwxrwxrwx 1 root root  28K Apr 19  2017 atoevent.log20
-rwxrwxrwx 1 root root  31K Apr 17 03:15 recapture_history.log
-rwxrwxrwx 1 root root  80K Mar 15 17:06 nohup.out
-rwxrwxrwx 1 root root 196K Apr 10 07:46 admbatch-HYPERV2.log
-rwxrwxrwx 1 root root 241K Apr 18  2017 admbatch-HYPERV.log
-rwxrwxrwx 1 root root 346K Apr 27 08:59 atoevent.log3
-rwxrwxrwx 1 root root 637K Apr 13  2016 admbatch-ONDEMAND.log
-rwxrwxrwx 1 root root 671K May  7 15:32 atoevent.log2
-rwxrwxrwx 1 root root 1.2M Apr 27 08:59 admbatch-WINFS.log
-rwxrwxrwx 1 root root 1.3M May  1 16:29 admbatch-SQL1.log
-rwxrwxrwx 1 root root 1.6M May  3 20:08 admbatch-SQL.log
-rwxrwxrwx 1 root root 2.5M Apr  7 02:37 admbatch-HYPERV1.log
-rwxrwxrwx 1 root root 2.7M Apr 20 08:51 admbatch-NDMP.log
-rwxrwxrwx 1 root root 8.9M May  9 11:06 webui.log.0
-rwxrwxrwx 1 root root  11M Jun 13  2017 webui.log.4
-rwxrwxrwx 1 root root  11M Jan 17 19:10 webui.log.1
-rwxrwxrwx 1 root root  11M Aug  8  2017 webui.log.3
-rwxrwxrwx 1 root root  93M May  9 11:15 admbatch-NDMP1.log
-rwxrwxrwx 1 root root 223M Sep 20  2017 webui.log.2


 

При дальнейшем изучении проблемы было обнаружено, что ADMe вел журнал в этом файле в течение трех дней подряд, отображая следующее сообщение.

root@<avamar-hostname>:/atoadmin/log/#: tail -20 webui.log.2
 >>> Waiting for -migrate phase to begin before initiating the cancel operation 
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
................................................

В этом сценарии ADMe не удается подключиться к диспетчерам или сессиям Avamar, не удается инициировать команды обслуживания и сбои продолжают продолжаться в течение трех дней после этого.

Sep 18, 2017 5:05:34 PM com.avamar.pss.server.ATOServiceImpl runADMECommand
INFO: Output : 0  ERROR!  Exit code 15: Cannot connect to Avamar dispatcher
ERROR: avmaint: cpstatus: cannot connect to server <avamar-hostname> at <avamar-ip>:27000
ERROR: avmaint: gcstatus: cannot        connect to server <avamar-hostname> at <avamar-ip>:27000

 Gathering client/group properties & job stats information...

Sep 18, 2017 5:05:34 PM com.avamar.pss.server.ATOServiceImpl getJobActivities
INFO: Loading Activities for : all from /atoadmin/jobstats/jobactivity.csv
Sep 18, 2017 5:08:37 PM com.avamar.pss.server.ATOServiceImpl runADMECommand
INFO: Output :
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ..
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ...
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ....
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .....
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ......
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .......
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ........
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .........
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ..........
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ...........
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ............
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .............
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ..............
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ...............
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ................
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .................
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ..................
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ...................
 >>> Waiting for -migrate phase to begin before initiating the cancel operation ....................
 >>> Waiting for -migrate phase to begin before initiating the cancel operation .....................

1. Чтобы решить эту проблему, уменьшите загрузку корневой точки монтирования «/» до уровня ниже 100%, что позволит пользовательскому интерфейсу ADMe заполняться правильно.
2. Обратитесь в службу поддержки Dell, чтобы идентифицировать файлы и убедиться, что идентифицированные файлы можно удалить  
3. Когда пространство из корневого каталога «/» будет удалено и объем пространства станет меньше 100%, перезапустите пользовательский интерфейс ADME.

Для решения проблем с пространством обратитесь к аналогичной базе знаний (KB):

Avamar. как определить большие файлы или каталоги, занимающие много дискового пространства на узле Avamar