Авамар: Інтерфейс ADME порожній, показує порожній вміст через використання простору '/'
Summary: Avamar Data Migration Enabler (ADME) порожній і не заповнюється через слеш кореня '/' 100%.
Symptoms
Файл журналу було видалено, а ємність була зменшена, і в результаті інтерфейс користувача міг бути заповнений після.
root@<avamar-host>:/atoadmin/tmp/atocfg2/#: cp autotapeout2.stat /data01/.
root@<avamar-host>:/atoadmin/tmp/atocfg2/#: rm -rf autotapeout2.stat
root@<avamar-host>:/atoadmin/log/#: df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda5 7.9G 6.2G 1.4G 83% /
udev 16G 256K 16G 1% /dev
tmpfs 16G 0 16G 0% /dev/shm
/dev/sda1 114M 54M 55M 50% /boot
/dev/sda3 1.8T 105G 1.7T 6% /data01
/dev/sda7 1.5G 171M 1.3G 12% /var
/dev/sdb1 1.9T 61G 1.8T 4% /data02
/dev/sdc1 1.9T 60G 1.8T 4% /data03
root@<avamar-host>:/atoadmin/log/#:
Рекомендується перезавантажити інтерфейс ADMe після того, як:
root@<avamar-host>:/data01/#: adme -gui stop
ADMe WEB-UI було зупинено.
root@<avamar-hostname>:/data01/#: adme -gui start
Сервіс ADMe WEB-UI успішно запущений PID=[122153]
Щоб запустити, наведіть браузер на URL.
https://<avamar-hostname>:8888
root@<avamar-host>:/data01/#:
root@<avamar-host>:/data01/#: adme -gui status
Запущено службу ADMe WEB-UI PID=[122153]
Щоб запустити Web-UI, направте свій браузер на URL - https://< avamar-hostname>:8888
root@<avamar-host>:/data01/#:
Після відкриття та входу в ADMe UI (https://Avamar-URL:8888) інтерфейс ADMe UI показує порожню сторінку без ресурсів і вмісту.
Симптоми:
- ADMe показує порожню білу сторінку.
- При переході на інші вкладки або подання також з'являється порожня біла сторінка, а вміст також не відображається.
Cause
Після розслідування з'ясувалося, що кореневий каталог '/' заповнений на 100%.
ADME UI можна перевірити, якщо він не ведеться в журналі через пробіл:
- Статус інтерфейсу користувача
- Це можна перевірити за допомогою наведеної нижче команди, яка перевіряє статус інтерфейсу користувача.
root@<avamar-hostname>:/atoadmin/#: adme -gui status /usr/local/avamar/bin/adme[18520]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18528]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18535]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18548]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18554]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18564]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18567]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18568]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18569]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18570]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18571]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18572]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18573]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18574]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18575]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18611]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18612]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18613]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18614]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18615]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18616]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18617]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18618]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18619]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18620]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18621]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18622]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[18623]: echo: write to 1 failed [No space left on device] /usr/local/avamar/bin/adme[19083]: echo: write to 1 failed [No space left on device] ADMe WEB-UI service is started PID=[20228] To launch Web-UI, point your browser to URL - https://<avamar-hostname>:8888 root@<avamar-hostname>:/atoadmin/#:
2- df -h
Щоб визначити файли, які споживають ємність, дотримуйтесь наступних кроків:
root@<avamar-hostname>:/atoadmin/tmp/atocfg2/#: df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda5 7.9G 7.9G 0 100% /
udev 16G 256K 16G 1% /dev
tmpfs 16G 0 16G 0% /dev/shm
/dev/sda1 114M 54M 55M 50% /boot
/dev/sda3 1.8T 104G 1.7T 6% /data01
/dev/sda7 1.5G 171M 1.3G 12% /var
/dev/sdb1 1.9T 61G 1.8T 4% /data02
/dev/sdc1 1.9T 60G 1.8T 4% /data03
root@<avamar-hostname>:/atoadmin/tmp/atocfg2/#:
Змініть каталог на точку монтування '/' і виконайте наступну команду Perl.
Ця команда perl відображає дерево каталогів/файлів, відсортованих за розміром.
root@<Avamar-hostname>:/atoadmin/#: cd /
root@<Avamar-hostname>://#: perl -e'%h=map{/.\s/;99**(ord$&&7)-$`,$_}`du -hx`;die@h{sort%h}'
0 ./dev
7.7G .
4.7G ./usr
2.9G ./usr/local
2.3G ./usr/local/avamar
2.1G ./atoadmin
1.7G ./atoadmin/tmp
1.6G ./atoadmin/tmp/atocfg2
1.2G ./usr/local/avamar/bin
692M ./usr/local/avamar/lib
508M ./usr/local/avamar-tomcat-7.0.59
497M ./usr/local/avamar-tomcat-7.0.59/webapps
437M ./usr/share
399M ./usr/local/avamar/tmp
360M ./usr/java
341M ./usr/lib64
335M ./usr/lib
301M ./opt
294M ./root
291M ./root/.avamardata
276M ./atoadmin/log
201M ./usr/sbin
188M ./opt/emc-third-party
182M ./usr/java/jre1.8.0_131
181M ./usr/java/jre1.8.0_131/lib
176M ./usr/java/jre1.8.0_112
175M ./usr/java/jre1.8.0_112/lib
173M ./lib
162M ./lib/modules
160M ./usr/bin
153M ./opt/emc-third-party/platform/suse-11-x64/ruby-1.9.1
141M ./usr/lib64/erlang
136M ./usr/local/avamar/lib/jetty
127M ./usr/local/avamar-tomcat-7.0.59/webapps/aam
121M ./usr/local/avamar-tomcat-7.0.59/webapps/dtlt
115M ./usr/lib64/erlang/lib
111M ./usr/share/locale
109M ./usr/lib/locale
Зрозуміло, що виділені вище каталоги журналів для ADMe ранжувалися зверху за допомогою каталогів.
Перевірка під /atoadmin/log, то webui.log.2 Схоже, що розмір файлу зріс до 223 мегабайт, що є незвично великим у порівнянні з іншими журналами, які зазвичай обертаються на 11 МБ.
root@<avamar-hostname>:/atoadmin/log/#: ls -lSrh
total 366M
-rwxrwxrwx 1 root root 0 Mar 15 17:06 webui.log.0.lck
-rwxrwxrwx 1 root root 0 May 8 17:27 atoevent.log
-rwxrwxrwx 1 root root 0 Oct 26 2016 1
-rwxrwxrwx 1 root root 13K Apr 14 2017 admbatch-ADM.log
-rwxrwxrwx 1 root root 25K Nov 9 14:47 admbatch-LINUXFS.log
-rwxrwxrwx 1 root root 28K Apr 19 2017 atoevent.log20
-rwxrwxrwx 1 root root 31K Apr 17 03:15 recapture_history.log
-rwxrwxrwx 1 root root 80K Mar 15 17:06 nohup.out
-rwxrwxrwx 1 root root 196K Apr 10 07:46 admbatch-HYPERV2.log
-rwxrwxrwx 1 root root 241K Apr 18 2017 admbatch-HYPERV.log
-rwxrwxrwx 1 root root 346K Apr 27 08:59 atoevent.log3
-rwxrwxrwx 1 root root 637K Apr 13 2016 admbatch-ONDEMAND.log
-rwxrwxrwx 1 root root 671K May 7 15:32 atoevent.log2
-rwxrwxrwx 1 root root 1.2M Apr 27 08:59 admbatch-WINFS.log
-rwxrwxrwx 1 root root 1.3M May 1 16:29 admbatch-SQL1.log
-rwxrwxrwx 1 root root 1.6M May 3 20:08 admbatch-SQL.log
-rwxrwxrwx 1 root root 2.5M Apr 7 02:37 admbatch-HYPERV1.log
-rwxrwxrwx 1 root root 2.7M Apr 20 08:51 admbatch-NDMP.log
-rwxrwxrwx 1 root root 8.9M May 9 11:06 webui.log.0
-rwxrwxrwx 1 root root 11M Jun 13 2017 webui.log.4
-rwxrwxrwx 1 root root 11M Jan 17 19:10 webui.log.1
-rwxrwxrwx 1 root root 11M Aug 8 2017 webui.log.3
-rwxrwxrwx 1 root root 93M May 9 11:15 admbatch-NDMP1.log
-rwxrwxrwx 1 root root 223M Sep 20 2017 webui.log.2
Під час подальшого розслідування проблеми було виявлено, що ADMe входив до цього файлу протягом трьох днів поспіль, відображаючи наступне повідомлення.
root@<avamar-hostname>:/atoadmin/log/#: tail -20 webui.log.2
>>> Waiting for -migrate phase to begin before initiating the cancel operation
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
......................................................................................
................................................
У цьому сценарії ADMe не змогла підключитися до диспетчерів або сесій Avamar, не змогла викликати команди обслуговування та продовжувала виходити з ладу протягом трьох днів після цього.
Sep 18, 2017 5:05:34 PM com.avamar.pss.server.ATOServiceImpl runADMECommand
INFO: Output : 0 ERROR! Exit code 15: Cannot connect to Avamar dispatcher
ERROR: avmaint: cpstatus: cannot connect to server <avamar-hostname> at <avamar-ip>:27000
ERROR: avmaint: gcstatus: cannot connect to server <avamar-hostname> at <avamar-ip>:27000
Gathering client/group properties & job stats information...
Sep 18, 2017 5:05:34 PM com.avamar.pss.server.ATOServiceImpl getJobActivities
INFO: Loading Activities for : all from /atoadmin/jobstats/jobactivity.csv
Sep 18, 2017 5:08:37 PM com.avamar.pss.server.ATOServiceImpl runADMECommand
INFO: Output :
>>> Waiting for -migrate phase to begin before initiating the cancel operation .
>>> Waiting for -migrate phase to begin before initiating the cancel operation ..
>>> Waiting for -migrate phase to begin before initiating the cancel operation ...
>>> Waiting for -migrate phase to begin before initiating the cancel operation ....
>>> Waiting for -migrate phase to begin before initiating the cancel operation .....
>>> Waiting for -migrate phase to begin before initiating the cancel operation ......
>>> Waiting for -migrate phase to begin before initiating the cancel operation .......
>>> Waiting for -migrate phase to begin before initiating the cancel operation ........
>>> Waiting for -migrate phase to begin before initiating the cancel operation .........
>>> Waiting for -migrate phase to begin before initiating the cancel operation ..........
>>> Waiting for -migrate phase to begin before initiating the cancel operation ...........
>>> Waiting for -migrate phase to begin before initiating the cancel operation ............
>>> Waiting for -migrate phase to begin before initiating the cancel operation .............
>>> Waiting for -migrate phase to begin before initiating the cancel operation ..............
>>> Waiting for -migrate phase to begin before initiating the cancel operation ...............
>>> Waiting for -migrate phase to begin before initiating the cancel operation ................
>>> Waiting for -migrate phase to begin before initiating the cancel operation .................
>>> Waiting for -migrate phase to begin before initiating the cancel operation ..................
>>> Waiting for -migrate phase to begin before initiating the cancel operation ...................
>>> Waiting for -migrate phase to begin before initiating the cancel operation ....................
>>> Waiting for -migrate phase to begin before initiating the cancel operation .....................Resolution
- Щоб вирішити проблему, зменшіть використання кореневої точки монтування '/', щоб знизити її до 100%, що дозволить інтерфейсу ADMe правильно заповнюватися.
- Проконсультуйтеся зі службою підтримки Dell, щоб ідентифікувати файли та підтвердити, що ідентифіковані файли можна видалити
- Як тільки пробіл буде видалено з кореневого '/' і пробіл стане менше 100%, перезапустіть ADME UI.
Additional Information
Зверніться до аналогічної бази знань (KB) для вирішення проблем із простором: