ViPR SRM | Watch4net: додатковий бекенд слухає, але заповнений помилками закриття потоку

У різних звітах відсутні метрики, властивості. Балансувальник навантаження та арбітр не відправляють дані на додаткові бекенди, хоча бекенди показують як запущені. Подальше дослідження додаткового бекенду виявляє таку помилку в журналах:

WARNING -- [2017-01-10 15:16:15 EST] -- AbstractCollector::flushNext(): Error flushing Connector-Backend3
com.watch4net.apg.v2.collector.PipeError: Can't write to backend2.host.local:2300
   at com.watch4net.apg.v2.collector.plugins.SocketConnector.sendBuffer(SocketConnector.java:441)
   at com.watch4net.apg.v2.collector.plugins.SocketConnector.commit(SocketConnector.java:409)
   at com.watch4net.apg.v2.collector.plugins.SocketConnector.flushData(SocketConnector.java:452)
   at com.watch4net.apg.v2.collector.plugins.loadbalancer.decision.chain.AbstractEndPointElement.flushData(AbstractEndPointElement.java:63)
   at com.watch4net.apg.v2.collector.AbstractCollector.flushNext(AbstractCollector.java:85)
   at com.watch4net.apg.v2.collector.plugins.FailOverFilter.access$1400(FailOverFilter.java:53)
   at com.watch4net.apg.v2.collector.plugins.FailOverFilter$CheckNextComponentAvailabilityTimerTask.run(FailOverFilter.java:906) 
   at java.util.TimerThread.mainLoop(Timer.java:555)
   at java.util.TimerThread.run(Timer.java:505)
Caused by: java.net.ConnectException: Connection refused
   at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
   at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
   at com.watch4net.apg.v2.collector.plugins.SocketConnector.connect(SocketConnector.java:562)
   at com.watch4net.apg.v2.collector.plugins.SocketConnector.ensureConnected(SocketConnector.java:595)
   at com.watch4net.apg.v2.collector.plugins.SocketConnector.sendBuffer(SocketConnector.java:424)

Додатковий бекенд наразі не слухає і містить такі помилки:

WARNING -- [2017-01-03 10:31:28 EST] -- StorageGroup::handleRawData(): Unable to write raw value variable 'x.x.x.x.x.x.x.x.x'! java.io.IOException: Stream Closed

Перезапуск хоста Additional Backends дозволив запустити ці сервіси. Однак у цьому конкретному випадку клієнт не знав, що ABE досягло 100% місткості файлів. Деякі операції більше не працювали через це. Хост потрібно прибрати або додати більше місця.

Кроки усунення несправностей включали наступне:

Запусти "netstat -anp | grep 2..." щоб перевірити, що бекенд-розетки прослуховують порти 2100, 2200, 2300 і 2400:

Host3:~ # netstat -anp | grep -i :2...
tcp 0 0 0.0.0.0:2100 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2101 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22   0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2200 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2201 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2300 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2301 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2400 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2401 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:2050 0.0.0.0:* LISTEN