O NetWorker - RabbitMQ trava durante a inicialização
Resumo: O NetWorker é inicializado, mas fica inativo após alguns segundos.
Sintomas
O cliente descobriu que o NMC está travando e todos os fluxos de trabalho estão no modo agendado.
A reinicialização do servidor NetWorker e do SO não resolve o problema.
Nem todos os processos nsr estão em execução (nsrexecd está ativo, mas nssrmmd não)
Causa
No log daemon.raw, vemos muitas falhas do RabbitMQ antes do desligamento do nsr de todos os nsrmmd.
Esta é a falha:
0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: RabbitMQ 3.6.14. Copyright (C) 2007-2017 Pivotal Software, Inc. 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: ## ## Licensed under the MPL. See http://www.rabbitmq.com/ 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: ## ## 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: ########## Logs: /opt/nsr/rabbitmq-server-3.6.14/var/log/rabbitmq/rabbit@NWServLnx.log 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: ###### ## /opt/nsr/rabbitmq-server-3.6.14/var/log/rabbitmq/rabbit@NWServLnx-sasl.log 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: ########## 0 04/07/2020 09:17:57 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: Starting broker... 0 04/07/2020 09:18:00 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: {"Kernel pid terminated",application_controller,"{application_start_failure,rabbit,{bad_return,{{rabbit,start,[normal,[]]},{'EXIT',{error,{{shutdown,{failed_to_start_child,rabbit_memory_monitor,{badarg,[{lists,member,[disk,{error,bad_module}],[]}, {rabbit_memory_monitor,init,1,[{file,\"src/rabbit_memory_monitor.erl\"},{line,111}]},{gen_server2,init_it,6,[{file,\"src/gen_server2.erl\"}, {line,546}]},{proc_lib,init_p_do_apply,3,[{file,\"proc_lib.erl\"},{line,247}]}]}}}, {child,undefined,rabbit_memory_monitor_sup,{rabbit_restartable_sup,start_link,[rabbit_memory_monitor_sup,{rabbit_memory_monitor,start_link,[]},false]},transient,infinity,supervisor,[rabbit_restartable_sup]}}}}}}}"}^M 0 04/07/2020 09:18:00 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: Kernel pid terminated (application_controller) ({application_start_failure,rabbit,{bad_return,{{rabbit,start,[normal,[]]},{'EXIT',{error,{{shutdown,{failed_to_start_child,rabbit_memory_monitor,{badarg^M 0 04/07/2020 09:18:00 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: ^M 0 04/07/2020 09:18:00 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: Crash dump is being written to: erl_crash.dump... 0 04/07/2020 09:18:02 AM 1 5 0 557012736 2127 0 NWServLnx nsrctld NSR notice rmq: done^M
Temos a mesma assinatura do KB 534881 e alguns casos em que / estava cheio.
No meu caso, NW foi instalado em /opt e este ponto de montagem não estava cheio, com 42 MB de espaço livre:
Filesystem Size Used Avail Use% Mounted on /dev/sda1 9.9G 3.6G 5.8G 39% / devtmpfs 16G 8.0K 16G 1% /dev tmpfs 16G 0 16G 0% /dev/shm /dev/sdc1 10G 9.9G 42M 96% /opt << NW was installed here
Na verdade, RabbitMQ exigiu no mínimo 50 MB de espaço livre.
Consulte: https://community.pivotal.io/s/article/Unable-to-Start-rabbitmqserver-Node-after-Upgrading-RabbitMQ-for-Pivotal-Cloud-Foundry