NetWorker: servidor intermitentemente sem resposta devido a chamadas API REST não limpas

Problemas relatados:

• O servidor do NetWorker (nsrd) fica sem resposta.
• As operações de proteção do NetWorker paralisam ou falham, relatando vários erros relacionados à conexão; por exemplo "RPC connection timed out" ou "Connection limit reached"
• As interfaces do usuário do NetWorker param de responder ou falham ao se conectar:
  • NetWorker Management Console (NMC)
  • Interface do usuário da Web do NetWorker (NWUI)
  • nsrwatch
  • nsradmin
• O ambiente é configurado com utilitários de geração de relatórios da API REST que se conectam ao servidor do NetWorker para gerar relatórios ou criação de tíquetes.
• O servidor do NetWorker é 19.13.0.0 > , 19.13.0.3 ou 19.14.0.0

Cada solicitação da API REST do NetWorker executa uma verificação de autenticação na AUTHC Serviço. As solicitações de API estão criando conexões com o AUTHC serviço, mas essas conexões não estão sendo fechadas depois.

[root@nsr ~]# netstat -apno | grep jsvc | head
tcp6       0      0 :::9090                 :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 :::36523                :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 ::1:60705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6550.56/0/0)
tcp6       0      0 ::1:45705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6407.22/0/0)
tcp6       0      0 ::1:36707               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6825.20/0/0)
tcp6       0      0 ::1:57761               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6731.29/0/0)
tcp6       0      0 ::1:51473               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6242.11/0/0)
tcp6       0      0 ::1:58453               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6446.28/0/0)
tcp6       0      0 ::1:53133               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6689.33/0/0)
tcp6       0      0 ::1:49749               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6618.93/0/0)

[root@nsr ~]# netstat -apno | grep jsvc | wc -l
4050

Neste exemplo, há 4.050 conexões associadas ao NetWorker AUTHC serviço (jsvc).

Este é um exemplo exagerado de um ambiente de laboratório em que a API REST era consultada uma vez por segundo. Em um ambiente de produção, o problema pode se tornar aparente com um número muito menor de AUTHC conexões porque outras operações, dispositivos e fluxos de trabalho de proteção do NetWorker também consomem conexões disponíveis e recursos do sistema.

Em condições normais, dois jsvc processos estão presentes enquanto o servidor do NetWorker está em execução. Adicionais jsvc-related conexões podem aparecer temporariamente dependendo das operações que estão sendo executadas, mas devem fechar quando não são mais necessárias. Não se espera que haja dezenas ou milhares de jsvc Conexões restantes no keepalive Estado por períodos prolongados.

A correção de código NETWORKER-127181 é esperada nas seguintes versões do NetWorker:

• 19.13.0.4
• 19.14.0.1

Solução temporária:

Reiniciar Serviços do servidor do NetWorker:

• Linux: systemctl restart networker
• Windows (sintaxe do PowerShell): net stop nsrd ; net start nsrd

Garantir OS TCP e há práticas recomendadas do kernel: NetWorker: práticas recomendadas para configuração de rede