NetWorker: serwer sporadycznie nie odpowiada z powodu niewyczyszczonych wywołań interfejsu API REST

Zgłoszone problemy:

• Serwer NetWorker (nsrd) przestaje odpowiadać.
• Operacje ochrony NetWorker są wstrzymywane lub nie działają, zgłaszając różne błędy związane z połączeniem; Na przykład "RPC connection timed out" lub "Connection limit reached”
• Interfejsy użytkownika NetWorker przestają odpowiadać lub nie mogą nawiązać połączenia:
  • Konsola NetWorker Management Console (NMC)
  • Sieciowy interfejs użytkownika NetWorker (NWUI)
  • nsrwatch
  • nsradmin
• Środowisko jest skonfigurowane z narzędziami raportowania interfejsu API REST, które łączą się z serwerem NetWorker w celu generowania raportów lub biletów.
• Serwer NetWorker to 19.13.0.0 > , 19.13.0.3 lub 19.14.0.0

Każde żądanie interfejsu API REST NetWorker sprawdza uwierzytelnianie w wewnętrznym AUTHC Usługi. Żądania interfejsu API tworzą połączenia z AUTHC usługa, ale te połączenia nie są później zamykane.

[root@nsr ~]# netstat -apno | grep jsvc | head
tcp6       0      0 :::9090                 :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 :::36523                :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 ::1:60705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6550.56/0/0)
tcp6       0      0 ::1:45705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6407.22/0/0)
tcp6       0      0 ::1:36707               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6825.20/0/0)
tcp6       0      0 ::1:57761               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6731.29/0/0)
tcp6       0      0 ::1:51473               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6242.11/0/0)
tcp6       0      0 ::1:58453               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6446.28/0/0)
tcp6       0      0 ::1:53133               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6689.33/0/0)
tcp6       0      0 ::1:49749               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6618.93/0/0)

[root@nsr ~]# netstat -apno | grep jsvc | wc -l
4050

W tym przykładzie z NetWorker skojarzonych jest 4050 połączeń AUTHC usługi (jsvc).

Jest to przesadzony przykład ze środowiska laboratoryjnego, w którym interfejs API REST był odpytywany raz na sekundę. W środowisku produkcyjnym problem może stać się widoczny przy znacznie mniejszej liczbie AUTHC połączenia, ponieważ inne operacje NetWorker, urządzenia i przepływy pracy ochrony również zużywają dostępne połączenia i zasoby systemowe.

W normalnych warunkach dwa jsvc procesy są obecne, gdy serwer NetWorker jest uruchomiony. Dodatkowe jsvc-Połączenia związane z połączeniami mogą pojawiać się tymczasowo w zależności od wykonywanych operacji, ale powinny zostać zamknięte, gdy nie będą już potrzebne. Nie oczekuje się, że zobaczymy dziesiątki czy tysiące jsvc połączenia pozostające w keepalive przez dłuższy czas.

Poprawka kodu NETWORKER-127181 jest oczekiwana w następujących wersjach NetWorker:

• 19.13.0.4
• 19.14.0.1

Obejście problemu:

Ponownie uruchomić Usługi serwera NetWorker:

• Linux: systemctl restart networker
• Windows (składnia programu PowerShell): net stop nsrd ; net start nsrd

Zapewnienia OS TCP i najlepsze praktyki dotyczące jądra: NetWorker: najlepsze praktyki dotyczące konfiguracji sieci