NetWorker: Server reageert af en toe niet vanwege niet-gewiste REST API-aanroepen

Gemelde problemen:

• De NetWorker-server (nsrd) reageert het proces niet meer.
• NetWorker-beschermingsbewerkingen lopen vast of mislukken bij het melden van verschillende verbindingsgerelateerde fouten; Bijvoorbeeld "RPC connection timed out" of "Connection limit reached"
• De gebruikersinterfaces van NetWorker reageren niet meer of kunnen geen verbinding maken:
  • NetWorker Management Console (NMC)
  • NetWorker Web User Interface (NWUI)
  • nsrwatch
  • nsradmin
• De omgeving wordt geconfigureerd met REST API-rapportagehulpprogramma's die verbinding maken met de NetWorker-server om rapporten of ticketing te genereren.
• De NetWorker-server is 19.13.0.0 > , 19.13.0.3 of 19.14.0.0

Elke NetWorker REST API-aanvraag voert een verificatiecontrole uit op basis van de interne AUTHC Service. De API-aanvragen maken verbindingen met de AUTHC service, maar die verbindingen worden daarna niet verbroken.

[root@nsr ~]# netstat -apno | grep jsvc | head
tcp6       0      0 :::9090                 :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 :::36523                :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 ::1:60705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6550.56/0/0)
tcp6       0      0 ::1:45705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6407.22/0/0)
tcp6       0      0 ::1:36707               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6825.20/0/0)
tcp6       0      0 ::1:57761               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6731.29/0/0)
tcp6       0      0 ::1:51473               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6242.11/0/0)
tcp6       0      0 ::1:58453               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6446.28/0/0)
tcp6       0      0 ::1:53133               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6689.33/0/0)
tcp6       0      0 ::1:49749               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6618.93/0/0)

[root@nsr ~]# netstat -apno | grep jsvc | wc -l
4050

In dit voorbeeld zijn er 4050 verbindingen gekoppeld aan de NetWorker AUTHC Dienst (jsvc).

Dit is een overdreven voorbeeld uit een laboratoriumomgeving waar de REST API eenmaal per seconde werd opgevraagd. In een productieomgeving kan het probleem duidelijk worden met een veel kleiner aantal AUTHC verbindingen omdat andere NetWorker-bewerkingen, -apparaten en -beveiligingsworkflows ook gebruikmaken van beschikbare verbindingen en systeembronnen.

Onder normale omstandigheden zijn er twee jsvc processen zijn aanwezig terwijl de NetWorker-server actief is. Extra jsvc-Gerelateerde verbindingen kunnen tijdelijk worden weergegeven, afhankelijk van de bewerkingen die worden uitgevoerd, maar ze moeten worden gesloten wanneer ze niet langer nodig zijn. Er wordt niet verwacht dat er tientallen of duizenden jsvc verbindingen die in de keepalive staat voor langere perioden.

Codefix NETWORKER-127181 wordt verwacht in de volgende NetWorker-releases:

• 19.13.0.4
• 19.14.0.1

Tijdelijkeoplossing:

Opnieuw starten NetWorker-serverservices:

• Linux: systemctl restart networker
• Windows (PowerShell-syntaxis): net stop nsrd ; net start nsrd

Zorgen OS TCP en de best practices voor de kernel aanwezig zijn: NetWorker: Best practices for networking configuration