NetWorker: Server reagiert aufgrund nicht gelöschter REST API-Aufrufe zeitweise nicht
Summary: Der NetWorker-Serverprozess 19.13 oder 19.14 (nsrd) reagiert zeitweise nicht mehr aufgrund von REST API-Anfragen, die jsvc-Verbindungen erstellen, die nicht gelöscht werden.
Symptoms
Gemeldete Probleme:
- Der NetWorker-Server (
nsrd) reagiert der Prozess nicht mehr. - NetWorker-Schutzvorgänge reagieren oder schlagen fehl und melden verschiedene verbindungsbezogene Fehler. Zum Beispiel "
RPC connection timed out" oder "Connection limit reached" - Die Benutzeroberflächen von NetWorker reagieren nicht mehr oder können keine Verbindung herstellen:
- NetWorker Management Console (NMC)
- NetWorker-Webnutzeroberfläche (NWUI)
nsrwatchnsradmin
- Die Umgebung ist mit REST API-Reportingdienstprogrammen konfiguriert, die eine Verbindung zum NetWorker-Server herstellen, um Berichte oder Ticketerstellung zu erstellen.
- Der NetWorker-Server ist 19.13.0.0 > , 19.13.0.3 oder 19.14.0.0
Cause
Jede NetWorker-REST-API-Anforderung führt eine Authentifizierungsprüfung für die interne AUTHC Service. Die API-Anfragen erstellen Verbindungen zum AUTHC -Service, aber diese Verbindungen werden danach nicht geschlossen.
[root@nsr ~]# netstat -apno | grep jsvc | head tcp6 0 0 :::9090 :::* LISTEN 2406135/jsvc.exec off (0.00/0/0) tcp6 0 0 :::36523 :::* LISTEN 2406135/jsvc.exec off (0.00/0/0) tcp6 0 0 ::1:60705 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6550.56/0/0) tcp6 0 0 ::1:45705 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6407.22/0/0) tcp6 0 0 ::1:36707 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6825.20/0/0) tcp6 0 0 ::1:57761 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6731.29/0/0) tcp6 0 0 ::1:51473 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6242.11/0/0) tcp6 0 0 ::1:58453 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6446.28/0/0) tcp6 0 0 ::1:53133 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6689.33/0/0) tcp6 0 0 ::1:49749 ::1:8779 ESTABLISHED 2406135/jsvc.exec keepalive (6618.93/0/0)
[root@nsr ~]# netstat -apno | grep jsvc | wc -l 4050
In diesem Beispiel sind 4.050 Verbindungen mit NetWorker verknüpft AUTHC Service (jsvc).
Dies ist ein übertriebenes Beispiel aus einer Übungsumgebung, in der die REST API einmal pro Sekunde abgefragt wurde. In einer Produktionsumgebung kann das Problem bei einer viel geringeren Anzahl von AUTHC Verbindungen, da andere NetWorker-Vorgänge, -Geräte und -Schutzworkflows ebenfalls verfügbare Verbindungen und Systemressourcen verbrauchen.
Unter normalen Bedingungen sind zwei jsvc Prozesse sind vorhanden, während der NetWorker-Server ausgeführt wird. Zusätzlich jsvc-bezogene Verbindungen können abhängig von den durchgeführten Vorgängen vorübergehend angezeigt werden, sollten jedoch geschlossen werden, wenn sie nicht mehr benötigt werden. Es wird nicht erwartet, dass Dutzende oder Tausende von jsvc Verbindungen, die im keepalive über längere Zeiträume verfügen.
Resolution
Die Codekorrektur NETWORKER-127181 wird in den folgenden NetWorker-Versionen erwartet:
- 19.13.0.4
- 19.14.0.1
Workaround:
Neu starten NetWorker-Serverservices:
- Linux:
systemctl restart networker - Windows (PowerShell-Syntax):
net stop nsrd ; net start nsrd
Additional Information
Stellen Sie sicher, dass OS TCP und Kernel-Best-Practices sind vorhanden: NetWorker: Best Practices für die Netzwerkkonfiguration