NetWorker : Le serveur ne répond pas par intermittence en raison d’appels d’API REST non effacés

Problèmes signalés :

• Le NetWorker Server (nsrd) ne répond plus.
• Les opérations de protection NetWorker se bloquent ou échouent en signalant diverses erreurs liées à la connexion ; Par exemple : «RPC connection timed out« ou »Connection limit reached"
• Les interfaces utilisateur NetWorker ne répondent plus ou ne se connectent pas :
  • NetWorker Management Console (NMC)
  • NetWorker Web User Interface (NWUI)
  • nsrwatch
  • nsradmin
• L’environnement est configuré avec des utilitaires de création de rapports d’API REST qui se connectent au NetWorker Server pour générer des rapports ou des tickets.
• Le serveur NetWorker est 19.13.0.0 > , 19.13.0.3 ou 19.14.0.0

Chaque demande d’API REST NetWorker effectue une vérification d’authentification par rapport au AUTHC Service. Les demandes d’API créent des connexions vers le AUTHC mais ces connexions ne sont pas fermées par la suite.

[root@nsr ~]# netstat -apno | grep jsvc | head
tcp6       0      0 :::9090                 :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 :::36523                :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 ::1:60705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6550.56/0/0)
tcp6       0      0 ::1:45705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6407.22/0/0)
tcp6       0      0 ::1:36707               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6825.20/0/0)
tcp6       0      0 ::1:57761               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6731.29/0/0)
tcp6       0      0 ::1:51473               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6242.11/0/0)
tcp6       0      0 ::1:58453               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6446.28/0/0)
tcp6       0      0 ::1:53133               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6689.33/0/0)
tcp6       0      0 ::1:49749               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6618.93/0/0)

[root@nsr ~]# netstat -apno | grep jsvc | wc -l
4050

Dans cet exemple, 4 050 connexions sont associées à NetWorker AUTHC service après-vente (jsvc).

Il s’agit d’un exemple exagéré tiré d’un environnement de laboratoire où l’API REST a été interrogée une fois par seconde. Dans un environnement de production, le problème peut devenir évident avec un nombre beaucoup plus restreint de AUTHC Les connexions, car les autres opérations, périphériques et workflows de protection NetWorker consomment également les connexions disponibles et les ressources système.

Dans des conditions normales, deux jsvc Les processus sont présents pendant l’exécution de NetWorker Server. Autres jsvcLes connexions liées à peuvent apparaître temporairement en fonction des opérations en cours d’exécution, mais elles doivent se fermer lorsqu’elles ne sont plus nécessaires. On ne s’attend pas à ce qu’il y ait des dizaines ou des milliers de jsvc connexions restantes dans le keepalive pendant de longues périodes.

La correction de code NETWORKER-127181 est attendue dans les versions suivantes de NetWorker :

• 19.13.0.4
• 19.14.0.1

Contournement :

Redémarrer Services NetWorker Server :

• Linux : systemctl restart networker
• Windows (syntaxe PowerShell) : net stop nsrd ; net start nsrd

Assurer OS TCP et les meilleures pratiques du noyau sont en place : NetWorker : pratiques d’excellence pour la configuration de la gestion de réseau