NetWorker: сервер періодично не відповідає через неочищені виклики REST API

Повідомлені проблеми:

• Сервер NetWorker (nsrd) процес стає нечутливим.
• Операції захисту NetWorker зупиняються або не повідомляють про різні помилки, пов'язані з підключенням; наприклад "RPC connection timed out" або "Connection limit reached"
• Інтерфейси користувача NetWorker перестають відповідати або не підключаються:
  • Консоль управління NetWorker (NMC)
  • Веб-інтерфейс користувача NetWorker (NWUI)
  • nsrwatch
  • nsradmin
• Середовище налаштоване за допомогою утиліт звітності REST API, які підключаються до сервера NetWorker для генерації звітів або тікетів.
• Сервер NetWorker — це 19.13.0.0 > , 19.13.0.3 або 19.14.0.0

Кожен запит REST API NetWorker виконує перевірку автентифікації за внутрішньою AUTHC Сервіс. Запити API створюють з'єднання з AUTHC Обслуговування, але ці сполучення після цього не закриваються.

[root@nsr ~]# netstat -apno | grep jsvc | head
tcp6       0      0 :::9090                 :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 :::36523                :::*                    LISTEN      2406135/jsvc.exec    off (0.00/0/0)
tcp6       0      0 ::1:60705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6550.56/0/0)
tcp6       0      0 ::1:45705               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6407.22/0/0)
tcp6       0      0 ::1:36707               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6825.20/0/0)
tcp6       0      0 ::1:57761               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6731.29/0/0)
tcp6       0      0 ::1:51473               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6242.11/0/0)
tcp6       0      0 ::1:58453               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6446.28/0/0)
tcp6       0      0 ::1:53133               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6689.33/0/0)
tcp6       0      0 ::1:49749               ::1:8779                ESTABLISHED 2406135/jsvc.exec    keepalive (6618.93/0/0)

[root@nsr ~]# netstat -apno | grep jsvc | wc -l
4050

У цьому прикладі з NetWorker пов'язано 4 050 з'єднань AUTHC Служба (jsvc).

Це перебільшений приклад із лабораторного середовища, де REST API запитували один раз на секунду. У виробничому середовищі проблема може стати очевидною при значно меншій кількості AUTHC з'єднання, оскільки інші операції NetWorker, пристрої та робочі процеси захисту також споживають доступні з'єднання та системні ресурси.

За нормальних умов двоє jsvc процеси присутні, поки сервер NetWorker працює. Додатково jsvc-пов'язані з'єднання можуть тимчасово з'являтися залежно від операцій, але вони мають закриватися, коли більше не потрібні. Очікується, що там не будуть десятки чи тисячі jsvc З'єднання, що залишилися в keepalive Держава на тривалий період.

Очікується виправлення коду NETWORKER-127181 у наступних релізах NetWorker:

• 19.13.0.4
• 19.14.0.1

Обхідний шлях:

Перезапуск NetWorker server services:

• Linux: systemctl restart networker
• Windows (синтаксис PowerShell): net stop nsrd ; net start nsrd

Забезпечте OS TCP та найкращі практики ядра впроваджені: NetWorker: найкращі практики конфігурації мережі