ECS: xDoctor RAP153: Ліміт з'єднання (1000) досягнутий на вузлах ECS, нового з'єднання немає.
Summary: Читання та запис додатків у ECS не дозволяє встановити більше розеткових з'єднань. У деяких випадках ця проблема може спричинити потенційну недоступність даних, якщо додаток відкриває надмірні з'єднання, що перевищують стандартні ліміти. ...
Symptoms
Додаток не може встановити нові мережеві з'єднання для HTTP-запитів.
Cause
Вузли ECS мають обмеження з'єднання 1000 на вузол на вузол. Якщо цей ліміт перевищено, dataheadsvc показує таку помилку:
169.xxx.2.9 2021-02-24T21:13:08,792 [qtp85102332-247-acceptor-1@4fda771a-TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}] INFO ConnectionLimit.java (line 177) Connection Limit(1000) reached for [TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}, TrafficMetricsNetworkTrafficServerConnector@4e293c35{SSL,[ssl, http/1.1]}{10.xxx.xxx.xxx:9021}]
Щоб побачити більше інформації, проаналізуйте журнали за допомогою svc_log щоб порахувати записи за «Досягнутим лімітом з'єднання (1000)» за останні 30 хвилин
.Команди:
# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute # svc_log dataheadsvc "Connection Limit(1000) cleared" -start "24 hour ago" -sh -st hour
Приклад:
admin@node1:~># svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
svc_log v1.0.24 (svc_tools v1.8.6.0) Started 2021-02-26 18:47:10
Running on nodes: <All nodes>
Time range: 2021-02-24 21:00:00 - 2021-02-24 21:30:59
Filter string(s): 'Connection Limit(1000) cleared'
Show nodename(s): True
Search reclaim logs (if any): False
Count of message occurrences per minute:
# Log
Time Entries
------------------------------
2021-02-24 21:01:xx 0
2021-02-24 21:02:xx 0
2021-02-24 21:03:xx 0
2021-02-24 21:04:xx 41
2021-02-24 21:05:xx 134
2021-02-24 21:06:xx 8
2021-02-24 21:07:xx 10
2021-02-24 21:08:xx 11
2021-02-24 21:09:xx 0
2021-02-24 21:10:xx 0
2021-02-24 21:11:xx 0
2021-02-24 21:12:xx 412
2021-02-24 21:13:xx 650
2021-02-24 21:14:xx 0
2021-02-24 21:15:xx 0
2021-02-24 21:16:xx 0
2021-02-24 21:17:xx 0
2021-02-24 21:18:xx 0
2021-02-24 21:19:xx 0
2021-02-24 21:20:xx 0
2021-02-24 21:21:xx 0
2021-02-24 21:22:xx 0
2021-02-24 21:23:xx 0
2021-02-24 21:24:xx 0
2021-02-24 21:25:xx 0
2021-02-24 21:26:xx 0
2021-02-24 21:27:xx 0
2021-02-24 21:28:xx 0
2021-02-24 21:29:xx 0
2021-02-24 21:30:xx 0
Total: 1266
Resolution
Ця проблема зазвичай пов'язана з застосунками у тому, як додаток відкриває та закриває мережеві з'єднання. Додаток користувача або балансувальник навантаження має обробляти з'єднання і закривати їх після завершення. Додаток завжди повинен спочатку вирішити проблему зі свого боку, перш ніж змінювати ECS, оскільки це створює більше навантаження на ECS.
Щоб допомогти ідентифікувати проблему, використовуйте netstat під час заходу, щоб отримати IP-адреси, які мають встановлені з'єднання.
Командування:
# sudo ss | grep 9020
Приклад:
admin@ecsnode1:~> sudo ss | grep 9020 ESTAB 0 0 [::ffff:10.xx.xxx.71]:9020 [::ffff:10.xxx.xxx.9]:56134
Щоб побачити кількість з'єднань у поточному часі, скористайтеся цією командою:
admin@ecsnode1:~> sudo ss -tn sport = :9020 | wc -l