ECS: xDoctor RAP153: ECS 노드에서 연결 제한(1000)에 도달했고 새 연결이 없습니다.

애플리케이션이 HTTP 요청에 대한 새 네트워크 연결을 설정할 수 없습니다.

ECS 노드는 노드당 연결 제한이 1000개입니다. 이 제한을 초과하면 dataheadsvc 다음 오류가 표시됩니다.

169.xxx.2.9 2021-02-24T21:13:08,792 [qtp85102332-247-acceptor-1@4fda771a-TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}]  INFO  ConnectionLimit.java (line 177) Connection Limit(1000) reached for [TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}, TrafficMetricsNetworkTrafficServerConnector@4e293c35{SSL,[ssl, http/1.1]}{10.xxx.xxx.xxx:9021}]

자세한 내용을 보려면 svc_log 지난 1000분 동안의 "연결 제한(30) 도달"에 대한 항목을 계산합니다.

명령을:

# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "24 hour ago" -sh -st hour

예:

admin@node1:~># svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
svc_log v1.0.24 (svc_tools v1.8.6.0)                 Started 2021-02-26 18:47:10

Running on nodes:              <All nodes>
Time range:                    2021-02-24 21:00:00 - 2021-02-24 21:30:59
Filter string(s):              'Connection Limit(1000) cleared'
Show nodename(s):              True
Search reclaim logs (if any):  False

Count of message occurrences per minute:

                       # Log
Time                   Entries
------------------------------

2021-02-24 21:01:xx    0
2021-02-24 21:02:xx    0
2021-02-24 21:03:xx    0
2021-02-24 21:04:xx    41
2021-02-24 21:05:xx    134
2021-02-24 21:06:xx    8
2021-02-24 21:07:xx    10
2021-02-24 21:08:xx    11
2021-02-24 21:09:xx    0
2021-02-24 21:10:xx    0
2021-02-24 21:11:xx    0
2021-02-24 21:12:xx    412
2021-02-24 21:13:xx    650
2021-02-24 21:14:xx    0
2021-02-24 21:15:xx    0
2021-02-24 21:16:xx    0
2021-02-24 21:17:xx    0
2021-02-24 21:18:xx    0
2021-02-24 21:19:xx    0
2021-02-24 21:20:xx    0
2021-02-24 21:21:xx    0
2021-02-24 21:22:xx    0
2021-02-24 21:23:xx    0
2021-02-24 21:24:xx    0
2021-02-24 21:25:xx    0
2021-02-24 21:26:xx    0
2021-02-24 21:27:xx    0
2021-02-24 21:28:xx    0
2021-02-24 21:29:xx    0
2021-02-24 21:30:xx    0

Total:                 1266

이 문제는 일반적으로 애플리케이션이 네트워크 연결을 열고 닫는 방법과 관련된 애플리케이션 문제입니다. 사용자의 애플리케이션 또는 부하 분산 장치가 연결을 처리해야 하며 완료되면 연결을 닫아야 합니다. 애플리케이션은 ECS에 더 많은 부하를 유발하므로 ECS를 변경하기 전에 항상 먼저 문제를 해결해야 합니다.

문제를 식별하는 데 도움이 되도록 netstat 이벤트 중에 연결을 설정한 IP를 가져옵니다.

명령:

# sudo ss | grep 9020

예:

admin@ecsnode1:~> sudo ss | grep 9020

ESTAB 0 0 [::ffff:10.xx.xxx.71]:9020 [::ffff:10.xxx.xxx.9]:56134

현재 시간의 연결 수를 보려면 다음 명령을 사용합니다.

admin@ecsnode1:~> sudo ss -tn sport = :9020 | wc -l