ECS：xDoctor RAP153：ECS 节点上达到连接限制 （1000），无新连接

应用程序无法为 HTTPS 请求建立新的网络连接。

ECS 节点具有每个节点 1000 个连接的限制。如果超过此限制， dataheadsvc 显示以下错误：

169.xxx.2.9 2021-02-24T21:13:08,792 [qtp85102332-247-acceptor-1@4fda771a-TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}]  INFO  ConnectionLimit.java (line 177) Connection Limit(1000) reached for [TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}, TrafficMetricsNetworkTrafficServerConnector@4e293c35{SSL,[ssl, http/1.1]}{10.xxx.xxx.xxx:9021}]

要了解更多信息，请使用以下命令解析日志： svc_log 以计算过去 30 分钟内“达到连接限制 （1000）”条目。

命令：

# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "24 hour ago" -sh -st hour

示例：

admin@node1:~># svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
svc_log v1.0.24 (svc_tools v1.8.6.0)                 Started 2021-02-26 18:47:10

Running on nodes:              <All nodes>
Time range:                    2021-02-24 21:00:00 - 2021-02-24 21:30:59
Filter string(s):              'Connection Limit(1000) cleared'
Show nodename(s):              True
Search reclaim logs (if any):  False

Count of message occurrences per minute:

                       # Log
Time                   Entries
------------------------------

2021-02-24 21:01:xx    0
2021-02-24 21:02:xx    0
2021-02-24 21:03:xx    0
2021-02-24 21:04:xx    41
2021-02-24 21:05:xx    134
2021-02-24 21:06:xx    8
2021-02-24 21:07:xx    10
2021-02-24 21:08:xx    11
2021-02-24 21:09:xx    0
2021-02-24 21:10:xx    0
2021-02-24 21:11:xx    0
2021-02-24 21:12:xx    412
2021-02-24 21:13:xx    650
2021-02-24 21:14:xx    0
2021-02-24 21:15:xx    0
2021-02-24 21:16:xx    0
2021-02-24 21:17:xx    0
2021-02-24 21:18:xx    0
2021-02-24 21:19:xx    0
2021-02-24 21:20:xx    0
2021-02-24 21:21:xx    0
2021-02-24 21:22:xx    0
2021-02-24 21:23:xx    0
2021-02-24 21:24:xx    0
2021-02-24 21:25:xx    0
2021-02-24 21:26:xx    0
2021-02-24 21:27:xx    0
2021-02-24 21:28:xx    0
2021-02-24 21:29:xx    0
2021-02-24 21:30:xx    0

Total:                 1266

此问题通常是应用程序如何打开和关闭网络连接的应用程序问题。用户的应用程序或负载均衡器应处理连接，并应在完成后关闭连接。在更改 ECS 之前，应用程序应始终先尝试解决自己这端的问题，因为这会导致 ECS 负载增加。

要帮助识别问题，请使用 netstat 期间，获取已建立连接的 IP。

命令：

# sudo ss | grep 9020

示例：

admin@ecsnode1:~> sudo ss | grep 9020

ESTAB 0 0 [::ffff:10.xx.xxx.71]:9020 [::ffff:10.xxx.xxx.9]:56134

要查看当前时间的连接数，请使用以下命令：

admin@ecsnode1:~> sudo ss -tn sport = :9020 | wc -l