ECS:xDoctor RAP153: ECSノードで接続制限(1,000)に達したため、新しい接続がない

アプリケーションは、HTTPS 要求に対して新しいネットワーク接続を確立できません。

ECSノードには、ノードあたり1,000の接続制限があります。この制限を超えると、 dataheadsvc 次のエラーが表示されます。

169.xxx.2.9 2021-02-24T21:13:08,792 [qtp85102332-247-acceptor-1@4fda771a-TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}]  INFO  ConnectionLimit.java (line 177) Connection Limit(1000) reached for [TrafficMetricsNetworkTrafficServerConnector@49de2cc4{HTTP/1.1,[http/1.1]}{10.xxx.xxx.xxx:9020}, TrafficMetricsNetworkTrafficServerConnector@4e293c35{SSL,[ssl, http/1.1]}{10.xxx.xxx.xxx:9021}]

詳細情報を表示するには、次を使用してログを解析します。 svc_log をクリックして、過去30分間の「接続制限(1000)に達しました」のエントリをカウントします
コマンド：

# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
# svc_log dataheadsvc "Connection Limit(1000) cleared" -start "24 hour ago" -sh -st hour

Example:

admin@node1:~># svc_log dataheadsvc "Connection Limit(1000) cleared" -start "30 minutes ago" -sh -st minute
svc_log v1.0.24 (svc_tools v1.8.6.0)                 Started 2021-02-26 18:47:10

Running on nodes:              <All nodes>
Time range:                    2021-02-24 21:00:00 - 2021-02-24 21:30:59
Filter string(s):              'Connection Limit(1000) cleared'
Show nodename(s):              True
Search reclaim logs (if any):  False

Count of message occurrences per minute:

                       # Log
Time                   Entries
------------------------------

2021-02-24 21:01:xx    0
2021-02-24 21:02:xx    0
2021-02-24 21:03:xx    0
2021-02-24 21:04:xx    41
2021-02-24 21:05:xx    134
2021-02-24 21:06:xx    8
2021-02-24 21:07:xx    10
2021-02-24 21:08:xx    11
2021-02-24 21:09:xx    0
2021-02-24 21:10:xx    0
2021-02-24 21:11:xx    0
2021-02-24 21:12:xx    412
2021-02-24 21:13:xx    650
2021-02-24 21:14:xx    0
2021-02-24 21:15:xx    0
2021-02-24 21:16:xx    0
2021-02-24 21:17:xx    0
2021-02-24 21:18:xx    0
2021-02-24 21:19:xx    0
2021-02-24 21:20:xx    0
2021-02-24 21:21:xx    0
2021-02-24 21:22:xx    0
2021-02-24 21:23:xx    0
2021-02-24 21:24:xx    0
2021-02-24 21:25:xx    0
2021-02-24 21:26:xx    0
2021-02-24 21:27:xx    0
2021-02-24 21:28:xx    0
2021-02-24 21:29:xx    0
2021-02-24 21:30:xx    0

Total:                 1266

この問題は通常、アプリケーションがネットワーク接続を開いて閉じる方法に関するアプリケーションの問題です。ユーザーのアプリケーションまたはロード バランサーが接続を処理し、完了したら接続を閉じる必要があります。ECSを変更すると、ECSの負荷が増加するため、アプリケーション側では、ECSを変更する前に、まずアプリケーション側で問題の解決を試みる必要があります。

問題を特定するには、次を使用します。 ss イベント中に、接続が確立されている IP を取得します
コマンド：

# sudo ss | grep 9020

Example:

admin@ecsnode1:~> sudo ss | grep 9020

ESTAB 0 0 [::ffff:10.xx.xxx.71]:9020 [::ffff:10.xxx.xxx.9]:56134

現在の時刻の接続数を確認するには、次のコマンドを使用します。

admin@ecsnode1:~> sudo ss -tn sport = :9020 | wc -l