VxRail. После перезагрузки удаленные HTTPS-подключения vCenter превышают максимально допустимое значение

В среде vCenter, предоставляемой заказчиком (также называемой внешним vCenter), vCenter может управлять несколькими кластерами VxRail.
После перезагрузки vCenter может появиться сообщение об ошибке о том, что VxRail Manager не удалось подключиться к vCenter.

Проверьте файл VxRail Manager /var/log/mystic/web.log. Ищите текст Remote host terminated the handshake как показано на рисунке, VxRail Manager не удалось подключиться к vCenter.

2023-05-16 09:35:37.378+0000 ERROR [myScheduler-6] com.graphql_java_generator.client.QueryExecutorImpl QueryExecutorImpl.doJsonRequestExecution:148 - {"message":"Failed to connect to vCenter None"," locations":[{"line":1,"column":8,"sourceName":null}],"description":null,"validationErrorType":null,"queryPath":null,"errorType":null,"path":["cluster"],"extensions":null}

2023-05-16 09:35:37.378+0000 INFO  [myScheduler-6] com.vce.commons.domainowner.cluster.VCRepository VCRepository.getDeploymentTypeAndHostSummary:135 - failed to get deployment type and host summary.com.graphql_java_generator.client.response.GraphQLExecutionException: 1 errors occured: {"message":"Failed to connect to vCenter None","locations":[{"line":1,"column":8,"sourceName":null}],"description":null,"validationErrorType":null,"queryPath":null,"errorType":null,"path":["cluster"],"extensions":null}

Caused by: javax.net.ssl.SSLHandshakeException: Remote host terminated the handshake
        at sun.security.ssl.SSLSocketImpl.handleEOF(SSLSocketImpl.java:1696) ~[?:?]
        at sun.security.ssl.SSLSocketImpl.decode(SSLSocketImpl.java:1514) ~[?:?]
        at sun.security.ssl.SSLSocketImpl.readHandshakeRecord(SSLSocketImpl.java:1416) ~[?:?]

Проверьте файл vCenter /var/log/vmware/envoy/envoy.log. Ищите текст remote https connections exceed max allowed: 2048. После этого появится следующее сообщение, показывающее, что vCenter закрывает подключения из VxRail Manager IP-адрес x.x.x.x.

2023-05-16T08:55:26.142Z warning envoy[2436] [Originator@6876 sub=filter] [C28710] remote https connections exceed max allowed: 2048
2023-05-16T08:55:26.142Z warning envoy[2436] [Originator@6876 sub=filter] [C28710] closing connection TCP<x.x.x.x:52018, y.y.y.y:443>

После перезагрузки vCenter все диспетчеры VxRail в этом vCenter попытаются повторно подключиться к нему. Каждый VxRail Manager может попытаться инициировать от 80 до 110 https-соединений. По умолчанию в vCenter установлено максимальное количество разрешенных HTTPS-подключений: 2048. Если количество VxRail Manager, пытающихся подключиться к одному vCenter, слишком велико, vCenter не сможет обработать такое количество запросов на подключение. В конечном итоге превышено максимально допустимое количество подключений, и vCenter начинает закрывать подключения от некоторых VxRail Manager.

В VxRail 7.0.480 реализовано усовершенствование для сокращения HTTPS-соединений с vCenter во время перезагрузки vCenter.
Если вы по-прежнему сталкиваетесь с этой проблемой, выполните следующие действия в качестве временного решения.

Если кластеров VxRail, управляемых vCenter, меньше 25, см. статью VMware 344920 Исчерпание HTTPS-соединений в журналах экземпляров сервера vCenter, чтобы увеличить maximum RemoteHttpsConnections Ограничьте значение до 3072, а затем перезапустите vCenter rhttpproxy service.

Если vCenter управляет более чем 25 кластерами VxRail, не пытайтесь увеличить maximum RemoteHttpsConnections Ограничьте его числом больше 3072. VMware не рекомендует это делать, так как это может отрицательно повлиять на производительность vCenter.

Для временного решения этой проблемы выполните следующие действия.

1. Выключите все VxRail Manager, чтобы позволить vCenter освободить подключения https.
2. Загрузите 10 диспетчеров VxRail и подождите, пока номер подключения не станет стабильным. Для мониторинга номера подключения можно выполнить следующую команду на vCenter.

netstat -tnep | grep envoy | grep "<VCSA IP address>:443"| wc -l

3. Загрузите еще пять диспетчеров VxRail и подождите, пока номер подключения не станет стабильным.
4. Повторяйте шаг 3 до загрузки всех VxRail Manager.