VxRail: conexões https remotas do vCenter excedem o valor máximo permitido após a reinicialização

Em um ambiente vCenter fornecido pelo cliente (também conhecido como vCenter externo), o vCenter pode gerenciar vários VxRail Clusters.
Após uma reinicialização do vCenter, você pode observar um erro informando que os gerenciadores do VxRail falharam ao se conectar ao vCenter.

Verifique o arquivo do VxRail Manager /var/log/mystic/web.log. Procurar o texto Remote host terminated the handshake como isso mostra a falha do VxRail Manager ao se conectar ao vCenter.

2023-05-16 09:35:37.378+0000 ERROR [myScheduler-6] com.graphql_java_generator.client.QueryExecutorImpl QueryExecutorImpl.doJsonRequestExecution:148 - {"message":"Failed to connect to vCenter None"," locations":[{"line":1,"column":8,"sourceName":null}],"description":null,"validationErrorType":null,"queryPath":null,"errorType":null,"path":["cluster"],"extensions":null}

2023-05-16 09:35:37.378+0000 INFO  [myScheduler-6] com.vce.commons.domainowner.cluster.VCRepository VCRepository.getDeploymentTypeAndHostSummary:135 - failed to get deployment type and host summary.com.graphql_java_generator.client.response.GraphQLExecutionException: 1 errors occured: {"message":"Failed to connect to vCenter None","locations":[{"line":1,"column":8,"sourceName":null}],"description":null,"validationErrorType":null,"queryPath":null,"errorType":null,"path":["cluster"],"extensions":null}

Caused by: javax.net.ssl.SSLHandshakeException: Remote host terminated the handshake
        at sun.security.ssl.SSLSocketImpl.handleEOF(SSLSocketImpl.java:1696) ~[?:?]
        at sun.security.ssl.SSLSocketImpl.decode(SSLSocketImpl.java:1514) ~[?:?]
        at sun.security.ssl.SSLSocketImpl.readHandshakeRecord(SSLSocketImpl.java:1416) ~[?:?]

Verifique o arquivo do vCenter /var/log/vmware/envoy/envoy.log. Procurar o texto remote https connections exceed max allowed: 2048. A seguinte mensagem mostra que o vCenter está fechando conexões do endereço IP x.x.x.x do VxRail Manager.

2023-05-16T08:55:26.142Z warning envoy[2436] [Originator@6876 sub=filter] [C28710] remote https connections exceed max allowed: 2048
2023-05-16T08:55:26.142Z warning envoy[2436] [Originator@6876 sub=filter] [C28710] closing connection TCP<x.x.x.x:52018, y.y.y.y:443>

Depois que o vCenter é reinicializado, todos os VxRail Managers nesse vCenter tentam se reconectar a ele. Cada VxRail Manager pode tentar iniciar entre 80 a 110 conexões https. A configuração padrão do vCenter para o número máximo de conexões https permitidas é 2048. Se o número de VxRail Managers tentando se conectar a um único vCenter for muito grande, o vCenter não conseguirá lidar com o número de solicitações de conexão. O resultado final é que o máximo de conexões permitidas é excedido, e o vCenter começa a fechar as conexões de alguns dos VxRail Managers.

O VxRail 7.0.480 tem um aprimoramento para reduzir as conexões https com o vCenter durante a reinicialização do vCenter.
Se você ainda encontrar esse problema, siga as etapas abaixo como uma solução temporária.

Se os VxRail Clusters gerenciados pelo vCenter forem inferiores a 25, siga o artigo 344920 da VMware: Esgotamento de conexões HTTPS nos logs enviados do vCenter Server para aumentar o maximum RemoteHttpsConnections limite para 3072 e, em seguida, reinicie vCenter rhttpproxy service.

Se o vCenter gerenciar mais de 25 VxRail Clusters, não tente aumentar o maximum RemoteHttpsConnections limite a um número maior que 3072. A VMware não recomenda isso, pois isso pode afetar negativamente o desempenho do vCenter.

Siga as etapas abaixo para contornar o problema:

1. Desligue todos os VxRail Managers para permitir que o vCenter libere as conexões https.
2. Inicialize 10 gerenciadores do VxRail e aguarde até que o número da conexão seja estável. Você pode executar o comando abaixo no vCenter para monitorar o número de conexão.

netstat -tnep | grep envoy | grep "<VCSA IP address>:443"| wc -l

3. Inicialize outros cinco gerenciadores do VxRail e aguarde até que o número da conexão fique estável.
4. Repita a etapa 3 até que todos os gerenciadores do VxRail sejam inicializados.