Plataforma de administración de PowerFlex: keycloak-0 registra una falla en el sondeo HTTP con el código de estado: 503

Situación

Una de las dos vainas de Keycloak (aquí keycloak-0) experimenta problemas de conectividad con la base de datos, mientras que keycloak-1 sigue siendo funcional.

Event En los registros, se muestran fallas repetidas del sondeo de preparación.

# kubectl get pods -n powerflex | egrep keycloak
keycloak-0                                                1/1     Running     0               22d
keycloak-1                                                1/1     Running     0               22d

# kubectl get events | egrep kube
Events:
  Type     Reason     Age                 From     Message
  ----     ------     ----                ----     -------
  Warning  Unhealthy  12m (x58 over 17h)  keycloak-0  Readiness probe failed: HTTP probe failed with statuscode: 503

El comando keycloak Los registros de pod indican una falla en la adquisición de conexiones JDBC debido a un tiempo de espera agotado de adquisición:

# kubectl get logs keycloak-0 -n powerflex
..
2024-11-27 07:01:41,593 INFO  [org.infinispan.CLUSTER] (non-blocking-thread--p2-t126) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-0-17437, keycloak-1-41022], topology id 7
2024-11-27 07:31:03,379 WARN  [org.hibernate.engine.jdbc.spi.SqlExceptionHelper] (Timer-0) SQL Error: 0, SQLState: null
2024-11-27 07:31:03,379 ERROR [org.hibernate.engine.jdbc.spi.SqlExceptionHelper] (Timer-0) Acquisition timeout while waiting for new connection
2024-11-27 07:31:03,384 ERROR [org.keycloak.services.scheduled.ScheduledTaskRunner] (Timer-0) Failed to run scheduled task ClearExpiredEvents: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection
        at org.hibernate.internal.ExceptionConverterImpl.convert(ExceptionConverterImpl.java:154)
        at java.base/java.util.TimerThread.run(Timer.java:506)
Caused by: org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection  <---------
..
Caused by: java.sql.SQLException: Acquisition timeout while waiting for new connection  <--------- 
.. 
Caused by: java.util.concurrent.TimeoutException  <--------- 
..
2024-11-27 09:31:03,476 INFO  [io.smallrye.health] (executor-thread-15) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Keycloak database connections health check","status":"DOWN","data":{"Failing since":"2024-11-27 07:31:03,477"}}]}
2024-11-27 09:56:03,477 INFO  [io.smallrye.health] (executor-thread-15) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Keycloak database connections health check","status":"DOWN","data":{"Failing since":"2024-11-27 07:31:03,477"}}]}

El problema se produce debido a una configuración incorrecta de DNS.

La conexión JDBC utilizada por keycloak Para conectarse a la base de datos, depende de resolver el nombre de host o el terminal de la base de datos.

Cualquier error de configuración o falla en la resolución del nombre de host puede causar tiempos de espera agotados cuando se intenta establecer una conexión. 

1) Corrija la configuración de DNS según la documentación del sistema operativo

a) Si RedHat o CentOS v7,x o v8,x,

i) Editar /etc/resolv.conf para actualizar el servidor DNS correcto en cada MgmtVM (MVM)

ii) Suprímase el coredns vainas (rke2-coredns-rke2-coredns-xxxxxxxxxx-xxxxx) para propagar los cambios a esos pods:

for x in `kubectl get pods -n kube-system | grep -i rke2-coredns-rke2-coredns | awk '{print $1}' | grep -iv auto`; do kubectl delete pods -n kube-system $x; done

iii) Verificar que los cambios en el DNS ahora se reflejen en el coredns pods (hay 2 coredns pods responsables de DNS): 

for x in `kubectl get pods -n kube-system | grep -i rke2-coredns-rke2-coredns | awk '{print $1}' | grep -iv auto`; do echo $x; kubectl exec -it $x -n kube-system -- cat /etc/resolv.conf; echo " "; done

b) Si SLES v15.xy versiones posteriores, solicite soporte para seguir el artículo interno https://www.dell.com/support/kbdoc/en-us/000227354

2) Reiniciar keycloak Vainas

kubectl rollout restart statefulset keycloak -n powerflex 

3) Monitor keycloak Registros de cualquier problema adicional de conectividad de base de datos 

kubectl logs keycloak-0 -n powerflex [-f]
kubectl logs keycloak-1 -n powerflex [-f]