Plate-forme de gestion Powerflex : keycloak-0 logs HTTP probe failed with statuscode : 503

Scénario

L’un des deux pods Keycloak (ici keycloak-0) éprouve des problèmes de connectivité avec la base de données, tandis que keycloak-1 reste fonctionnel.

Event Les journaux affichent des échecs répétés de la sonde de préparation.

# kubectl get pods -n powerflex | egrep keycloak
keycloak-0                                                1/1     Running     0               22d
keycloak-1                                                1/1     Running     0               22d

# kubectl get events | egrep kube
Events:
  Type     Reason     Age                 From     Message
  ----     ------     ----                ----     -------
  Warning  Unhealthy  12m (x58 over 17h)  keycloak-0  Readiness probe failed: HTTP probe failed with statuscode: 503

Le keycloak Les journaux du pod indiquent un échec de l’acquisition des connexions JDBC en raison d’un délai d’acquisition :

# kubectl get logs keycloak-0 -n powerflex
..
2024-11-27 07:01:41,593 INFO  [org.infinispan.CLUSTER] (non-blocking-thread--p2-t126) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-0-17437, keycloak-1-41022], topology id 7
2024-11-27 07:31:03,379 WARN  [org.hibernate.engine.jdbc.spi.SqlExceptionHelper] (Timer-0) SQL Error: 0, SQLState: null
2024-11-27 07:31:03,379 ERROR [org.hibernate.engine.jdbc.spi.SqlExceptionHelper] (Timer-0) Acquisition timeout while waiting for new connection
2024-11-27 07:31:03,384 ERROR [org.keycloak.services.scheduled.ScheduledTaskRunner] (Timer-0) Failed to run scheduled task ClearExpiredEvents: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection
        at org.hibernate.internal.ExceptionConverterImpl.convert(ExceptionConverterImpl.java:154)
        at java.base/java.util.TimerThread.run(Timer.java:506)
Caused by: org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection  <---------
..
Caused by: java.sql.SQLException: Acquisition timeout while waiting for new connection  <--------- 
.. 
Caused by: java.util.concurrent.TimeoutException  <--------- 
..
2024-11-27 09:31:03,476 INFO  [io.smallrye.health] (executor-thread-15) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Keycloak database connections health check","status":"DOWN","data":{"Failing since":"2024-11-27 07:31:03,477"}}]}
2024-11-27 09:56:03,477 INFO  [io.smallrye.health] (executor-thread-15) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Keycloak database connections health check","status":"DOWN","data":{"Failing since":"2024-11-27 07:31:03,477"}}]}

Le problème se produit en raison d’une configuration DNS incorrecte.

La connexion JDBC utilisée par keycloak La connexion à la base de données dépend de la résolution du nom d’hôte ou du point de terminaison de la base de données.

Toute mauvaise configuration ou défaillance dans la résolution des noms d’hôte peut entraîner des délais d’expiration lors de la tentative d’établissement d’une connexion. 

1) Corrigez la configuration DNS conformément à la documentation du système d’exploitation.

a) Si RedHat ou CentOS v7,x ou v8,x,

i) Modifier /etc/resolv.conf pour mettre à jour le serveur DNS approprié sur chaque MgmtVM (MVM)

ii) Supprimer le coredns pods (rke2-coredns-rke2-coredns-xxxxxxxxxx-xxxxx) pour propager les modifications apportées à ces pods :

for x in `kubectl get pods -n kube-system | grep -i rke2-coredns-rke2-coredns | awk '{print $1}' | grep -iv auto`; do kubectl delete pods -n kube-system $x; done

iii) Vérifier que les modifications DNS sont maintenant reflétées dans le fichier coredns pods (il y a 2 coredns pods responsables du DNS) : 

for x in `kubectl get pods -n kube-system | grep -i rke2-coredns-rke2-coredns | awk '{print $1}' | grep -iv auto`; do echo $x; kubectl exec -it $x -n kube-system -- cat /etc/resolv.conf; echo " "; done

b) Si SLES v15.xet versions ultérieures, contactez le support pour suivre l’article interne https://www.dell.com/support/kbdoc/en-us/000227354

2) Redémarrer keycloak Gousses

kubectl rollout restart statefulset keycloak -n powerflex 

3) Surveillez keycloak Logs pour tout problème de connectivité supplémentaire à la base de données 

kubectl logs keycloak-0 -n powerflex [-f]
kubectl logs keycloak-1 -n powerflex [-f]