PowerFlex Management Platform: keycloak-0 logs HTTP probe failed with statuscode: 503

Scenario

Een van de twee Keycloak-pods (hier keycloak-0) ondervindt connectiviteitsproblemen met de database, terwijl keycloak-1 blijft functioneel.

Event In de logboeken worden herhaalde fouten van de gereedheidstest weergegeven.

# kubectl get pods -n powerflex | egrep keycloak
keycloak-0                                                1/1     Running     0               22d
keycloak-1                                                1/1     Running     0               22d

# kubectl get events | egrep kube
Events:
  Type     Reason     Age                 From     Message
  ----     ------     ----                ----     -------
  Warning  Unhealthy  12m (x58 over 17h)  keycloak-0  Readiness probe failed: HTTP probe failed with statuscode: 503

De keycloak Pod-logboeken geven aan dat JDBC-verbindingen niet kunnen worden opgehaald vanwege een time-out van de acquisitie:

# kubectl get logs keycloak-0 -n powerflex
..
2024-11-27 07:01:41,593 INFO  [org.infinispan.CLUSTER] (non-blocking-thread--p2-t126) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-0-17437, keycloak-1-41022], topology id 7
2024-11-27 07:31:03,379 WARN  [org.hibernate.engine.jdbc.spi.SqlExceptionHelper] (Timer-0) SQL Error: 0, SQLState: null
2024-11-27 07:31:03,379 ERROR [org.hibernate.engine.jdbc.spi.SqlExceptionHelper] (Timer-0) Acquisition timeout while waiting for new connection
2024-11-27 07:31:03,384 ERROR [org.keycloak.services.scheduled.ScheduledTaskRunner] (Timer-0) Failed to run scheduled task ClearExpiredEvents: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection
        at org.hibernate.internal.ExceptionConverterImpl.convert(ExceptionConverterImpl.java:154)
        at java.base/java.util.TimerThread.run(Timer.java:506)
Caused by: org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection  <---------
..
Caused by: java.sql.SQLException: Acquisition timeout while waiting for new connection  <--------- 
.. 
Caused by: java.util.concurrent.TimeoutException  <--------- 
..
2024-11-27 09:31:03,476 INFO  [io.smallrye.health] (executor-thread-15) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Keycloak database connections health check","status":"DOWN","data":{"Failing since":"2024-11-27 07:31:03,477"}}]}
2024-11-27 09:56:03,477 INFO  [io.smallrye.health] (executor-thread-15) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Keycloak database connections health check","status":"DOWN","data":{"Failing since":"2024-11-27 07:31:03,477"}}]}

Het probleem treedt op als gevolg van een onjuiste DNS-configuratie.

De JDBC-verbinding die wordt gebruikt door keycloak Om verbinding te maken met de database moet de hostnaam of het eindpunt van de database worden opgelost.

Elke verkeerde configuratie of fout in de hostnaamresolutie kan time-outs veroorzaken bij het tot stand brengen van een verbinding. 

1) Corrigeer de DNS-configuratie volgens de documentatie van het besturingssysteem

a) Indien RedHat of CentOS v7,x of v8,x,

i) Bewerken /etc/resolv.conf om de juiste DNS-server bij te werken op elke MgmtVM's (MVM's)

ii) Verwijder de coredns peulen (rke2-coredns-rke2-coredns-xxxxxxxxxx-xxxxx) om de wijzigingen in die pods door te geven:

for x in `kubectl get pods -n kube-system | grep -i rke2-coredns-rke2-coredns | awk '{print $1}' | grep -iv auto`; do kubectl delete pods -n kube-system $x; done

iii) Controleer of DNS-wijzigingen nu worden weergegeven in de coredns pods (er zijn 2 coredns pods verantwoordelijk voor DNS): 

for x in `kubectl get pods -n kube-system | grep -i rke2-coredns-rke2-coredns | awk '{print $1}' | grep -iv auto`; do echo $x; kubectl exec -it $x -n kube-system -- cat /etc/resolv.conf; echo " "; done

b) Als SLES v15.xen hoger, schakel dan support in om de interne https://www.dell.com/support/kbdoc/en-us/000227354 van het artikel te volgen

2) Start opnieuw op keycloak Peulen

kubectl rollout restart statefulset keycloak -n powerflex 

3) Beeldscherm keycloak Logboeken voor eventuele extra problemen met de databaseconnectiviteit 

kubectl logs keycloak-0 -n powerflex [-f]
kubectl logs keycloak-1 -n powerflex [-f]