Code d’événement Openshift : 1030CLST0003

Cluster etcd : La taille de la base de données dépasse le quota défini sur l’instance etcd, veuillez défragmenter ou augmenter le quota car les écritures sur etcd seront désactivées lorsqu’il sera plein.

Cette alerte se déclenche lorsque la taille totale existante de la base de données dépasse 95 % du quota de base de données maximal. Dans Prometheus, l’espace consommé est représenté par le etcd_mvcc_db_total_size_in_bytes métrique, et la taille du quota de base de données est définie par etcd_server_quota_backend_bytes.

Si la taille de la base de données dépasse le quota de base de données, aucune écriture ne peut plus être effectuée sur le cluster etcd. Cela empêche également toute mise à jour dans le cluster, telle que la création de pods.

Diagnostic :
Les deux approches suivantes peuvent être utilisées pour le diagnostic.

Vérifications
de l’interface de ligne de commande Pour exécuter des commandes etcdctl, nous devons utiliser la commande rsh dans le conteneur etcdctl de n’importe quel pod etcd.
$ oc rsh -c etcdctl -n openshift-etcd $(oc get pod -l app=etcd -oname -n openshift-etcd | awk -F"/ » 'NR==1{ print $2 }')Vérifiez

que la commande etcdctl est disponible :
$ etcdctl version

etcdctl peut être utilisé pour récupérer la taille de base de données des points de terminaison etcd.
$ etcdctl endpoint status -w table

Requêtes
PromQL Vérifiez le pourcentage de consommation de la base de données etcd à l’aide de la requête suivante dans la console de métriques (Observer → Metrics → Exécuter des requêtes) :
(etcd_mvcc_db_total_size_in_bytes / etcd_server_quota_backend_bytes) * 100

Vérifiez la taille de la base de données en Mo qui peut être réduite après défragmentation :
(etcd_mvcc_db_total_size_in_bytes - etcd_mvcc_db_total_size_in_use_in_bytes)/1024/1024

Mitigation :
Capacity planning
Si la etcd_mvcc_db_total_size_in_bytes indique que vous vous rapprochez de la etcd_server_quota_backend_bytes, etcd a presque atteint sa capacité maximale et il est temps de commencer à planifier un nouveau cluster.

En attendant, avant la migration, vous pouvez utiliser la défragmentation pour gagner du temps.

Défragmentation
Lorsque la taille de la base de données etcd augmente, nous pouvons défragmenter la base de données etcd existante pour optimiser la consommation de la base de données, comme décrit ici :
$ etcdctl defrag

Pour validation, vérifiez l’état du point de terminaison des membres etcd pour connaître la taille réduite de la base de données etcd. Utilisez à cette fin les mêmes approches de diagnostic que celles énumérées ci-dessus. Davantage d’espace devrait être disponible dès maintenant.

Support :
si toutes les étapes ci-dessus ne permettent pas de résoudre le problème, contactez le support technique Dell EMC pour une procédure d’enquête plus approfondie.