OpenShift-händelsekod: 1030NOD0005

Att en nods filsystem blir fullt kan ha en omfattande negativ inverkan. Det här problemet kan leda till att något eller alla program som är schemalagda för den noden upplever allt från försämrad prestanda till att bli helt obrukbara.

Beroende på vilken nod och vilket filsystem som är inblandat kan det här problemet utgöra ett kritiskt hot mot klustrets stabilitet.

Aviseringen NodeFilesystemAlmostOutOfSpace liknar aviseringen NodeFilesystemSpaceFillingUp, men i stället för att baseras på en förutsägelse om att ett filsystem blir fullt inom en viss tid använder den enkla statiska tröskelvärden.

Den här varningen utlöses på en varningsnivå när 5 % av utrymmet finns kvar i filsystemet och på en kritisk nivå när 3 % av utrymmet återstår.

Diagnos:
Studera de senaste trenderna för filsystemanvändning på en instrumentpanel. Ibland kan ett periodiskt mönster för skrivning och rensning i filsystemet göra att den linjära förutsägelsealgoritmen utlöser en falsk avisering.

Använd Linux-operativsystemets verktyg och verktyg för att undersöka vilka kataloger som använder mest utrymme i filsystemet. Är problemet ett oregelbundet tillstånd, till exempel en process som inte städar upp bakom sig själv och använder mycket utrymme? Eller verkar problemet vara relaterat till organisk tillväxt?

För att hjälpa dig med din diagnos kan du titta på följande mått i PromQL (kör frågan på OCP-webbkonsolen: Observera → mått → kör frågor):

node_filesystem_free_bytes

Kontrollera sedan mountpoint etikett för aviseringen.

Lindring:

Om den mountpoint etiketten är /, /sysroot eller /vartar du bort oanvända bilder för att lösa problemet:

1. Felsök noden genom att komma åt nodfilen system:
$ NODE_NAME=<instansetikett från alert
>$ oc -n standardfelsökningsnod/$NODE_NAME
$ chroot /host

2.Ta bort dinglande bilder:
$ podman bilder -q -f dingling=true | xargs --no-run-if-empty podman rmi

3.Ta bort oanvända bilder:
$ podman bilder | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Exit debug:
$ exit
$ exit

Support:
Om inget av stegen ovan kan lösa problemet kontaktar du Dell EMC:s tekniska support för vidare undersökning.