Openshift Event Code: 1030NODE0005

Als het bestandssysteem van een knooppunt vol raakt, kan dit een wijdverbreide negatieve impact hebben. Dit probleem kan ertoe leiden dat een of alle applicaties die op dat knooppunt zijn gepland, van verminderde prestaties tot volledig onbruikbaar worden.

Afhankelijk van het betrokken knooppunt en bestandssysteem kan dit probleem een kritieke bedreiging vormen voor de stabiliteit van het cluster.

De NodeFilesystemAlmostOutOfSpace-waarschuwing is vergelijkbaar met de NodeFilesystemSpaceFillingUp-waarschuwing, maar is niet gebaseerd op een voorspelling dat een bestandssysteem binnen een bepaalde tijd vol raakt, maar maakt gebruik van eenvoudige statische drempelwaarden.

Deze waarschuwing wordt geactiveerd op waarschuwingsniveau wanneer er nog 5% ruimte over is in het bestandssysteem en op een kritiek niveau wanneer er nog 3% ruimte over is.

Diagnose:
bestudeer recente trends in het gebruik van het bestandssysteem op een dashboard. Soms kan een periodiek patroon van schrijven en opschonen in het bestandssysteem ervoor zorgen dat het lineaire voorspellingsalgoritme een valse waarschuwing activeert.

Gebruik de hulpprogramma's en hulpprogramma's van het Linux-besturingssysteem om te onderzoeken welke mappen de meeste ruimte in het bestandssysteem in beslag nemen. Is het probleem een onregelmatige toestand, zoals een proces dat niet achter zichzelf opruimt en een grote hoeveelheid ruimte in beslag neemt? Of lijkt het probleem te maken te hebben met organische groei?

Om u te helpen bij uw diagnose, bekijkt u de volgende statistiek in PromQL (voer de query uit op de OCP-webconsole: Observe → Metrics → Run queries):

node_filesystem_free_bytes

Controleer vervolgens de mountpoint Label voor de waarschuwing.

Mitigatie:

Als de mountpoint Label is /, /sysroot of /var, verwijder ongebruikte afbeeldingen om het probleem op te lossen:

1. Debug het knooppunt door toegang te krijgen tot het bestandssysteem van het knooppunt:
$ NODE_NAME=<instantielabel van alert
>$ oc -n standaard debug node/$NODE_NAME
$ chroot /host

2. Verwijder bungelende afbeeldingen:
$ podman afbeeldingen -q -f bungelen=true | xargs --no-run-if-empty podman rmi

3. Verwijder ongebruikte afbeeldingen:
$ podman afbeeldingen | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e RHMAP | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Exit debug:
$ exit
$ exit

Support:
als het probleem niet met alle bovenstaande stappen kan worden opgelost, neemt u contact op met de technische support van Dell EMC voor verder onderzoek.