Openshift Event Code: 1038NODE 0007

Als een bestandssysteem weinig ruimte nodig heeft, gaan de systeemprestaties meestal geleidelijk achteruit.

Als een bestandssysteem vol raakt en geen ruimte meer heeft, kunnen processen die naar het bestandssysteem moeten schrijven dit niet meer doen, wat kan leiden tot dataverlies en instabiliteit van het systeem.

De NodeFilesystemSpaceFillingUp Waarschuwing wordt geactiveerd wanneer aan twee voorwaarden is voldaan:

• Het huidige gebruik van het bestandssysteem overschrijdt een bepaalde drempelwaarde.
• Een extrapolatie-algoritme voorspelt dat het bestandssysteem binnen een bepaalde tijd geen ruimte meer heeft. Als de periode minder dan 24 uur is, is dit een Warning Alert. Als de tijd minder dan 4 uur is, is dit een Critical Alert.

Diagnose

• Bestudeer recente trends in het gebruik van bestandssystemen op een dashboard. Soms kan een periodiek patroon van schrijven en opschonen in het bestandssysteem ervoor zorgen dat het lineaire voorspellingsalgoritme een valse waarschuwing activeert.

• Gebruik de hulpprogramma's en hulpprogramma's van het Linux-besturingssysteem om te onderzoeken welke mappen de meeste ruimte in het bestandssysteem in beslag nemen. Is het probleem een onregelmatige toestand, zoals een proces dat niet achter zichzelf opruimt en een grote hoeveelheid ruimte in beslag neemt? Of lijkt het probleem te maken te hebben met organische groei?

Als hulp bij uw diagnose, bekijkt u de volgende statistiek in PromQL (voer de query uit op de OCP-webconsole): Let op → metrische gegevens → query's uitvoeren):

node_filesystem_free_bytes

Controleer vervolgens de mountpoint Label voor de waarschuwing.

Mitigatie

Als de mountpoint Label is /, /sysroot of /var, verwijder ongebruikte afbeeldingen om het probleem op te lossen:

1. Fouten opsporen in het knooppunt door toegang te krijgen tot het bestandssysteem van het knooppunt:

   $ NODE_NAME=<instantielabel van waarschuwing> $ oc -n standaard debug node/$NODE_NAME $ chroot /host

    

2. Verwijder bungelende afbeeldingen:

   $ podman afbeeldingen -q -f bungelen=waar | xargs --no-run-if-empty podman rmi

    

3. Ongebruikte afbeeldingen verwijderen:

   $ Podman afbeeldingen | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4. Foutopsporing afsluiten:

   $ exit $ exit

    

Support

Als het probleem niet met alle bovenstaande stappen kan worden opgelost, neemt u contact op met de technische support van Dell EMC voor verder onderzoek.