Openshift-Ereigniscode: 1030NODE0005

Wenn das Dateisystem eines Node voll wird, kann dies weitreichende negative Auswirkungen haben. Dieses Problem kann dazu führen, dass bei einigen oder allen Anwendungen, die auf diesem Node geplant sind, eine herabgesetzte Leistung bis hin zur vollständigen Nichtverfügbarkeit auftreten kann.

Je nach beteiligtem Node und Dateisystem kann dieses Problem eine kritische Bedrohung für die Stabilität des Clusters darstellen.

Die Warnmeldung NodeFilesystemAlmostOutOfSpace ähnelt der Warnmeldung NodeFilesystemSpaceFillingUp, basiert jedoch nicht auf der Vorhersage, dass ein Dateisystem in einer bestimmten Zeit voll sein wird, sondern verwendet einfache statische Schwellenwerte.

Diese Warnmeldung wird auf einer Warnstufe ausgelöst, wenn 5 % des Speicherplatzes im Dateisystem verbleiben, und auf einer kritischen Stufe, wenn 3 % des Speicherplatzes verbleiben.

Diagnose:
Untersuchen Sie die aktuellen Trends der Dateisystemnutzung auf einem Dashboard. Manchmal kann ein regelmäßiges Muster des Schreibens und Bereinigens im Dateisystem dazu führen, dass der lineare Vorhersagealgorithmus eine falsche Warnmeldung auslöst.

Verwenden Sie die Tools und Dienstprogramme des Linux-Betriebssystems, um zu untersuchen, welche Verzeichnisse den meisten Speicherplatz im Dateisystem belegen. Handelt es sich bei dem Problem um einen unregelmäßigen Zustand, z. B. wenn ein Prozess nicht hinter sich selbst bereinigt werden kann und viel Speicherplatz verwendet? Oder scheint das Problem mit organischem Wachstum zusammenzuhängen?

Um Ihre Diagnose zu unterstützen, beobachten Sie die folgende Metrik in PromQL (führen Sie die Abfrage auf der OCP-Webkonsole aus): Beachten Sie → Metriken → Ausführen von Abfragen):

node_filesystem_free_bytes

Überprüfen Sie dann die mountpoint Bezeichnung für die Warnmeldung.

Lösung:

Wenn die mountpoint Etikett ist /, /sysroot oder /varentfernen, entfernen Sie nicht verwendete Bilder, um das Problem zu beheben:

1.Debuggen Sie den Node, indem Sie auf das Dateisystem des Node zugreifen:
$ NODE_NAME=<Instanzbezeichnung von alert>
$ oc -n default debug node/$NODE_NAME
$ chroot /host

2.Entfernen Sie baumelnde Bilder:
$ podman images -q -f dangling=true | xargs --no-run-if-empty podman rmi

3.Entfernen Sie unbenutzte Bilder:
$ podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Beenden Sie debug:
$ exit
$ exit

Support:
Wenn das Problem durch die oben genannten Schritte nicht behoben werden kann, wenden Sie sich für weitere Untersuchungen an den technischen Support von Dell EMC.