Kod zdarzenia Openshift: 1030WĘZEŁ0005

Zapełnienie systemu plików węzła może mieć szeroki negatywny wpływ. Ten problem może spowodować, że niektóre lub wszystkie aplikacje zaplanowane w tym węźle doświadczają pogorszenia wydajności, od obniżonej wydajności do całkowitej niesprawności.

W zależności od węzła i systemu plików problem ten może stanowić krytyczne zagrożenie dla stabilności klastra.

Alert NodeFilesystemAlmostOutOfSpace jest podobny do alertu NodeFilesystemSpaceFillingUp, ale zamiast być oparty na przewidywaniu, że system plików zostanie zapełniony w określonym czasie, używa prostych progów statycznych.

Ten alert jest wyzwalany na poziomie ostrzeżenia, gdy w systemie plików pozostanie 5% miejsca, lub na poziomie krytycznym, gdy w systemie plików pozostanie 3% miejsca.

Diagnoza:
Zbadaj najnowsze trendy wykorzystania systemu plików na pulpicie nawigacyjnym. Czasami okresowy wzorzec zapisu i czyszczenia w systemie plików może spowodować, że algorytm przewidywania liniowego wyzwoli fałszywy alarm.

Użyj narzędzi i programów narzędziowych systemu operacyjnego Linux, aby sprawdzić, które katalogi zajmują najwięcej miejsca w systemie plików. Czy problem jest nieregularny, na przykład proces nie sprząta za sobą i zajmuje dużo miejsca? A może problem wydaje się być związany ze wzrostem organicznym?

Aby pomóc w diagnozie, obejrzyj następującą metrykę w PromQL (wykonaj zapytanie w konsoli internetowej OCP: Obserwuj → metryki → Uruchamiaj zapytania):

node_filesystem_free_bytes

Następnie sprawdź mountpoint etykieta alertu.

Łagodzenie:

Jeśli wartość mountpoint etykieta jest /, /sysroot lub /var, usuń nieużywane obrazy, aby rozwiązać problem:

1.Debuguj węzeł, uzyskując dostęp do systemu plików węzła:
$ NODE_NAME=<etykieta instancji z alert>
$ oc -n domyślny węzeł debugowania/$NODE_NAZWA
$ chroot /host

2. Usuń zwisające obrazy:
$ podman images -q -f dangling=true | xargs --no-run-if-empty podman rmi

3.Usuń nieużywane obrazy:
$ podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Wyjdź z debugowania:
$ exit
$ exit

Pomoc techniczna:
jeśli wszystkie powyższe czynności nie rozwiążą problemu, skontaktuj się z działem pomocy technicznej firmy Dell EMC w celu dokładniejszego zbadania problemu.