Openshift-tapahtumakoodi: 1030NODE0005

Solmun tiedostojärjestelmän täyttymisellä voi olla laajalle levinnyt negatiivinen vaikutus. Tämä ongelma voi aiheuttaa sen, että minkä tahansa tai kaikkien kyseiseen solmuun ajoitettujen sovellusten suorituskyky voi heikentyä tai lakata kokonaan toimimasta.

Solmusta ja tiedostojärjestelmästä riippuen tämä ongelma voi olla vakava uhka klusterin vakaudelle.

NodeFilesystemAlmostOutOfSpace-hälytys on samanlainen kuin NodeFilesystemSpaceFillingUp-hälytys, mutta sen sijaan, että se perustuisi ennusteeseen, että tiedostojärjestelmä täyttyy tietyssä ajassa, se käyttää yksinkertaisia staattisia kynnysarvoja.

Tämä hälytys käynnistyy varoitustasolla, kun 5 % tilasta on tiedostojärjestelmässä, ja kriittisellä tasolla, kun 3 % tilasta on jäljellä.

Diagnoosi:
Tutki tiedostojärjestelmän käytön viimeaikaisia suuntauksia koontinäytöllä. Joskus tiedostojärjestelmän säännöllinen kirjoittaminen ja puhdistaminen voi aiheuttaa lineaarisen ennustealgoritmin laukaisemaan väärän hälytyksen.

Linux-käyttöjärjestelmän työkalujen ja apuohjelmien avulla voit tutkia, mitkä hakemistot vievät eniten tilaa tiedostojärjestelmässä. Onko kyse epäsäännöllisestä tilasta, kuten siitä, että prosessi ei siivoa jälkiään ja vie paljon tilaa? Vai näyttääkö asia liittyvän orgaaniseen kasvuun?

Voit auttaa diagnoosissa seuraamalla seuraavaa mittaria PromQL:ssä (suorita kysely OCP-verkkokonsolissa: Tarkkaile → mittareita → suorita kyselyitä):

node_filesystem_free_bytes

Tarkista sitten mountpoint ilmoituksen otsikko.

Lieventäminen:

Jos mountpoint etiketti on /, /sysroot tai /var, poista käyttämättömät kuvat ongelman ratkaisemiseksi:

1.Debugoi solmu avaamalla solmun tiedostojärjestelmä:
$ NODE_NAME=<instance label kohteesta alert>
$ oc -n oletusvirheenkorjaussolmu/$NODE_NAME
$ chroot /host

2.Poista roikkuvat kuvat:
$ podman-kuvat -q -f roikkuu = tosi | xargs --no-run-if-empty podman rmi

3.Poista käyttämättömät kuvat:
$ podman-kuvat | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Exit debug:
$ exit
$ exit

Tuki:
Jos ongelma ei ratkea mitkään yllä olevista toimista, ota yhteyttä Dell EMC:n tekniseen tukeen lisätutkimuksia varten.