Codice evento Openshift: 1038NODO0007
Résumé: Si prevede che il file system esaurisca lo spazio entro le prossime 4 ore.
Symptômes
Quando un file system inizia a scarseggiare lo spazio, le prestazioni del sistema in genere si riducono gradualmente.
Se un file system si riempie ed esaurisce lo spazio, i processi che devono scrivere nel file system non possono più farlo, con conseguente perdita di dati e instabilità del sistema.
Cause
La colonna NodeFilesystemSpaceFillingUp L'avviso si attiva quando vengono soddisfatte due condizioni:
- L'utilizzo corrente del file system supera una determinata soglia.
- Un algoritmo di estrapolazione prevede che il file system esaurirà lo spazio entro un determinato periodo di tempo. Se il periodo di tempo è inferiore a 24 ore, si tratta di un
WarningAvviso. Se il tempo è inferiore a 4 ore, si tratta di unCriticalAvviso.
Résolution
Diagnosi
-
Studia le tendenze recenti di utilizzo del file system in un dashboard. A volte, un modello periodico di scrittura e pulizia nel file system può causare l'attivazione di un falso avviso da parte dell'algoritmo di previsione lineare.
-
Utilizzare gli strumenti e le utilità del sistema operativo Linux per analizzare le directory che occupano più spazio nel file system. Il problema è una condizione irregolare, ad esempio un processo che non riesce a ripulire dietro se stesso e utilizza una grande quantità di spazio? O il problema sembra essere legato alla crescita organica?
Per facilitare la diagnosi, osservare la seguente metrica in PromQL (eseguire la query sulla console web OCP): Osservare → metriche → eseguire query):
node_filesystem_free_bytes |
Quindi, controlla l'icona mountpoint Etichetta dell'avviso.
Mitigazione
Se mountpoint l'etichetta è /, /sysroot oppure /var, rimuovere le immagini inutilizzate per risolvere il problema:
-
Eseguire il debug del nodo accedendo al file system del nodo:
$ NODE_NAME=<etichetta dell'istanza dall'avviso> $ oc -n nodo di debug predefinito/$NODE_NAME $ chroot /host
-
Rimuovere le immagini sconnesse:
$ podman immagini -q -f penzolante=vero | xargs --no-run-if-empty podman rmi
-
Rimuovere le immagini inutilizzate:
$ Podman Immagini | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null
-
Uscire dal debug:
$ esci $ esci
Supporto
Se quanto descritto sopra non risolve il problema, contattare il supporto tecnico Dell EMC per ulteriori indagini.