Código do evento Openshift: 1030NODE0005

O sistema de arquivos de um nó ficar cheio pode ter um impacto negativo generalizado. Esse problema pode fazer com que um ou todos os aplicativos agendados para esse nó experimentem qualquer coisa, desde desempenho degradado até se tornar totalmente inoperante.

Dependendo do nó e do file system envolvidos, esse problema pode representar uma ameaça crítica à estabilidade do cluster.

O alerta NodeFilesystemAlmostOutOfSpace é semelhante ao alerta NodeFilesystemSpaceFillingUp, mas em vez de ser baseado em uma previsão de que um file system ficará cheio em um determinado período de tempo, ele usa limites estáticos simples.

Esse alerta é acionado em um nível de advertência quando 5% do espaço permanece no file system e em um nível crítico quando resta 3% do espaço.

Diagnóstico:
estude as tendências recentes de uso do sistema de arquivos em um painel de indicadores. Às vezes, um padrão periódico de gravação e limpeza no file system pode fazer com que o algoritmo de previsão linear acione um alerta falso.

Use as ferramentas e utilitários do sistema operacional Linux para investigar quais diretórios estão usando mais espaço no sistema de arquivos. O problema é uma condição irregular, como um processo não conseguir limpar atrás de si mesmo e usar uma grande quantidade de espaço? Ou a questão parece estar relacionada ao crescimento orgânico?

Para auxiliar no diagnóstico, observe a seguinte métrica no PromQL (execute a consulta no console da Web do OCP: Observe → Metrics → Run queries):

node_filesystem_free_bytes

Em seguida, verifique a opção mountpoint Rótulo do alerta.

Redução:

Se a mountpoint rótulo é /, /sysroot ou /var, remova imagens não utilizadas para resolver o problema:

1. Depure o nó acessando o file system do nó:
$ NODE_NAME=<instance label from alert
>$ oc -n default debug node/$NODE_NAME
$ chroot /host

2.Remove dangling images:
$ podman images -q -f dangling=true | xargs --no-run-if-empty podman rmi

3.Remove unused images:
$ podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e RHMAP | xargs --no-run-if-empty podman rmi 2>/dev/null

4. exit debug:
$ exit
$ exit

Suporte:
se todas as etapas acima não puderem resolver o problema, entre em contato com o suporte técnico da Dell EMC para investigar mais.