Код события Openshift: 1030УЗЕЛ0005

Переполнение файловой системы узла может иметь далеко идущие негативные последствия. Эта проблема может привести к тому, что в любом или всех приложениях, запланированных для этого узла, будет наблюдаться снижение производительности вплоть до полной неработоспособности.

В зависимости от задействованного узла и файловой системы эта проблема может представлять критическую угрозу для стабильности кластера.

Оповещение NodeFilesystemAlmostOutOfSpace аналогично оповещению NodeFilesystemSpaceFillingUp, но вместо того, чтобы основываться на прогнозе того, что файловая система будет заполнена за определенный промежуток времени, в нем используются простые статические пороговые значения.

Это оповещение срабатывает на уровне предупреждения, когда в файловой системе остается 5% пространства, и на уровне «критического», когда в файловой системе остается 3% пространства.

Диагностика.Изучение
последних тенденций использования файловой системы на панели управления. Иногда периодическая последовательность записи и очистки в файловой системе может привести к тому, что алгоритм линейного прогнозирования выдаст ложное оповещение.

Используйте инструменты и служебные программы операционной системы Linux для поиска каталогов, занимающих больше всего места в файловой системе. Является ли проблема нерегулярной, например, процесс не убирается за собой и занимает много места? Или проблема связана с органическим ростом?

Чтобы помочь в диагностике, просмотрите следующую метрику в PromQL (выполните запрос в веб-консоли OCP: Наблюдайте за метриками → → выполняйте запросы):

node_filesystem_free_bytes

Затем проверьте mountpoint для оповещения.

Меры по устранению

Если mountpoint label имеет значение /, /sysroot или /var, удалите неиспользуемые образы, чтобы решить эту проблему:

1.Отладка узла путем доступа к файловой системе узла:
$ NODE_NAME=<метка экземпляра из alert
>$ oc -n default debug node/$NODE_NAME
$ chroot /host

2.Удалите висячие изображения:
$ podman images -q -f dangling=true | xargs --no-run-if-empty podman rmi

3.Удалите неиспользуемые образы:
$ podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Выход из отладки:
$ exit
$ выход

Поддержка.
Если все вышеперечисленные действия не помогли решить проблему, обратитесь в службу технической поддержки Dell EMC для дальнейшего изучения.