Код події Openshift: 1030NODE0005

Заповнення файлової системи вузла може мати широкий негативний вплив. Ця проблема може призвести до того, що будь-який або всі додатки, запрограмовані на цьому вузлі, можуть відчувати від зниження продуктивності до повної непридатності роботи.

Залежно від вузла та файлової системи, ця проблема може становити критичну загрозу стабільності кластера.

Alert NodeFilesystemAlmostOutOfSpace схожий на сповіщення NodeFilesystemSpaceFillingUp, але замість прогнозу, що файлова система заповниться за певний час, він використовує прості статичні пороги.

Це сповіщення спрацьовує на рівні попередження, коли у файловій системі залишається 5% місця, і на критичному рівні, коли залишається 3% простору.

Діагностика:
Вивчіть останні тенденції використання файлової системи на панелі приладів. Іноді періодичний шаблон запису та очищення у файловій системі може спричинити хибне сповіщення алгоритмом лінійного прогнозування.

Використовуйте інструменти та утиліти операційної системи Linux, щоб з'ясувати, які каталоги займають найбільше місця у файловій системі. Чи проблема пов'язана з неправильним станом, наприклад, процес не прибирає позаду себе і використовує велику площу? Чи проблема, здається, пов'язана з органічним ростом?

Щоб допомогти у діагностиці, перегляньте наступну метрику в PromQL (виконайте запит на веб-консолі OCP): Спостерігайте за → метриками → Запустіть запити:

node_filesystem_free_bytes

Потім перевірте mountpoint Етикетка для попередження.

Пом'якшення наслідків:

Якщо mountpoint label — /, /sysroot або /var, видаліть невикористані зображення для вирішення проблеми:

1.Налагодити вузол шляхом доступу до файлової системи вузла:
$ NODE_NAME=<label instance з alert>
$ oc -n default debug node/$NODE_NAME
$ chroot /host

2. Видалити підвішені зображення:
$ podman images -q -f dhangling=true | xargs --no-run-if-empty podman rmi

3.Видалити невикористані зображення:
$ podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4.Exit debug:
$ exit
$ exit

Підтримка:
Якщо всі вищезазначені кроки не можуть вирішити проблему, зверніться до технічної підтримки Dell EMC для подальшого розслідування.