Код події Openshift: 1038NODE0007

Коли файлова система починає втрачати місце, продуктивність системи зазвичай поступово погіршується.

Якщо файлова система заповнюється і не вистачає місця, процеси, які потрібно записувати у файлову систему, більше не можуть це робити, що може призвести до втрати даних і нестабільності системи.

The NodeFilesystemSpaceFillingUp Тривога спрацьовує, коли виконано дві умови:

• Поточне використання файлової системи перевищує певний поріг.
• Алгоритм екстраполяції передбачає, що файлова система вичерпає простір протягом певного часу. Якщо проміжок менше 24 годин, це Warning Тривога. Якщо час менше 4 годин, це Critical Тривога.

Діагностика

• Вивчайте останні тенденції використання файлової системи на панелі приладів. Іноді періодичний шаблон запису та очищення у файловій системі може спричинити хибне сповіщення алгоритмом лінійного прогнозування.

• Використовуйте інструменти та утиліти операційної системи Linux, щоб з'ясувати, які каталоги займають найбільше місця у файловій системі. Чи проблема пов'язана з неправильним станом, наприклад, процес не прибирає позаду себе і використовує велику площу? Чи проблема, здається, пов'язана з органічним ростом?

Щоб допомогти у діагностиці, перегляньте наступну метрику в PromQL (виконайте запит на веб-консолі OCP): Спостерігайте → метрики → запити Run):

node_filesystem_free_bytes

Потім перевірте mountpoint Етикетка для попередження.

Пом'якшення наслідків

Якщо mountpoint label — /, /sysroot або /var, видаліть невикористані зображення для вирішення проблеми:

1. Відлагодіть вузол, звернувшись до файлової системи вузла:

   $ NODE_NAME=<інстанційна мітка з сповіщення> $ oc -n default debug node/$NODE_NAME $ chroot /host

    

2. Видаліть підвішаючі зображення:

   $ Podman images -q -f dhangling=true | XARGS --Ні-Бігти-Якщо-Порожньо-Подман RMI

    

3. Видаляйте невикористані зображення:

   $ Podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2>/dev/null

4. Відлагодження виходу:

   $ вихід $ вихід

    

Підтримка

Якщо всі вищезазначені кроки не допоможуть вирішити проблему, зверніться до технічної підтримки Dell EMC для подальшого розслідування.