Код події Openshift: 1038NODE0006
Résumé: Прогнозується, що файлова система закінчиться без inode протягом наступних 4 годин.
Symptômes
Заповнення файлової системи вузла може мати широкий негативний вплив. Ця проблема може призвести до того, що будь-який або всі додатки, заплановані на цей вузол, відчуватимуть від зниження продуктивності до повної непридатності,
Залежно від вузла та файлової системи, ця проблема може становити критичну загрозу стабільності кластера.
Cause
The NodeFilesystemFilesFillingUp alert подібна до сповіщення NodeFilesystemSpaceFillingUp, але передбачає, що файлова система залишиться без inode, а не з байтами місця для зберігання.
Сповіщення спрацьовує на critical рівняти, коли прогнозується, що файлова система вичерпає доступні INODE протягом чотирьох годин.
Résolution
Діагностика
Зверніть увагу на instance та mountpoint Етикетки з попередження. Ви можете побудувати історію використання цієї файлової системи, скориставшись наступним запитом у веб-консолі OpenShift (Спостерігайте → метрики → Запуск запитів):
node_filesystem_files_free{
екземпляр="<значення мітки екземпляра з сповіщення>",
mountpoint="<значення мітки mountpoint з alert>"
} |
Ви також можете відкрити налагоджувальну сесію на вузлі та використати стандартні утиліти Linux, щоб знайти джерело використання:
$ MOUNT_POINT='<значення мітки маунтпойнта з сповіщення>' $ NODE_NAME='<значення мітки екземпляра з сповіщення>' $ oc debug "node/$NODE_NAME" $ df -hi "/host/$MOUNT_POINT" |
Зверніть увагу, що в багатьох випадках файлова система, яка закінчується з inode, все одно матиме вільне сховище. Закінчення inode часто виникає, коли додаток створює багато невеликих файлів.
Пом'якшення наслідків
Кількість inode, виділених файловій системі, зазвичай залежить від розміру сховища. Можливо, ви зможете вирішити проблему або принаймні відкласти її негативний вплив, збільшивши розмір обсягу зберігання. Інакше визначте, який додаток створює велику кількість малих файлів, а потім або відкоригуйте його конфігурацію, або надайте виділене сховище.
Підтримка
Якщо всі вищезазначені кроки не допоможуть вирішити проблему, зверніться до технічної підтримки Dell EMC для подальшого розслідування.