Код события Openshift: 1038КЛСТ0008
Summary: Заполняются индексные дескрипторы PersistentVolumeInodes.
Symptoms
Переменная KubePersistentVolumeInodesFillingUp Оповещение срабатывает, когда у постоянного тома в одном из системных пространств имен остается менее 3% выделенных индексных дескрипторов. Пространства системных имен включают default и те, имена которых начинаются с openshift- или kube-.
Чрезмерное использование индексных дескрипторов компонентом системы, скорее всего, будет препятствовать нормальной работе компонента. Значительное использование индексных дескрипторов также может привести к частичному или полному отключению кластера.
Cause
Том заполняется по разным причинам. В этой статье базы знаний не рассматриваются причины, связанные с конкретными приложениями, а только меры по устранению рисков для томов, которые заполняются на законных основаниях.
Как всегда, см. рекомендуемые сценарии для данной службы.
Resolution
Диагностика
Метки оповещений содержат имя заявки на постоянный том (PVC), связанного с томом, в котором заканчивается пространство хранения. Метки также включают пространство имен, в котором находится PVC. Используйте эти сведения для построения графика доступного хранилища в веб-консоли OpenShift (наблюдайте за метриками → → выполняйте запросы).
Ниже приведен пример запроса для PVC, связанного с экземпляром Prometheus в пространстве имен openshift-monitoring:
kubelet_volume_stats_inodes_used{
namespace="openshift-monitoring",
persistentvolumeclaim="prometheus-k8s-db-prometheus-k8s-0"
}
|
Можно проверить состояние тома вручную, чтобы определить, какой каталог использует большое количество индексных дескрипторов:
$ PVC_NAME='<Метка PersistentVolumeClaim из оповещения>' $ NAMESPACE='<метка пространства имен из оповещения>' $ oc -n $NAMESPACE описать PVC $PVC_NAME $ POD_NAME='<"Used By:" из приведенного выше вывода>' $ oc -n $NAMESPACE rsh $POD_NAME $ cd /путь/к/монтажу из пвх $ ls -li . $ статистика |
Смягчения
Возможность устранения этой проблемы зависит от общего количества файлов, каталогов и символьных ссылок. После создания файловой системы количество индексных дескрипторов в ней невозможно увеличить. Однако можно настроить конфигурацию компонента с помощью тома, чтобы он создавал меньше файлов, каталогов и символьных ссылок.
Поддержка
Если все вышеперечисленные действия не помогли решить проблему, обратитесь в службу технической поддержки Dell EMC для дальнейшего изучения.