Код события Openshift: 1038КЛСТ0007

Это оповещение появляется, когда на постоянном томе в одном из системных пространств имен осталось менее 3% от общего объема свободного пространства. К пространствам системных имен относятся пространства по умолчанию и те, имена которых начинаются с openshift- или kube-.

Если постоянный том, используемый компонентом системы, заполняется, этот компонент вряд ли будет работать нормально. Заполнение постоянного тома также может привести к частичному или полному прекращению работы кластера.

Том заполняется по разным причинам. В этой статье базы знаний не рассматриваются причины, связанные с конкретными приложениями, а только меры по устранению рисков для томов, которые заполняются на законных основаниях.

Как всегда, см. рекомендуемые сценарии для данной службы.

Диагностика.Метки
оповещений содержат имя заявки на постоянный том (PVC), связанного с томом, в котором заканчивается пространство хранения. Метки также включают пространство имен, в котором находится PVC. Используйте эти сведения для построения графика доступного хранилища в веб-консоли OpenShift (наблюдайте за метриками → → выполняйте запросы).

Ниже приведен пример запроса для PVC, связанного с экземпляром Prometheus в пространстве имен openshift-monitoring:

kubelet_volume_stats_available_bytes{
namespace="openshift-monitoring",
persistentvolumeclaim="prometheus-k8s-db-prometheus-k8s-0"
}

Вы также можете проверить содержимое тома вручную, чтобы определить, что использует storage:
$ PVC_NAME='<persistentvolumeclaim label from alert>'
$ NAMESPACE='<namespace из alert>'
$ oc -n $NAMESPACE описать pvc $PVC_NAME
$ POD_NAME='<"Used By:" из приведенного выше вывода>'

$ oc -n $NAMESPACE rsh $POD_NAME
$ df -h

Mitigation:
Устранение этой проблемы зависит от того, чем заполняется хранилище.


Чтобы решить проблему, попробуйте выделить больше места для хранения данных затронутого тома.

Можно также попробовать изменить конфигурацию компонента, который является томом, таким образом, чтобы компоненту требовалось меньше места для хранения.   Например, если журналы компонента заполняют постоянный том, можно изменить уровень журнала таким образом, чтобы в журнал записывалось меньше информации и, следовательно, для журналов требовалось меньше места.

Поддержка.
Если все вышеперечисленные действия не помогли решить проблему, обратитесь в службу технической поддержки Dell EMC для дальнейшего изучения.