Openshift 事件代码：1038CLST0007

当某个系统命名空间中的持久卷剩余空间少于其总空间的 3% 时，就会触发此警报。系统命名空间包括默认命名空间和名称以 openshift- 或 kube- 开头的命名空间。

如果系统组件使用的持久卷已满，则该组件不太可能正常运行。完整的持久卷也可能导致部分或整个群集宕机。

卷填满的原因可能有多种。此知识库文章不涵盖特定于应用程序的原因，仅涵盖合法填充的卷的缓解措施。

与往常一样，请参阅给定服务的建议方案。

诊断：
警报标签包括与存储空间不足的卷关联的持久卷声明 （PVC） 的名称。标签还包括 PVC 所在的命名空间。使用此信息绘制 OpenShift Web 控制台中的可用存储图表（观察→指标→运行查询）。

以下是与 openshift-monitoring 命名空间中的 Prometheus 实例关联的 PVC 查询示例：

kubelet_volume_stats_available_bytes{
namespace=“openshift-monitoring”，
persistentvolumeclaim=“prometheus-k8s-db-prometheus-k8s-0”
}

您还可以手动检查卷的内容，以确定正在使用存储的内容：
$ PVC_NAME='<persistentvolumeclaim label from alert>'
$ NAMESPACE='<namespace label from alert>'
$ oc -n $NAMESPACE describe pvc $PVC_NAME
$ POD_NAME='<“Used By：” field from the above output>'

$ oc -n $NAMESPACE rsh $POD_NAME
$ df -h

缓解措施：
此问题的缓解措施取决于填充存储的原因。


您可以尝试为受影响的卷分配更多存储空间以解决此问题。

您还可以尝试调整作为卷的组件的配置，以便该组件需要更少的存储空间。   例如，如果组件的日志填满持久卷，您可以更改日志级别，以便记录的信息更少，因此日志所需的空间也更少。

支持：
如果上述所有步骤都无法解决问题，请联系 Dell EMC 技术支持以进行进一步调查。