Openshift Event Code: 1038CLST0007

Deze waarschuwing wordt geactiveerd wanneer een permanent volume in een van de systeemnaamruimten minder dan 3% van de totale resterende ruimte heeft. Systeemnamespaces omvatten standaardnamespaces en namespaces met namen die beginnen met openshift- of kube-.

Als een permanent volume dat door een systeemcomponent wordt gebruikt, vol raakt, is het onwaarschijnlijk dat het component normaal functioneert. Een volledig permanent volume kan ook leiden tot een gedeeltelijke of volledige clusterstoring.

Er kunnen verschillende redenen zijn waarom een volume vol raakt. Deze KB behandelt geen applicatiespecifieke redenen, alleen mitigaties voor volumes die legitiem gevuld zijn.

Raadpleeg zoals altijd de aanbevolen scenario's voor de betreffende service.

Diagnose:
de waarschuwingslabels bevatten de naam van de persistente volumeclaim (PVC) die is gekoppeld aan het volume dat bijna op is bij storage. De labels bevatten ook de naamruimte waarin het PVC zich bevindt. Gebruik deze informatie om een grafiek van de beschikbare storage in de OpenShift-webconsole weer te geven (Observe → Metrics → Run queries).

Hieronder volgt een voorbeeldquery voor een PVC die is gekoppeld aan een Prometheus-instantie in de openshift-monitoring-namespace:

kubelet_volume_stats_available_bytes{
namespace="openshift-monitoring",
persistentvolumeclaim="prometheus-k8s-db-prometheus-k8s-0"
}

U kunt de inhoud van het volume ook handmatig inspecteren om te bepalen wat de storage gebruikt:
$ PVC_NAME='<persistentvolumeclaimlabel van alert>'
$ NAMESPACE='<namespace label van alert>'

$ oc -n $NAMESPACE beschrijf pvc $PVC_NAME
$ POD_NAME='"Used by:<" veld van de bovenstaande output>'

$ oc -n $NAMESPACE rsh $POD_NAME
$ df -h

Mitigatie:
Mitigatie voor dit probleem hangt af van wat de storage vult.

U kunt proberen meer opslagruimte toe te wijzen aan het betreffende volume om het probleem op te lossen.

U kunt ook proberen de configuratie aan te passen voor de component die het volume is, zodat de component minder opslagruimte nodig heeft.   Als logboeken voor een component bijvoorbeeld het permanente volume vullen, kunt u het logboekniveau wijzigen, zodat er minder informatie wordt geregistreerd en er dus minder ruimte nodig is voor logboeken.

Support:
als het probleem niet met alle bovenstaande stappen kan worden opgelost, neemt u contact op met de technische support van Dell EMC voor verder onderzoek.