Openshift Event Code: 1038NODE 0008
Résumé: Systeemgeheugen overschrijdt reservering
Symptômes
Cause
Gereserveerd geheugen zorgt ervoor dat systeemprocessen kunnen functioneren, zelfs wanneer het knooppunt volledig is toegewezen, en beschermt tegen workloads uit het geheugen die van invloed zijn op de goede werking van het knooppunt.
De standaardreservering is naar verwachting voldoende voor de meeste configuraties en moet worden verhoogd (https://docs.openshift.com/container-platform/latest/nodes/nodes/nodes-nodes-managing.html) bij het uitvoeren van knooppunten met een groot aantal pods (vanwege de wijzigingssnelheid of bij steady state).
Résolution
Diagnostiek
Controleer de systemReserved Configuratie toegepast op de knooppunten:
$ OC knooppunten ophalen [...] $ oc debug node/[node_name] -- cat /host/etc/kubernetes/kubelet.conf [...] systemReserved: Cpu: 500m Geheugen: 1Gi Kortstondige opslag: 1Gi [...] |
Controleer de resources die worden gebruikt in de knooppunten (controleer de waarden die worden gebruikt door kubelet als runtime Als u
wilt vergelijken met de geconfigureerde systemReserved waarden):
$ OC krijgen --raw /api/v1/nodes/<node>/proxy/stats/summary
[...]
{
"knooppunt": {
"nodeName": "cluster.node22",
"systemContainers": [
{
"CPU": {
"usageCoreNanoSeconds": 929684480915,
"usageNanoCores": 190998084
},
"geheugen": {
"rssBytes": 176726016,
"usageBytes": 1397895168,
"workingSetBytes": 1050509312
},
"Naam": "Kubelet"
},
{
"CPU": {
"usageCoreNanoSeconds": 128521955903,
"usageNanoCores": 5928600
},
"geheugen": {
"rssBytes": 35958784,
"usageBytes": 129671168,
"workingSetBytes": 102416384
},
"Naam": "Looptijd"
}
[...
]
]
}
}
[...]
|
Mitigatie
Verhoging van de geheugenreserveringen om het probleem op te lossen.
Bijvoorbeeld om resourcetoewijzing in te stellen voor de standaardwerker MachineConfigPool , maak het volgende CR inside-project openshift-config-operator:
WAARSCHUWING: Hiermee wordt een seriële herstart van knooppunten geactiveerd die hiermee MachineConfigPool:
apiVersion: machineconfiguration.openshift.io/v1
Soort: KubeletConfig
Metagegevens:
Naam: set-allocatable
Spec:
machineConfigPoolSelector:
matchLabels:
pools.operator.machineconfiguration.openshift.io/worker: ""
kubeletConfig:
systemReserved:
Cpu: 500m # verander de CPU indien nodig
Geheugen: 1512Mi # verander het geheugen indien nodig |
Support
Als het probleem niet met alle bovenstaande stappen kan worden opgelost, neemt u contact op met de technische support van Dell EMC voor verder onderzoek.