Openshift-hændelseskode: 1038NODE0008
Résumé: Systemhukommelse overstiger reservation
Symptômes
Cause
Reserveret hukommelse sikrer, at systemprocesser kan fungere, selv når noden er fuldt allokeret, og beskytter mod workload ud af hukommelseshændelser, der påvirker nodens korrekte funktion.
Standardreservationen forventes at være tilstrækkelig til de fleste konfigurationer og bør øges (https://docs.openshift.com/container-platform/latest/nodes/nodes/nodes-nodes-managing.html), når der køres noder med et stort antal pods (enten på grund af ændringshastighed eller ved steady state).
Résolution
Diagnosticering
Tjek systemReserved Konfiguration anvendt på noderne:
$ oc få noder [...] $ oc debug node/[node_name] -- cat /host/etc/kubernetes/kubelet.conf [...] systemReserveret: Cpu: 500m Hukommelse: 1Gi Kortvarig opbevaring: 1Gi [...] |
Kontroller de ressourcer, der bruges i noderne (kontroller de værdier, der bruges af kubelet og runtime Hvis du
vil sammenligne med de konfigurerede systemReserved værdier):
$ oc get --raw /api/v1/nodes/<node>/proxy/stats/summary
[...]
{
"knude": {
"nodeName": "klynge.node22",
"systemContainere": [
{
"CPU": {
"usageCoreNanoSeconds": 929684480915,
"usageNanoCores": 190998084
},
"hukommelse": {
"rssBytes": 176726016,
"usageBytes": 1397895168,
"workingSetBytes": 1050509312
},
"navn": "Kubelet"
},
{
"CPU": {
"usageCoreNanoSeconds": 128521955903,
"usageNanoCores": 5928600
},
"hukommelse": {
"rssBytes": 35958784,
"usageBytes": 129671168,
"workingSetBytes": 102416384
},
"navn": "Drift"
}
[...
]
]
}
}
[...]
|
Afbødning
Forøgelse af hukommelsesreservationer for at løse problemet.
Hvis du f.eks. vil angive ressourceallokering for standardarbejderen MachineConfigPool , skal du oprette følgende CR inde i projektet openshift-config-operator:
ADVARSEL: Dette vil udløse en seriel genstart af noder ved hjælp af dette MachineConfigPool:
apiVersion: machineconfiguration.openshift.io/v1
Form: KubeletConfig
Metadata:
Navn: sæt-allokerbar
Spec:
machineConfigPoolSelector:
matchLabels:
pools.operator.machineconfiguration.openshift.io/worker: ""
kubeletConfig:
systemReserveret:
Cpu: 500m # skift CPU, hvis det er nødvendigt
Hukommelse: 1512Mi # skift hukommelsen, hvis det er nødvendigt |
Support
Hvis alle ovenstående trin ikke kan løse problemet, skal du kontakte Dell EMC s tekniske support for yderligere undersøgelse.