OpenShift: Hvordan øke nettverksringbufferstørrelsen på arbeidsnoder for kontrollplanet
Summary: Denne artikkelen beskriver fremgangsmåten for å øke RX-ringbufferne på grensesnittene til hver arbeidsnode i en OpenShift Container Platform (OCP) Hosted Control Plane (HCP)-klynge.
Instructions
Forberedelse
I eksemplene nedenfor har vi identifisert to grensesnitt som må modifiseres av RX-bufferne.
eno12399np0 ens1f1np1
Vi har kontrollert de gyldige verdiene for ringbuffere på nettverkskortene ved hjelp av ethtool -g Kommandoen. Dette kan gjøres fra en feilsøkingspod på noden eller ekstraheres fra en SOS-pakke.
# oc debug node/samplenode # chroot /host # ethtool -g eno12399np0 Ring parameters for eno12399np0: Pre-set maximums: RX: 8192 RX Mini: n/a RX Jumbo: n/a TX: 8192 Current hardware settings: RX: 4096 RX Mini: n/a RX Jumbo: n/a TX: 1024 RX Buf Len: n/a CQE Size: n/a TX Push: off TCP data split: off
Vi har bestemt oss for 4096 for verdien for å sette ringbufferne.
Vi utfører følgende trinn for å fullføre operasjonen.
- Opprett
ButaneFiler. - Konverter disse Butane-filene til
YAML. - Bygg inn de genererte
YAMLtil enconfigmapObjekt. - Opprett ikonet
configmaps. - Rediger ikonet
nodepoolobjekt for å referere tilconfigmapsOpprettet. - Vent til konfigurasjonsoppdateringen er fullført.
- Kontroller at konfigurasjonsoppdateringen er fullført, og at endringene er implementert.
Forbered Butane-filer.
Opprett to Butane filer, en for hvert grensesnitt.
# eno12399np0.bu
variant: openshift
version: 4.18.0
metadata:
name: 99-worker-ethtool-eno12399np0-buffer
labels:
machineconfiguration.openshift.io/role: worker
storage:
files:
- path: /etc/systemd/system/set-ethtool-eno12399np0-buffer.service
mode: 0644
overwrite: true
contents:
inline: |
[Unit]
Description=Set ethtool RX buffer size for network interface
Requires=NetworkManager.service
After=NetworkManager.service
Before=ovs-configuration.service
DefaultDependencies=no
[Service]
Type=oneshot
ExecStart=/bin/bash -c "/sbin/ethtool -G eno12399np0 rx 4096 >> /var/log/user-data.log 2>&1"
[Install]
WantedBy=multi-user.target
systemd:
units:
- name: set-ethtool-eno12399np0-buffer.service
enabled: true
# ens1f1np1.bu
variant: openshift
version: 4.18.0
metadata:
name: 99-worker-ethtool-ens1f1np1-buffer
labels:
machineconfiguration.openshift.io/role: worker
storage:
files:
- path: /etc/systemd/system/set-ethtool-ens1f1np1-buffer.service
mode: 0644
overwrite: true
contents:
inline: |
[Unit]
Description=Set ethtool RX buffer size for network interface
Requires=NetworkManager.service
After=NetworkManager.service
Before=ovs-configuration.service
DefaultDependencies=no
[Service]
Type=oneshot
ExecStart=/bin/bash -c "/sbin/ethtool -G ens1f1np1 rx 4096 >> /var/log/user-data.log 2>&1"
[Install]
WantedBy=multi-user.target
systemd:
units:
- name: set-ethtool-ens1f1np1-buffer.service
enabled: true
Konvertere Butane filer til MachineConfig YAML
Last ned den kjørbare Butan-filen og kjør konverteringen.
# Download butane (example) $ curl -L -o butane https://mirror.openshift.com/pub/openshift-v4/clients/butane/butane-linux-amd64 $ chmod +x butane # Convert $ ./butane eno12399np0.bu -o eno12399np0.yaml $ ./butane ens1f1np1.bu -o ens1f1np1.yaml
Opprett ConfigMap Objekter.
Pakk inn hver generert YAML i en ConfigMap Navngitt mc-worker-ethtool- -buffer i den clusters Navneområdet.
# mc-worker-ethtool-eno12399np0-buffer.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: mc-worker-ethtool-eno12399np0-buffer
namespace: clusters
data:
config: |
apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
labels:
machineconfiguration.openshift.io/role: worker
name: 99-worker-ethtool-eno12399np0-buffer
spec:
config:
ignition:
version: 3.4.0
storage:
files:
- contents:
compression: gzip
source: data:;base64,[BASE64_CONTENT]
mode: 420
overwrite: true
path: /etc/systemd/system/set-ethtool-eno12399np0-buffer.service
systemd:
units:
- name: set-ethtool-eno12399np0-buffer.service
enabled: true
# mc-worker-ethtool-ens1f1np1-buffer.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: mc-worker-ethtool-ens1f1np1-buffer
namespace: clusters
data:
config: |
apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
labels:
machineconfiguration.openshift.io/role: worker
name: 99-worker-ethtool-ens1f1np1-buffer
spec:
config:
ignition:
version: 3.4.0
storage:
files:
- contents:
compression: gzip
source: data:;base64,[BASE64_CONTENT]
mode: 420
overwrite: true
path: /etc/systemd/system/set-ethtool-ens1f1np1-buffer.service
systemd:
units:
- name: set-ethtool-ens1f1np1-buffer.service
enabled: true
Bruke ConfigMaps til klyngen.
$ oc apply -f mc-worker-ethtool-eno12399np0-buffer.yaml $ oc apply -f mc-worker-ethtool-ens1f1np1-buffer.yaml
Knytte ConfigMaps til nodeutvalget.
Rediger nodeutvalget, og legg til ConfigMap Navn under spec.config
$ oc edit nodepool [NODEPOOL_NAME] -n clusters
Sett inn følgende linjer i spec Delen:
spec: config: - name: mc-worker-ethtool-eno12399np0-buffer - name: mc-worker-ethtool-ens1f1np1-buffer
Bekreft node‑pool Oppdateringen.
$ oc get nodepool -n clusters
Bekreft at UPDATINGCONFIG Viser True og at versjonen samsvarer med klyngeversjonen.
Kontroller tjenestestatusen på hver arbeidsnode.
for i in $(oc get nodes -l node-role.kubernetes.io/worker= --no-headers | awk '{print $1}'); do
oc debug node/$i -- chroot /host systemctl status set-ethtool-eno12399np0-buffer.service;
done
for i in $(oc get nodes -l node-role.kubernetes.io/worker= --no-headers | awk '{print $1}'); do
oc debug node/$i -- chroot /host systemctl status set-ethtool-ens1f1np1-buffer.service;
done
Validere innstillinger for ringbuffer
for i in $(oc get nodes -l node-role.kubernetes.io/worker= --no-headers | awk '{print $1}'); do
oc debug node/$i -- chroot /host ethtool -g eno12399np0;
done
for i in $(oc get nodes -l node-role.kubernetes.io/worker= --no-headers | awk '{print $1}'); do
oc debug node/$i -- chroot /host ethtool -g ens1f1np1;
done