PowerFlex 4.6 Useat podit käynnistyvät uudelleen
Summary: Useita podeja käynnistyy uudelleen RG (Storage Only)- ja CAT (Compute Only) Resource Group (RG) -resurssiryhmän uuden käyttöönoton tai päivityksen jälkeen
Symptoms
Uusi PowerFlex Manager 4.6.1:n käyttöönotto tai päivitys versioon 4.6.1, jossa on 200+ SO- ja CO-solmua
Uudelleenkäynnistyksen aikana otettu näyttökuva näyttää muistin puutteen:
Vaikutus
- Epävakaa järjestelmän kuntotila ja käyttöliittymä lakkaavat vastaamasta / eivät ole käytettävissä
Cause
PowerFlex Manager Platform (PFMP) 4.6.1 -version ja sitä uudempien versioiden ohjelmisto-ongelman vuoksi yli 200 solmua (sekä SO- että CO-solmua) vaativat enemmän laskentaresursseja kuin aiemmin mainostettiin: 28 suoritinydintä ja 64 Gt muistia.
Resolution
Virrankatkaisu
- Kirjaudu MVM:ään ja pysäytä tietokanta suorittamalla seuraavat komennot:
- Tietokannan kunnon vahvistaminen:
kubectl config set-context default --namespace=$(kubectl get pods -A | grep -m 1 -E 'platform|pgo|helmrepo|docker' | cut -d' ' -f1) echo $(kubectl get pods -l="postgres-operator.crunchydata.com/control-plane=pgo" --no-headers -o name && kubectl get pods -l="postgres-operator.crunchydata.com/instance" --no-headers -o name) | xargs kubectl get -o wide kubectl -n powerflex patch $(kubectl -n powerflex get postgrescluster -o name) --type merge --patch '{"spec":{"shutdown":true}}' - Tietokannan sammutuksen varmistaminen:
echo $(kubectl get pods -l="postgres-operator.crunchydata.com/control-plane=pgo" --no-headers -o name && kubectl get pods -l="postgres-operator.crunchydata.com/instance" --no-headers -o name) | xargs kubectl get -o wide
- Tietokannan kunnon vahvistaminen:
- Sammuta MVM
Päivitä MVM-resurssit
Uusia käyttöönottoja tai 4.6.1-päivityksiä varten MVM-solmujen on täytettävä lisämuistin ja suorittimen vaatimukset:
- CPU – 28 ydintä
- Muisti - 64 Gt
Käynnistysmenettely
- Käynnistä kaikki MVM:t
- Tarkista rke2-server-palvelun tila suorittamalla jokaisessa MVM:ssä seuraava komento:
kubectl get nodesTee seuraavat toimet rke2-palvelimen tilasta riippuen:rke2-palvelimen tila
Toimi näin
Aktiivinen
Siirry seuraavaan vaiheeseen
Aktivoiminen
Tarkista rke2-palvelimen tila toistamalla komento, kunnes se on aktiivinen.
Failed
Yritä käynnistää palvelu suorittamalla seuraava komento:
systemctl start rke2-server - Kun rke2-palvelin on aktiivinen kaikissa MVM:issä, varmista, että kaikki solmut ovat valmiustilassa:
kubectl get nodes - Kun solmut ovat valmiita, siirry seuraavaan vaiheeseen. Jos näyttöön tulee virheilmoitus, odota muutama minuutti ja yritä uudelleen.
- Palauta klusterin valvontaoperaattorin tietokanta (CMO):
kubectl config set-context default --namespace=$(kubectl get pods -A | grep -m 1 -E 'platform|pgo|helmrepo|docker' | cut -d' ' -f1) kubectl -n powerflex patch $(kubectl -n powerflex get postgrescluster -o name) --type merge --patch '{"spec":{"shutdown": false}}' - Tarkista YMJ-tietokanta:
echo $(kubectl get pods -l="postgres-operator.crunchydata.com/control-plane=pgo" --no-headers -o name && kubectl get pods -l="postgres-operator.crunchydata.com/instance" --no-headers -o name) | xargs kubectl get -o wide
- Palauta klusterin valvontaoperaattorin tietokanta (CMO):
- PowerFlex-hallintaympäristön tilan seuranta:
- Tarkista PowerFlex Management Platform Monitor -apuohjelman porttinumero suorittamalla seuraava komento:
kubectl get services monitor-app -n powerflex -o jsonpath="{.spec.ports[0].nodePort}{\"\n\"}" - Odota 20–30 minuuttia ja tarkista PowerFlex-hallinta-alustan yleinen kunto.
- Tarkista PowerFlex Management Platform Monitor -apuohjelman porttinumero suorittamalla seuraava komento:
- Siirry kohtaan http://< solmun IP-osoite>:p ort/, jossa solmun IP-osoite on hallinta-IP-osoite, joka on määritetty mihin tahansa MVM:ään (ei Ingress- tai PowerFlex Manager -IP-osoite).
- Valitse PFMP-tila ja odota, että kaikki merkinnät muuttuvat vihreiksi.
- PFMP:n pääkäyttöliittymä on nyt käytettävissä (voi joskus odottaa 20–30 minuuttia).
Versiot, joita ongelma koskee
PFMP 4.6.1
Korjattu versiossa
PFMP 4,8