PowerFlex 4.X: PFMP MVM 관리 VM에서 정상 재부팅을 수행하는 방법

MVM VM을 재부팅하면 일부 포드 문제, 배포 실패 및 기타 오류를 해결할 수 있습니다.

이 절차의 명령은 루트 bash 셸에서 실행됩니다. 아래 단계를 미러링하려면 다음을 사용하여 MVM에 로그인합니다. delladmin 그런 다음 실행하십시오. sudo -s 을 클릭하여 새 루트 셸로 전환할 수 있습니다.

예제:

delladmin@pfmp-mvm03:~> whoami
delladmin
delladmin@pfmp-mvm03:~> sudo -s
pfmp-mvm03:/home/delladmin # whoami
root

1. 모든 Postgres 데이터베이스 인스턴스를 나열하고 리더 역할을 가진 Pod 이름을 식별합니다. 리더 노드는 드레이닝되고 재부팅되는 마지막 노드여야 합니다.  

1. 1. PFMP 4.6 시리즈 

kubectl exec -n powerflex -c database $(kubectl get pods -n powerflex -l='postgres-operator.crunchydata.com/role=master, postgres-operator.crunchydata.com/instance-set' | grep Running | cut -d' ' -f1) -- sh -c 'patronictl list'

다음 명령을 실행하여 Postgres 리더 Pod를 실행 중인 MVM을 식별합니다 . 이 노드는 배출 및 재부팅되는 마지막 노드입니다.

for x in `kubectl get pods -n powerflex | grep "postgres-ha-cmo" |awk '{print $1}'` ; do echo $x; kubectl get pods -n powerflex $x -o json | grep '"nodeName"' | cut -d ':' -f2 ; echo " "; done

1. 2. PFMP 4.8 시리즈 

kubectl exec -it -n powerflex $(kubectl get pods -n powerflex | grep postgres-monitor | awk '{print $1'}) -- kubectl cnpg status postgres-ha-cnpg

예시 출력 

delladmin@node2:~> kubectl exec -it -n powerflex $(kubectl get pods -n powerflex | grep postgres-monitor | awk '{print $1'}) -- kubectl cnpg status postgres-ha-cnpg
Cluster Summary
Name                 powerflex/postgres-ha-cnpg
System ID:           7570829541331841052
PostgreSQL Image:    dockerrepo:30500/cnpg/cnpg-postgres:14.18-22-53.6b63004-22-9.0
Primary instance:    postgres-ha-cnpg-1
Primary start time:  2025-11-09 22:33:09 +0000 UTC (uptime 3803h6m21s)
Status:              Cluster in healthy state
Instances:           3
Ready instances:     3
Size:                11G
Current Write LSN:   B/6211B568 (Timeline: 3 - WAL File: 000000030000000B00000062)

Continuous Backup status
Not configured

Streaming Replication status
Replication Slots Enabled
Name                Sent LSN    Write LSN   Flush LSN   Replay LSN  Write Lag        Flush Lag        Replay Lag       State      Sync State  Sync Priority  Replication Slot
----                --------    ---------   ---------   ----------  ---------        ---------        ----------       -----      ----------  -------------  ----------------
postgres-ha-cnpg-2  B/6211B568  B/6211B568  B/6211B568  B/6211B568  00:00:00.000365  00:00:00.001507  00:00:00.001618  streaming  async       0              active
postgres-ha-cnpg-3  B/6211B568  B/6211B568  B/6211B568  B/6211B568  00:00:00.000321  00:00:00.001511  00:00:00.001575  streaming  async       0              active

Instances status
Name                Current LSN  Replication role  Status  QoS        Manager Version  Node
----                -----------  ----------------  ------  ---        ---------------  ----
postgres-ha-cnpg-1  B/6211B568   Primary           OK      Burstable  1.26.1           pfmp-mvm01
postgres-ha-cnpg-2  B/6211B568   Standby (async)   OK      Burstable  1.26.1           pfmp-mvm02
postgres-ha-cnpg-3  B/6211B568   Standby (async)   OK      Burstable  1.26.1           pfmp-mvm03

2. MVM3(리더가 아닌 노드 중 하나)에 대한 터미널을 엽니다. 다음 명령을 실행합니다.

kubectl get nodes

3. 유지 관리를 위해 MVM3 레이블 지정:

kubectl label node pfmp-mvm03 cmo.maintenance.mode=true

4. 실행 중인 Pod가 노드에서 정상적으로 제거되는 노드 MVM03을 배출 합니다. 파드는 다른 노드에서 스케줄링되고 실행된다. 드레이닝 프로세스가 완료되면 노드가 재부팅됩니다. 노드가 다시 작동할 때까지 기다립니다.

5. 다음 명령을 실행하여 노드를 드레이닝합니다.

kubectl drain pfmp-mvm03 --ignore-daemonsets --delete-emptydir-data

6. 노드가 드레이닝되면 노드를 재부팅합니다.

sudo reboot

7. SSH를 MVM02에 연결하고 다음 명령을 실행하여 재부팅한 노드를 모니터링하여 Ready상태에 도달합니다.

watch kubectl get nodes

8. MVM03이 Ready STATUS를 보고하면 MVM03에 SSH를 연결하고 다음 명령을 수행하여 유지 관리 레이블을 해제하고 제거합니다 .

kubectl uncordon pfmp-mvm03 ; kubectl label node pfmp-mvm03 cmo.maintenance.mode-

9. 5분에서 20분 정도 기다린 후 1단계의 명령을 실행하여 데이터베이스 클러스터 상태를 확인합니다. 출력이 아래의 정상 데이터베이스 예와 일치하면 다음 MVM에 대해 단계를 반복할 수 있습니다. 
10. MVM02, MVM01에서 3-8단계를 반복합니다. 

3개의 MVM 모두에서 절차를 완료한 후 1단계의 명령을 실행하여 postgres 데이터베이스 상태를 확인합니다. 하나의 Pod가 리더여야 하며 실행 상태여야 합니다. 0MB 지연이 있어야 하며 Sync Standby 멤버 모두 스트리밍 상태여야 합니다 .

정상 데이터베이스 예 PFMP 4.6:

+ Cluster: postgres-ha-ha +------------------------------------------+--------------+-----------+----+-----------+
| Member                  | Host                                     | Role         | State     | TL | Lag in MB |
+-------------------------+------------------------------------------+--------------+-----------+----+-----------+
| postgres-ha-cmo1-8t2v-0 | postgres-ha-cmo1-8t2v-0.postgres-ha-pods | Leader       | running   | 10 |           |
| postgres-ha-cmo1-h4hx-0 | postgres-ha-cmo1-h4hx-0.postgres-ha-pods | Sync Standby | streaming | 10 |         0 |
| postgres-ha-cmo1-pb88-0 | postgres-ha-cmo1-pb88-0.postgres-ha-pods | Sync Standby | streaming | 10 |         0 |
+-------------------------+------------------------------------------+--------------+-----------+----+-----------+