Metro Node: 8.0.x로 업그레이드한 후 메타데이터 백업이 작동하지 않음
Summary: 이 문서에서는 8.0.x 코드로 업그레이드한 후 메타데이터 백업이 작동하지 않는 문제에 대해 설명합니다. 이 문서에서는 메타데이터 백업 기능을 복원하는 해결 단계를 제공합니다.
Symptoms
영향을 받는 Dell 하드웨어:
메트로 노드 mn114
메트로 노드 mn215
메트로 노드-로컬/메트로
영향을 받는 Dell 소프트웨어:
Metro Node OS 8.0.0.0.0.267
Metro Node OS 8.0.0.1.0.21Metro
Node OS 8.0.1.0.0.220
영향을 받는 변경 활동:
Metro Node OS 8.0.x로 업그레이드 후
문제:
-
이
ndu pre-check명령은 메트로 노드 구성의 각 클러스터에 대해 아래 오류를 보고합니다.Cluster-1의 예:
VPlexcli:/> ndu pre-check Warning: During the NDU process, multiple directors will be offline for a portion of the time. This is non-disruptive but is dependent on a host-based multipathing solution being installed, configured, and operating on all connected hosts. ================================================================================ Performing NDU pre-checks ================================================================================ Verify NDU is not in progress.. OK Verify that the directors have been running continuously for 15 days.. OK Verify director communication status.. OK . . . Verify meta-volume backup configuration.. ERROR . . . ================================================================================ Errors (x errors found) ================================================================================ cluster-1 Metadata backups are NOT created according to schedule Last backup: Mon Aug 19 00:00:00 UTC 20xx Current time: Fri Dec 13 03:41:33 UTC 20xx There has been no metadata backup for 116 day(s) Run 'metadatabackup local' on cluster-1
Cluster-2의 예:
VPlexcli:/> ndu pre-check Warning: During the NDU process, multiple directors will be offline for a portion of the time. This is non-disruptive but is dependent on a host-based multipathing solution being installed, configured, and operating on all connected hosts. ================================================================================ Performing NDU pre-checks ================================================================================ Verify NDU is not in progress.. OK Verify that the directors have been running continuously for 15 days.. OK Verify director communication status.. OK . . . Verify meta-volume backup configuration.. ERROR . . . ================================================================================ Errors (x errors found) ================================================================================ cluster-2 Metadata backups are NOT created according to schedule Last backup: Sat Mar 16 01:30:00 UTC 20xx Current time: Fri Dec 13 03:41:33 UTC 20xx There has been no metadata backup for 272 day(s) Run 'metadatabackup local' on cluster-2
-
명령을 실행할 때
ll ~system-volumes명령이 실행되면 메타데이터 백업 볼륨 날짜는 이전 날짜를 반영합니다.아래 예에서는 메타데이터 백업이 Metro 환경의 두 클러스터 모두에서 작동을 중지합니다.
VPlexcli:/> ll ~system-volumes /clusters/cluster-1/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C1_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C1_xxxxxxx_backup_20xx-11-21_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 \------------/ date and time the last backup was run /clusters/cluster-2/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C2_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_20xx-11-20_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 \------------/ date and time the last backup was run
증상:
- 메타데이터 백업은 Metro 환경의 두 클러스터 모두에서 작동을 중지합니다.
- 메타데이터 백업은 Metro 환경의 클러스터 중 하나에서 작동을 중지합니다
- 메타데이터 백업이 로컬 클러스터에서 작동을 중지함
Cause
예약된 일일 메타데이터 백업 중에 "daily_metadata_backup.service" 서비스가 디렉터-1-1-A, 디렉터-2-1-A 또는 둘 다에서 활성화 중 상태에서 중단되는 경우가 있습니다.
Resolution
영구적 해결 방법:
메트로 노드 엔지니어링 팀에서 이 문제를 조사하고 있습니다. 수정 사항을 사용할 수 있게 되면 이 문서가 업데이트됩니다.
해결 방법:
-
"daily_metadata_backup.service" 서비스의 상태를 확인하려면 셸 프롬프트에서
sudo systemctl status daily_metadata_backup.service예를 들어 director-1-1-A 또는 director-2-1-A와 같은 A 노드에서 "Active: activating (start)" 속성이 있고 1분 이상 실행되는지 확인합니다. 그렇다면 이 서비스가 특정 A 노드에 고정되어 있음을 의미합니다.아래 예에서는 director-1-1-A와 director-2-1-A 모두 서비스 "daily_metadata_backup.service" 속성 "Active: activating (start)"가 있고 1분 이상 실행되었습니다. 이는 이 서비스가 아래와 같이 이러한 노드에서 중단되었음을 나타냅니다.
클러스터-1:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: activating (start) since Sat 2024-10-xx 01:30:18 UTC; 1 month 3 days ago <--------------------------- TriggeredBy: ● daily_metadata_backup.timer Main PID: 22553 (daily_metadata_) Tasks: 1 CGroup: /system.slice/daily_metadata_backup.service └─22553 /usr/bin/python3 /opt/dell/vplex/sbin/daily_metadata_backup.py Oct xx 01:30:18 director-2-1-a systemd[1]: Starting metronode automated daily metadata backups... . . . <truncated>클러스터-2:
service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: activating (start) since Sat 2024-10-xx 01:30:18 UTC; 1 month 2 days ago <--------------------------- TriggeredBy: ● daily_metadata_backup.timer Main PID: 22553 (daily_metadata_) Tasks: 1 CGroup: /system.slice/daily_metadata_backup.service └─22553 /usr/bin/python3 /opt/dell/vplex/sbin/daily_metadata_backup.py Oct xx 01:30:18 director-1-1-a systemd[1]: Starting metronode automated daily metadata backups... . . . <truncated> -
그런 다음 A 노드에서 "daily_metadata_backup.timer" 서비스의 상태를 확인합니다(예: director-1-1-A, director-2-1-A).
sudo systemctl status daily_metadata_backup.timer을 클릭하고 "Trigger:" 속성이 "n/a"로 표시되는지 확인합니다. 그렇다면 이 서비스가 특정 A 노드에 고정되어 있음을 의미합니다.아래 예에서는 director-1-1-A 및 director-2-1-A 모두 "n/a"로 표시되는 서비스 "daily_metadata_backup.timer" 속성 "Trigger:"가 있습니다. 이는 이 서비스가 이러한 노드에 고정되어 있음을 의미합니다.
클러스터-1:
service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (running) since Wed 2024-11-20 12:46:10 UTC; 18h ago Trigger: n/a <<<<<<<<<<<< Triggers: ● daily_metadata_backup.service Nov 20 12:46:10 director-1-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-1-1-a:~>
클러스터-2:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (running) since Wed 2024-11-xx 12:46:10 UTC; 18h ago Trigger: n/a >>>>>>>>>>>>>>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov xx 12:46:10 director-2-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~>
-
언급된 두 서비스가 중단된 노드 또는 두 노드 모두 확인되면 "daily_metadata_backup.service" 및 "daily_metadata_backup.timer" 서비스를 중지한 다음 "daily_metadata_backup.timer"에 대한 서비스를 시작하여 이 상황을 해결하고 메타데이터 백업 작동을 시작합니다.
참고: "restart" 명령 옵션을 사용하지 마십시오.아래 예에서는 두 A 노드가 모두 영향을 받으므로 다음과 같이 서비스를 중지하고 시작합니다.
sudo systemctl stop daily_metadata_backup.service
sudo systemctl stop daily_metadata_backup.timer
sudo systemctl start daily_metadata_backup.timer
-
아래 명령을 실행하여 상태를 확인하여 다음과 같이 더 이상 중단되지 않았는지 확인합니다.
아래 예에서는 메타데이터의 다음 백업 주기를 기다릴 때 서비스가 실제로 실행되고 있지 않음을 나타내는 "Active: inactive(dead)" 줄이 "inactive(dead)"인지 확인하기 위해 "daily_metadata_backup.service"에 대한 상태 명령을 실행하는 것을 보여줍니다.
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: inactive (dead) since Fri 2024-11-22 21:07:41 UTC; 1min 49s ago >>>>>>>>>>>> TriggeredBy: ● daily_metadata_backup.timer Process: 9183 ExecStart=/opt/dell/vplex/sbin/daily_metadata_backup.py (code=exited, status=0/SUCCESS) Main PID: 9183 (code=exited, status=0/SUCCESS) Nov 22 21:07:36 director-2-1-a systemd[1]: Starting metronode automated daily metadata backups... Nov 22 21:07:41 director-2-1-a systemd[1]: daily_metadata_backup.service: Succeeded. Nov 22 21:07:41 director-2-1-a systemd[1]: Finished metronode automated daily metadata backups. service@director-2-1-a:~>service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: inactive (dead) since Fri 2024-11-22 21:07:41 UTC; 1min 49s ago >>>>>>>>>>>> TriggeredBy: ● daily_metadata_backup.timer Process: 9183 ExecStart=/opt/dell/vplex/sbin/daily_metadata_backup.py (code=exited, status=0/SUCCESS) Main PID: 9183 (code=exited, status=0/SUCCESS) Nov 22 21:07:36 director-1-1-a systemd[1]: Starting metronode automated daily metadata backups... Nov 22 21:07:41 director-1-1-a systemd[1]: daily_metadata_backup.service: Succeeded. Nov 22 21:07:41 director-1-1-a systemd[1]: Finished metronode automated daily metadata backups. service@director-2-1-a:~>아래 예에서는 서비스 "daily_metadata_backup.timer"가 "active(waiting)"여야 하고 "Trigger"가 현재 또는 현재 날짜로 설정되어야 하며, 이는 서비스가 이제 예상대로 작동하고 있음을 나타냅니다.
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (waiting) since Fri 2024-11-22 21:09:24 UTC; 14s ago >>>>>>>>>>> Trigger: Sat 2024-11-23 01:30:00 UTC; 4h 20min left >>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov 22 21:09:24 director-2-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~>service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (waiting) since Fri 2024-11-22 21:09:24 UTC; 14s ago >>>>>>>>>>> Trigger: Sat 2024-11-23 01:30:00 UTC; 4h 20min left >>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov 22 21:09:24 director-1-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~> -
기다렸다가 다음을 실행하여 다음 메타데이터 백업이 완료될 때까지 모니터링합니다.
ll ~system-volumes명령을 실행하여 다음과 같이 문제가 해결되었으며 메타데이터 백업이 성공적으로 수행되고 있는지 확인합니다.예:
VPlexcli:/> ll ~system-volumes /clusters/cluster-1/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C1_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C1_xxxxxxx_backup_2024-11-23_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 meta_C1_4UQT429_backup_2024-11-24_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 /clusters/cluster-2/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C2_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_2024-11-23_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_2024-11-24_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000