Metro node: 8.0.x e yükseltme sonrasında meta veri yedeklemesi çalışmayı durdurur
Summary: Bu makalede, 8.0.x koduna yükseltme sonrasında meta veri yedeklemesinin çalışmaz hale gelmesi sorunu açıklanmaktadır. Bu makalede, meta veri yedekleme işlevini geri yüklemek için geçici çözüm adımları sunulmaktadır. ...
Symptoms
Dell Etkilenen Donanım:
Metro düğümü mn114
Metro düğümü mn215
Metro Düğümü-Yerel/Metro
Dell'den Etkilenen Yazılımlar:
Metro düğümü OS 8.0.0.0.0.267
Metro düğümü OS 8.0.0.1.0.21
Metro düğümü OS 8.0.1.0.0.220
Etkilenen Değişiklik Etkinlikleri:
Metro düğümü OS 8.0.x e yükseltme sonrası
Sorun:
-
Komutta
ndu pre-checkkomutu, metro düğümü Yapılandırmasındaki her bir Küme için aşağıdaki hatayı bildirir:Küme-1 örneği:
VPlexcli:/> ndu pre-check Warning: During the NDU process, multiple directors will be offline for a portion of the time. This is non-disruptive but is dependent on a host-based multipathing solution being installed, configured, and operating on all connected hosts. ================================================================================ Performing NDU pre-checks ================================================================================ Verify NDU is not in progress.. OK Verify that the directors have been running continuously for 15 days.. OK Verify director communication status.. OK . . . Verify meta-volume backup configuration.. ERROR . . . ================================================================================ Errors (x errors found) ================================================================================ cluster-1 Metadata backups are NOT created according to schedule Last backup: Mon Aug 19 00:00:00 UTC 20xx Current time: Fri Dec 13 03:41:33 UTC 20xx There has been no metadata backup for 116 day(s) Run 'metadatabackup local' on cluster-1
Küme-2 örneği:
VPlexcli:/> ndu pre-check Warning: During the NDU process, multiple directors will be offline for a portion of the time. This is non-disruptive but is dependent on a host-based multipathing solution being installed, configured, and operating on all connected hosts. ================================================================================ Performing NDU pre-checks ================================================================================ Verify NDU is not in progress.. OK Verify that the directors have been running continuously for 15 days.. OK Verify director communication status.. OK . . . Verify meta-volume backup configuration.. ERROR . . . ================================================================================ Errors (x errors found) ================================================================================ cluster-2 Metadata backups are NOT created according to schedule Last backup: Sat Mar 16 01:30:00 UTC 20xx Current time: Fri Dec 13 03:41:33 UTC 20xx There has been no metadata backup for 272 day(s) Run 'metadatabackup local' on cluster-2
-
Komut verildiğinde
ll ~system-volumesKomut çalıştırıldığında meta veri yedekleme disk bölümü tarihi önceki bir tarihi yansıtır.Aşağıdaki örnekte, meta veri yedeklemesi bir metro ortamındaki her iki kümede de çalışmayı durdurur:
VPlexcli:/> ll ~system-volumes /clusters/cluster-1/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C1_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C1_xxxxxxx_backup_20xx-11-21_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 \------------/ date and time the last backup was run /clusters/cluster-2/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C2_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_20xx-11-20_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 \------------/ date and time the last backup was run
Belirtiler:
- Meta veri yedeklemesi, metro ortamındaki her iki kümede de çalışmayı durdurur.
- Meta veri yedeklemesi, metro ortamındaki kümelerden birinde çalışmayı durdurur
- Meta veri yedeklemesi yerel bir kümede çalışmayı durdurur
Cause
Zamanlanmış günlük meta veri yedeklemesi sırasında "daily_metadata_backup.service" hizmeti zaman zaman director-1-1-A, director-2-1-A veya her ikisinde de etkin durumda takılıyor.
Resolution
Kalıcı Çözüm:
Metro düğümü Mühendislik ekibi bu sorunu araştırmaktadır. Bir düzeltme mevcut olduğunda bu makale güncelleştirilecektir.
Geçici Çözüm:
-
daily_metadata_backup.service" hizmetinin durumunu kontrol etmek için Kabuk İstemi'nde şu komutu çalıştırın:
sudo systemctl status daily_metadata_backup.serviceÖrneğin, director-1-1-A veya director-2-1-A gibi bir A düğümünde. "Etkin: etkinleştirme (start)" özniteliğinin mevcut olduğunu ve bir dakikadan uzun süre çalıştığını kontrol edin ve onaylayın. Evet ise bu, bu hizmetin söz konusu A düğümünde takılı kaldığı anlamına gelir.Aşağıdaki örnekte, director-1-1-A ve director-2-1-A servislerinin her ikisi de "daily_metadata_backup.service" "Active: activating (start)" özniteliğinin mevcut olduğunu ve bir dakikadan uzun süredir çalıştığını gösterir; bu, bu hizmetin aşağıda gösterildiği gibi bu düğümlerde takılı kaldığı anlamına gelir.
Küme-1:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: activating (start) since Sat 2024-10-xx 01:30:18 UTC; 1 month 3 days ago <--------------------------- TriggeredBy: ● daily_metadata_backup.timer Main PID: 22553 (daily_metadata_) Tasks: 1 CGroup: /system.slice/daily_metadata_backup.service └─22553 /usr/bin/python3 /opt/dell/vplex/sbin/daily_metadata_backup.py Oct xx 01:30:18 director-2-1-a systemd[1]: Starting metronode automated daily metadata backups... . . . <truncated>Küme-2:
service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: activating (start) since Sat 2024-10-xx 01:30:18 UTC; 1 month 2 days ago <--------------------------- TriggeredBy: ● daily_metadata_backup.timer Main PID: 22553 (daily_metadata_) Tasks: 1 CGroup: /system.slice/daily_metadata_backup.service └─22553 /usr/bin/python3 /opt/dell/vplex/sbin/daily_metadata_backup.py Oct xx 01:30:18 director-1-1-a systemd[1]: Starting metronode automated daily metadata backups... . . . <truncated> -
A düğümündeki "daily_metadata_backup.timer" hizmetinin durumunu kontrol etmek için aşağıdaki komutu çalıştırın: örneğin, director-1-1-A, director-2-1-A,
sudo systemctl status daily_metadata_backup.timertıklayın ve "Trigger:" özelliğinin "n/a" olarak gösterildiğini onaylayın. Evet ise bu, bu hizmetin söz konusu A düğümünde takılı kaldığı anlamına gelir.Aşağıdaki örnekte, director-1-1-A ve director-2-1-A komutlarının her ikisi de "daily_metadata_backup.timer" hizmetinin "Trigger:" özniteliğinin "n/a" olarak gösterildiğini gösterir ve bu da hizmetin bu düğümlerde takılı kaldığı anlamına gelir.
Küme-1:
service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (running) since Wed 2024-11-20 12:46:10 UTC; 18h ago Trigger: n/a <<<<<<<<<<<< Triggers: ● daily_metadata_backup.service Nov 20 12:46:10 director-1-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-1-1-a:~>
Küme-2:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (running) since Wed 2024-11-xx 12:46:10 UTC; 18h ago Trigger: n/a >>>>>>>>>>>>>>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov xx 12:46:10 director-2-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~>
-
Bahsedilen iki hizmetin hangi düğümde veya muhtemelen her iki düğümde takıldığı doğrulandıktan sonra "daily_metadata_backup.service" ve "daily_metadata_backup.timer" hizmetlerini durdurun ve ardından bu durumu çözmek ve meta veri yedeklemesinin çalışmaya başlaması için "daily_metadata_backup.timer" hizmetini başlatın.
NOT: "Yeniden başlat" komut seçeneğini kullanmayın.Aşağıdaki örnekte, her iki A düğümü de etkilendiğinden, hizmetler aşağıdaki gibi durdurulur ve başlatılır:
sudo systemctl stop daily_metadata_backup.service
sudo systemctl stop daily_metadata_backup.timer
sudo systemctl start daily_metadata_backup.timer
-
Artık takılı kalmadığını onaylamak üzere durumu kontrol etmek için aşağıdaki komutu aşağıdaki gibi çalıştırın:
Aşağıdaki örneklerde, meta verilerin bir sonraki yedekleme döngüsü beklenirken "inactive (dead)" olan "Active: inactive (dead)" satırının hizmetin gerçekten çalışmadığını belirten "Active: inactive (dead)" satırının olup olmadığını kontrol etmek için "daily_metadata_backup.service" durum komutunun çalıştırılması gösterilmektedir:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: inactive (dead) since Fri 2024-11-22 21:07:41 UTC; 1min 49s ago >>>>>>>>>>>> TriggeredBy: ● daily_metadata_backup.timer Process: 9183 ExecStart=/opt/dell/vplex/sbin/daily_metadata_backup.py (code=exited, status=0/SUCCESS) Main PID: 9183 (code=exited, status=0/SUCCESS) Nov 22 21:07:36 director-2-1-a systemd[1]: Starting metronode automated daily metadata backups... Nov 22 21:07:41 director-2-1-a systemd[1]: daily_metadata_backup.service: Succeeded. Nov 22 21:07:41 director-2-1-a systemd[1]: Finished metronode automated daily metadata backups. service@director-2-1-a:~>service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: inactive (dead) since Fri 2024-11-22 21:07:41 UTC; 1min 49s ago >>>>>>>>>>>> TriggeredBy: ● daily_metadata_backup.timer Process: 9183 ExecStart=/opt/dell/vplex/sbin/daily_metadata_backup.py (code=exited, status=0/SUCCESS) Main PID: 9183 (code=exited, status=0/SUCCESS) Nov 22 21:07:36 director-1-1-a systemd[1]: Starting metronode automated daily metadata backups... Nov 22 21:07:41 director-1-1-a systemd[1]: daily_metadata_backup.service: Succeeded. Nov 22 21:07:41 director-1-1-a systemd[1]: Finished metronode automated daily metadata backups. service@director-2-1-a:~>Aşağıdaki örnekte, "daily_metadata_backup.timer" hizmetinin "active(waiting)" olması ve "Trigger" öğesinin, hizmetin şu anda beklendiği gibi çalıştığını gösteren geçerli veya günümüz değerine ayarlanması gerektiği gösterilmektedir:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (waiting) since Fri 2024-11-22 21:09:24 UTC; 14s ago >>>>>>>>>>> Trigger: Sat 2024-11-23 01:30:00 UTC; 4h 20min left >>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov 22 21:09:24 director-2-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~>service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (waiting) since Fri 2024-11-22 21:09:24 UTC; 14s ago >>>>>>>>>>> Trigger: Sat 2024-11-23 01:30:00 UTC; 4h 20min left >>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov 22 21:09:24 director-1-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~> -
Aşağıdaki komutu çalıştırarak tamamlamak için bir sonraki meta veri yedeklemesini bekleyin ve izleyin:
ll ~system-volumeskomutu, sorunun çözüldüğünü ve meta veri yedeklemesinin aşağıdaki gibi başarıyla gerçekleştiğini onaylamaya yöneliktir.Example:
VPlexcli:/> ll ~system-volumes /clusters/cluster-1/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C1_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C1_xxxxxxx_backup_2024-11-23_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 meta_C1_4UQT429_backup_2024-11-24_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 /clusters/cluster-2/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C2_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_2024-11-23_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_2024-11-24_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000