Metrosolmu: 8.0.x-päivityksen jälkeen metatietojen varmuuskopiointi lakkaa toimimasta
Summary: Tässä artikkelissa käsitellään ongelmaa, jossa 8.0.x-koodiin päivittämisen jälkeen metatietojen varmuuskopiointi lakkaa toimimasta. Tässä artikkelissa on ohjeet metatietojen varmuuskopiointitoiminnon palauttamiseen. ...
Symptoms
Dellin laitteistot, joihin ongelma vaikuttaa:
Metrosolmu mn114
Metrosolmu mn215
Metrosolmu – paikallinen/Metro
Dellin ohjelmistot, joita ongelma koskee:
Metro node OS 8.0.0.0.0.267
Metro node OS 8.0.0.1.0.21
Metro node OS 8.0.1.0.0.220
Muutostoiminnot, joihin tämä vaikuttaa:
Metro Node OS 8.0.x -päivityksen jälkeen
Ongelma:
-
pikanäppäimellä
ndu pre-checkKomento ilmoittaa seuraavan virheen kullekin klusterille metrosolmukokoonpanossa:Esimerkki klusterista 1:
VPlexcli:/> ndu pre-check Warning: During the NDU process, multiple directors will be offline for a portion of the time. This is non-disruptive but is dependent on a host-based multipathing solution being installed, configured, and operating on all connected hosts. ================================================================================ Performing NDU pre-checks ================================================================================ Verify NDU is not in progress.. OK Verify that the directors have been running continuously for 15 days.. OK Verify director communication status.. OK . . . Verify meta-volume backup configuration.. ERROR . . . ================================================================================ Errors (x errors found) ================================================================================ cluster-1 Metadata backups are NOT created according to schedule Last backup: Mon Aug 19 00:00:00 UTC 20xx Current time: Fri Dec 13 03:41:33 UTC 20xx There has been no metadata backup for 116 day(s) Run 'metadatabackup local' on cluster-1
Esimerkki klusterista 2:
VPlexcli:/> ndu pre-check Warning: During the NDU process, multiple directors will be offline for a portion of the time. This is non-disruptive but is dependent on a host-based multipathing solution being installed, configured, and operating on all connected hosts. ================================================================================ Performing NDU pre-checks ================================================================================ Verify NDU is not in progress.. OK Verify that the directors have been running continuously for 15 days.. OK Verify director communication status.. OK . . . Verify meta-volume backup configuration.. ERROR . . . ================================================================================ Errors (x errors found) ================================================================================ cluster-2 Metadata backups are NOT created according to schedule Last backup: Sat Mar 16 01:30:00 UTC 20xx Current time: Fri Dec 13 03:41:33 UTC 20xx There has been no metadata backup for 272 day(s) Run 'metadatabackup local' on cluster-2
-
Kun komento
ll ~system-volumesKomento on suoritettu, metatietojen varmuuskopioinnin päivämäärä vastaa edellistä päivämäärää.Alla olevassa esimerkissä metatietojen varmuuskopiointi lakkaa toimimasta molemmissa klustereissa Metro-ympäristössä:
VPlexcli:/> ll ~system-volumes /clusters/cluster-1/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C1_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C1_xxxxxxx_backup_20xx-11-21_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 \------------/ date and time the last backup was run /clusters/cluster-2/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C2_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_20xx-11-20_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 \------------/ date and time the last backup was run
Oireet:
- Metatietojen varmuuskopiointi lakkaa toimimasta molemmissa klustereissa Metro-ympäristössä.
- Metatietojen varmuuskopiointi lakkaa toimimasta kummassakaan klusterissa Metro-ympäristössä
- Metatietojen varmuuskopiointi lakkaa toimimasta paikallisessa klusterissa
Cause
Ajoitetun päivittäisen metatietojen varmuuskopioinnin aikana palvelu daily_metadata_backup.service juuttuu ajoittain aktivointitilaan joko Director-1-A:ssa, Director-2-1-A:ssa tai molemmissa.
Resolution
Pysyvä ratkaisu:
Metro Node Engineering tutkii ongelmaa. Kun korjaus on saatavilla, tämä artikkeli päivitetään.
Kiertotapa:
-
Voit tarkistaa palvelun "daily_metadata_backup.service" tilan suorittamalla komentotulkkikehotteessa komennon
sudo systemctl status daily_metadata_backup.serviceA-solmussa, esimerkiksi Director-1-1-A tai Director-2-1-A. Tarkista ja varmista, että "Active: activate (start)" -määrite on olemassa ja että se on käynnissä yli minuutin. Jos on, tämä tarkoittaa, että tämä palvelu on juuttunut kyseiseen A-solmuun.Alla olevasta esimerkistä näkyy, että Director-1-1-A:lla ja director-2-1-A:lla on molemmissa palvelun daily_metadata_backup.service-määrite"Active: activation (start)", ja se on ollut käynnissä yli minuutin, mikä tarkoittaa, että palvelu on juuttunut näihin solmuihin alla kuvatulla tavalla.
Klusteri 1:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: activating (start) since Sat 2024-10-xx 01:30:18 UTC; 1 month 3 days ago <--------------------------- TriggeredBy: ● daily_metadata_backup.timer Main PID: 22553 (daily_metadata_) Tasks: 1 CGroup: /system.slice/daily_metadata_backup.service └─22553 /usr/bin/python3 /opt/dell/vplex/sbin/daily_metadata_backup.py Oct xx 01:30:18 director-2-1-a systemd[1]: Starting metronode automated daily metadata backups... . . . <truncated>Klusteri 2:
service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: activating (start) since Sat 2024-10-xx 01:30:18 UTC; 1 month 2 days ago <--------------------------- TriggeredBy: ● daily_metadata_backup.timer Main PID: 22553 (daily_metadata_) Tasks: 1 CGroup: /system.slice/daily_metadata_backup.service └─22553 /usr/bin/python3 /opt/dell/vplex/sbin/daily_metadata_backup.py Oct xx 01:30:18 director-1-1-a systemd[1]: Starting metronode automated daily metadata backups... . . . <truncated> -
Tarkista seuraavaksi palvelun tila "daily_metadata_backup.timer" A-solmussa, esimerkiksi director-1-1-A, director-2-1-A, suorittamalla komento
sudo systemctl status daily_metadata_backup.timerja varmista, että "Trigger:"-määrite näkyy muodossa "n/a". Jos on, tämä tarkoittaa, että tämä palvelu on juuttunut kyseiseen A-solmuun.Alla olevasta esimerkistä näkyy, että Director-1-1-A:lla ja Director-2-1-A:lla on molemmilla palvelun daily_metadata_backup.timer-määrite Trigger:, joka näkyy muodossa n/a, mikä tarkoittaa, että kyseinen palvelu on jumissa näissä solmuissa.
Klusteri 1:
service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (running) since Wed 2024-11-20 12:46:10 UTC; 18h ago Trigger: n/a <<<<<<<<<<<< Triggers: ● daily_metadata_backup.service Nov 20 12:46:10 director-1-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-1-1-a:~>
Klusteri 2:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (running) since Wed 2024-11-xx 12:46:10 UTC; 18h ago Trigger: n/a >>>>>>>>>>>>>>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov xx 12:46:10 director-2-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~>
-
Kun on varmistettu, kummassa solmussa tai molemmissa solmuissa mainitut kaksi palvelua ovat jumissa, pysäytä daily_metadata_backup.service ja daily_metadata_backup.timer ja käynnistä sitten palvelu, jotta daily_metadata_backup.timer ratkaisee tilanteen ja metatietojen varmuuskopiointi alkaa toimia.
HUOMAUTUS: Älä käytä uudelleenkäynnistyskomentoa.Koska ongelma koskee alla olevia A-solmuja, palvelut pysäytetään ja käynnistetään seuraavasti:
sudo systemctl stop daily_metadata_backup.service
sudo systemctl stop daily_metadata_backup.timer
sudo systemctl start daily_metadata_backup.timer
-
Tarkista alla oleva komento ja varmista, että se ei ole enää jumissa seuraavasti:
Alla olevissa esimerkeissä suoritetaan tilakomento "daily_metadata_backup.service" tarkistaaksesi, tarkoittaako "Active: inactive (dead)" -rivi, joka tarkoittaa, että palvelu ei todellakaan ole käynnissä, mikä metatietojen seuraavaa varmuuskopiointijaksoa odotettaessa on "inactive (dead)":
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: inactive (dead) since Fri 2024-11-22 21:07:41 UTC; 1min 49s ago >>>>>>>>>>>> TriggeredBy: ● daily_metadata_backup.timer Process: 9183 ExecStart=/opt/dell/vplex/sbin/daily_metadata_backup.py (code=exited, status=0/SUCCESS) Main PID: 9183 (code=exited, status=0/SUCCESS) Nov 22 21:07:36 director-2-1-a systemd[1]: Starting metronode automated daily metadata backups... Nov 22 21:07:41 director-2-1-a systemd[1]: daily_metadata_backup.service: Succeeded. Nov 22 21:07:41 director-2-1-a systemd[1]: Finished metronode automated daily metadata backups. service@director-2-1-a:~>service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.service ● daily_metadata_backup.service - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.service; static) Active: inactive (dead) since Fri 2024-11-22 21:07:41 UTC; 1min 49s ago >>>>>>>>>>>> TriggeredBy: ● daily_metadata_backup.timer Process: 9183 ExecStart=/opt/dell/vplex/sbin/daily_metadata_backup.py (code=exited, status=0/SUCCESS) Main PID: 9183 (code=exited, status=0/SUCCESS) Nov 22 21:07:36 director-1-1-a systemd[1]: Starting metronode automated daily metadata backups... Nov 22 21:07:41 director-1-1-a systemd[1]: daily_metadata_backup.service: Succeeded. Nov 22 21:07:41 director-1-1-a systemd[1]: Finished metronode automated daily metadata backups. service@director-2-1-a:~>Alla olevassa esimerkissä näkyy, että palvelun daily_metadata_backup.timer on active(odottaa) ja Trigger-asetuksen on oltava nykyinen tai nykyinen päivä, mikä tarkoittaa, että palvelu toimii nyt odotetulla tavalla:
service@director-2-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (waiting) since Fri 2024-11-22 21:09:24 UTC; 14s ago >>>>>>>>>>> Trigger: Sat 2024-11-23 01:30:00 UTC; 4h 20min left >>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov 22 21:09:24 director-2-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~>service@director-1-1-a:~> sudo systemctl status daily_metadata_backup.timer ● daily_metadata_backup.timer - metronode automated daily metadata backups Loaded: loaded (/etc/systemd/system/daily_metadata_backup.timer; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/daily_metadata_backup.timer.d └─daily_backup.conf Active: active (waiting) since Fri 2024-11-22 21:09:24 UTC; 14s ago >>>>>>>>>>> Trigger: Sat 2024-11-23 01:30:00 UTC; 4h 20min left >>>>>>>>>>> Triggers: ● daily_metadata_backup.service Nov 22 21:09:24 director-1-1-a systemd[1]: Started metronode automated daily metadata backups. service@director-2-1-a:~> -
Odota ja valvo, että seuraava metatietojen varmuuskopiointi on valmis suorittamalla
ll ~system-volumesSeuraavalla komennolla voit vahvistaa, että ongelma on ratkaistu ja metatietojen varmuuskopiointi onnistuu.Esimerkki:
VPlexcli:/> ll ~system-volumes /clusters/cluster-1/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C1_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C1_xxxxxxx_backup_2024-11-23_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 meta_C1_4UQT429_backup_2024-11-24_01-30 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 /clusters/cluster-2/system-volumes: Name Volume Type Operational Health Active Ready Geometry Component Block Block Capacity Slots --------------------------------------- -------------- Status State ------ ----- -------- Count Count Size -------- ----- --------------------------------------- -------------- ----------- ------ ------ ----- -------- --------- -------- ----- -------- ----- meta_C2_xxxxxx meta-volume ok ok true true raid-1 2 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_2024-11-23_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000 meta_C2_xxxxxxx_backup_2024-11-24_12-43 meta-volume ok ok false true raid-1 1 20971264 4K 80G 64000