Avamar: RMCP ei poista tarkistuspisteitä
Summary: Tässä artikkelissa kerrotaan, miten havaitaan, kun tarkistuspisteitä ei poisteta Avamarista edes onnistuneen tarkistuspisteen vahvistuksen jälkeen.
Symptoms
Huoltotoimien aikana tarkistuspisteitä ei poisteta. Jos Avamar on integroitu Data Domainiin, myöskään tilannevedokset eivät vanhene.
admin@av-srv-prod:~/>: cplist --full
cp.20241021171415 Mon Oct 21 13:14:15 2024 valid --- del nodes 1/1 stripes 277
cp.20241022164600 Tue Oct 22 12:46:00 2024 valid rol del nodes 1/1 stripes 277
cp.20241022171838 Tue Oct 22 13:18:38 2024 valid --- del nodes 1/1 stripes 277
cp.20241022193333 Tue Oct 22 15:33:33 2024 valid rol del nodes 1/1 stripes 277
cp.20241024164621 Thu Oct 24 12:46:21 2024 valid rol --- nodes 1/1 stripes 277
cp.20241024171054 Thu Oct 24 13:10:54 2024 valid --- --- nodes 1/1 stripes 277
admin@av-srv-prod:~/>:
Useat vahvistetut tarkistuspisteet (rullaava HFS-tarkistus) näytetään epäonnistuneina mccli-komennolla:
admin@av-srv-prod:~/>: mccli checkpoint show --verbose
0,23000,CLI command completed successfully.
Tag Time Validated Deletable Nodes Stripes Validation Start Time Validation Finished Time Errors
----------------- ----------------------- --------- --------- ----- ------- ----------------------- ------------------------ ------
cp.20241021171415 2024-10-21 13:14:15 EDT No 1 277 Not Validated Not Validated N/A
cp.20241022164600 2024-10-22 12:46:00 EDT Failed No 1 277 2024-10-22 12:53:44 EDT 2024-10-22 13:09:46 EDT 1
cp.20241022171838 2024-10-22 13:18:38 EDT No 1 277 Not Validated Not Validated N/A
cp.20241022193333 2024-10-22 15:33:33 EDT Failed No 1 277 2024-10-22 15:42:07 EDT 2024-10-22 15:56:48 EDT 1
cp.20241024164621 2024-10-24 12:46:21 EDT Failed No 1 277 2024-10-24 12:53:09 EDT 2024-10-24 13:08:04 EDT 1
cp.20241024171054 2024-10-24 13:10:54 EDT No 1 277 Not Validated Not Validated N/A
admin@av-srv-prod:~/>:
Kun poistettu tarkistuspiste (rmcp) -komento suoritetaan, tarkistuspisteitä ei poisteta.
admin@av-srv-prod:~/>: avmaint rmcp --full --ava
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<checkpointrmlist has-approved-checkpoint="false">
<checkpoint
tag="cp.20241021171415"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241022164600"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241022171838"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241022193333"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241024164621"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241024171054"
deleted="false"
ddr-deleted="false"/>
</checkpointrmlist>
Data Domainissa tilannevedokset eivät vanhene automaattisesti. Niiden on vanhennuttava manuaalisesti:
avboost@dd-srv-prod# snapshot list mtree /data/col1/avamar-1234567890
Snapshot Information for MTree: /data/col1/avamar-1234567890
----------------------------------------------
Name Pre-Comp (GiB) Create Date Retain Until Status
----------------- -------------- ----------------- ----------------- -------
cp.20241015171741 69287.4 Oct 15 2024 13:19 Oct 22 2024 13:13 expired
cp.20241015194118 69287.4 Oct 15 2024 15:43 Oct 22 2024 13:13 expired
...
...
cp.20241020164654 65247.4 Oct 20 2024 12:49
cp.20241020171602 65262.9 Oct 20 2024 13:18
cp.20241021164757 65257.4 Oct 21 2024 12:50
cp.20241021171415 65272.9 Oct 21 2024 13:16
cp.20241022164600 65280.0 Oct 22 2024 12:48
----------------- -------------- ----------------- ----------------- -------
...
avboost@dd-srv-prod#
Toinen havaittu ongelma on hitaus suoritettaessa komentoja Avamar-palvelimessa. Huolimatta siitä, että palvelin ei suorita tehtäviä tai varmuuskopioita, kuormituksen keskiarvo pysyy korkeana.
Cause
Useat tekijät voivat aiheuttaa tämän käyttäytymisen. Kaikki ongelmat havaittiin Avamar-palvelimessa käynnissä olevien prosessien perusteellisen analysoinnin jälkeen (komennolla top tai ps -ef). Joitakin skenaarioita ovat:
- Vanhat Perl-prosessit
- Vanhentunut mukautettu replikointi
- Muokatut raportit
- Vanhat Avtar-prosessit
Todisteita löytyy joistakin skenaarioista:
admin 15007 0.0 0.0 9664 2812 ? Ss 2023 0:00 bash -c export TERM=${TERM:-dumb} ; /usr/bin/ssh-agent /tmp/dpnctl-run-self.14963.aux
admin 15042 0.0 0.0 9528 2192 ? S 2023 0:00 \_ /bin/bash /tmp/dpnctl-run-self.14963.aux
admin 15043 0.0 0.0 30792 680 ? Ss 2023 0:52 \_ /usr/bin/ssh-agent /tmp/dpnctl-run-self.14963.aux
admin 15049 99.6 0.1 81996 39340 ? R 2023 272656:21 \_ /usr/bin/perl /usr/local/avamar/bin/dpnctl --rerun --mcs_user=root stop
admin 26975 1 0 80 0 - 3440 - Oct08 ? 00:00:00 bash -c ./avReplication.40 --report --csv --quiet
admin 27290 25935 0 80 0 - 3440 - Oct08 ? 03:55:24 bash -c ./avReplication.40 --quiet --report --short-status
admin 27761 26975 0 80 0 - 3440 - Oct08 ? 03:50:39 bash -c ./avReplication.40 --report --csv --quiet
root 9046 0.0 0.0 314212 6792 ? SNl Nov08 0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
root 20385 0.0 0.0 314212 6624 ? SNl Nov08 0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
root 22784 0.0 0.0 314212 6544 ? SNl Nov08 0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
Resolution
1. Kirjaudu Avamar-palvelimeen järjestelmänvalvojakytkimenä juurihakemistoon:
su -
2. Suorita seuraavat komennot analysoidaksesi prosessit perusteellisesti:
top
ps -aux --forest
ps -ef
3. Kun prosessi on tunnistettu, lopeta se prosessitunnuksella (PID):
kill <pid>
4. Jos prosessi ei pääty, pakota se:
kill -9 <pid>
5. Komentojen pitäisi taas alkaa toimia nopeammin.
6. Suorita RMCP:
avmaint rmcp --full --ava
7. Seuraavat kaksi komentoa näyttävät tarkistuspisteen jälleen oikein:
cplist --full
mccli checkpoint show --verbose
Esimerkki:
admin@av-srv-prod:~/>: cplist --full
cp.20241024164621 Thu Oct 24 12:46:21 2024 valid rol --- nodes 1/1 stripes 277
cp.20241024171054 Thu Oct 24 13:10:54 2024 valid --- --- nodes 1/1 stripes 277
admin@av-srv-prod:~/>:
admin@av-srv-prod:~/>: mccli checkpoint show --verbose
0,23000,CLI command completed successfully.
Tag Time Validated Deletable Nodes Stripes Validation Start Time Validation Finished Time Errors
----------------- ----------------------- --------- --------- ----- ------- ----------------------- ------------------------ ------
cp.20241024164621 2024-10-24 12:46:21 EDT Validated No 1 277 2024-10-24 12:53:09 EDT 2024-10-24 13:08:04 EDT 0
cp.20241024171054 2024-10-24 13:10:54 EDT No 1 277 Not Validated Not Validated N/A
admin@av-srv-prod:~/>:
8. Varmista, että Data Domainin tilannevedoksissa näkyy tila vanhentunut.