Avamar: RMCP neodebírá kontrolní body

Summary: Tento článek vysvětluje chování pozorované, když nejsou kontrolní body z nástroje Avamar odstraněny, a to ani po úspěšném ověření kontrolního bodu.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Během činností údržby nedochází k odstraňování kontrolních bodů. Pokud je software Avamar integrován se systémem Data Domain, nevyprší platnost snapshotů.

admin@av-srv-prod:~/>: cplist --full
cp.20241021171415 Mon Oct 21 13:14:15 2024   valid --- del  nodes   1/1 stripes    277
cp.20241022164600 Tue Oct 22 12:46:00 2024   valid rol del  nodes   1/1 stripes    277
cp.20241022171838 Tue Oct 22 13:18:38 2024   valid --- del  nodes   1/1 stripes    277
cp.20241022193333 Tue Oct 22 15:33:33 2024   valid rol del  nodes   1/1 stripes    277
cp.20241024164621 Thu Oct 24 12:46:21 2024   valid rol ---  nodes   1/1 stripes    277
cp.20241024171054 Thu Oct 24 13:10:54 2024   valid --- ---  nodes   1/1 stripes    277
admin@av-srv-prod:~/>:

Několik ověřených kontrolních bodů (průběžná kontrola HFS) se pomocí příkazu mccli zobrazí jako "Failed":

admin@av-srv-prod:~/>: mccli checkpoint show --verbose
0,23000,CLI command completed successfully.
Tag               Time                    Validated Deletable Nodes Stripes Validation Start Time   Validation Finished Time Errors
----------------- ----------------------- --------- --------- ----- ------- ----------------------- ------------------------ ------
cp.20241021171415 2024-10-21 13:14:15 EDT           No        1     277     Not Validated           Not Validated            N/A
cp.20241022164600 2024-10-22 12:46:00 EDT Failed    No        1     277     2024-10-22 12:53:44 EDT 2024-10-22 13:09:46 EDT  1
cp.20241022171838 2024-10-22 13:18:38 EDT           No        1     277     Not Validated           Not Validated            N/A
cp.20241022193333 2024-10-22 15:33:33 EDT Failed    No        1     277     2024-10-22 15:42:07 EDT 2024-10-22 15:56:48 EDT  1
cp.20241024164621 2024-10-24 12:46:21 EDT Failed    No        1     277     2024-10-24 12:53:09 EDT 2024-10-24 13:08:04 EDT  1
cp.20241024171054 2024-10-24 13:10:54 EDT           No        1     277     Not Validated           Not Validated            N/A
admin@av-srv-prod:~/>:

Při provedení příkazu "removed checkpoint" (rmcp) nejsou odebrány žádné kontrolní body.

admin@av-srv-prod:~/>: avmaint rmcp --full --ava
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<checkpointrmlist has-approved-checkpoint="false">
  <checkpoint
    tag="cp.20241021171415"
    deleted="false"
    ddr-deleted="false"/>
  <checkpoint
    tag="cp.20241022164600"
    deleted="false"
    ddr-deleted="false"/>
  <checkpoint
    tag="cp.20241022171838"
    deleted="false"
    ddr-deleted="false"/>
  <checkpoint
    tag="cp.20241022193333"
    deleted="false"
    ddr-deleted="false"/>
  <checkpoint
    tag="cp.20241024164621"
    deleted="false"
    ddr-deleted="false"/>
  <checkpoint
    tag="cp.20241024171054"
    deleted="false"
    ddr-deleted="false"/>
</checkpointrmlist>

V systému Data Domain nevyprší platnost snapshotů automaticky. Jejich platnost musí vypršet ručně:

avboost@dd-srv-prod# snapshot list mtree /data/col1/avamar-1234567890
Snapshot Information for MTree: /data/col1/avamar-1234567890
----------------------------------------------
Name                Pre-Comp (GiB)   Create Date         Retain Until        Status
-----------------   --------------   -----------------   -----------------   -------
cp.20241015171741          69287.4   Oct 15 2024 13:19   Oct 22 2024 13:13   expired
cp.20241015194118          69287.4   Oct 15 2024 15:43   Oct 22 2024 13:13   expired
...
...
cp.20241020164654          65247.4   Oct 20 2024 12:49
cp.20241020171602          65262.9   Oct 20 2024 13:18
cp.20241021164757          65257.4   Oct 21 2024 12:50
cp.20241021171415          65272.9   Oct 21 2024 13:16
cp.20241022164600          65280.0   Oct 22 2024 12:48
-----------------   --------------   -----------------   -----------------   -------
...
avboost@dd-srv-prod#

Dalším pozorovaným chováním je pomalost při spouštění příkazů na serveru Avamar. Navzdory tomu, že server nespouští žádné úlohy ani zálohy, průměrné zatížení zůstává vysoké.

 

 

Cause

Toto chování může být způsobeno několika faktory. Všechny problémy byly zjištěny po důkladné analýze procesů (pomocí příkazu top nebo ps -ef) spuštěných na serveru Avamar. Některé scénáře zahrnují:

  • Staré procesy v Perlu
  • Zastaralá vlastní replikace
  • Vlastní reporty
  • Staré procesy Avtar

Důkazy se nacházejí v některých scénářích:

admin    15007  0.0  0.0   9664  2812 ?        Ss    2023   0:00 bash -c export TERM=${TERM:-dumb} ; /usr/bin/ssh-agent /tmp/dpnctl-run-self.14963.aux
admin    15042  0.0  0.0   9528  2192 ?        S     2023   0:00  \_ /bin/bash /tmp/dpnctl-run-self.14963.aux
admin    15043  0.0  0.0  30792   680 ?        Ss    2023   0:52      \_ /usr/bin/ssh-agent /tmp/dpnctl-run-self.14963.aux
admin    15049 99.6  0.1  81996 39340 ?        R     2023 272656:21      \_ /usr/bin/perl /usr/local/avamar/bin/dpnctl --rerun --mcs_user=root stop 
admin    26975     1  0  80   0 -  3440 -      Oct08 ?        00:00:00 bash -c ./avReplication.40 --report --csv --quiet
admin    27290 25935  0  80   0 -  3440 -      Oct08 ?        03:55:24 bash -c ./avReplication.40 --quiet --report --short-status
admin    27761 26975  0  80   0 -  3440 -      Oct08 ?        03:50:39 bash -c ./avReplication.40 --report --csv --quiet
root      9046  0.0  0.0 314212  6792 ?        SNl  Nov08   0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
root     20385  0.0  0.0 314212  6624 ?        SNl  Nov08   0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
root     22784  0.0  0.0 314212  6544 ?        SNl  Nov08   0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l

 

Resolution

1. Přihlaste se k serveru Avamar jako admin a přepněte na kořenový adresář:

su -

2. Spusťte následující příkazy a důkladně analyzujte procesy:

top
ps -aux --forest
ps -ef

 

VÝSTRAHA: V případě pochybností neukončujte žádný proces.

 

3. Jakmile je proces identifikován, ukončete jej pomocí ID procesu (PID):

kill <pid>

4. Pokud se proces neukončí, vynuťte ho:

kill -9 <pid>

5. Příkazy by měly opět začít pracovat rychleji.

6. Spusťte nástroj RMCP:

avmaint rmcp --full --ava

7. Následující dva příkazy zobrazí kontrolní bod opět správně:

cplist --full
mccli checkpoint show --verbose

Příklad:

admin@av-srv-prod:~/>: cplist --full
cp.20241024164621 Thu Oct 24 12:46:21 2024   valid rol ---  nodes   1/1 stripes    277
cp.20241024171054 Thu Oct 24 13:10:54 2024   valid --- ---  nodes   1/1 stripes    277
admin@av-srv-prod:~/>: 
admin@av-srv-prod:~/>: mccli checkpoint show --verbose
0,23000,CLI command completed successfully.
Tag               Time                    Validated Deletable Nodes Stripes Validation Start Time   Validation Finished Time Errors
----------------- ----------------------- --------- --------- ----- ------- ----------------------- ------------------------ ------
cp.20241024164621 2024-10-24 12:46:21 EDT Validated No        1     277     2024-10-24 12:53:09 EDT 2024-10-24 13:08:04 EDT  0
cp.20241024171054 2024-10-24 13:10:54 EDT           No        1     277     Not Validated           Not Validated            N/A
admin@av-srv-prod:~/>:

8. Ujistěte se, že snapshoty v systému Data Domain zobrazují stav "expired".

Affected Products

Avamar, Avamar Server
Article Properties
Article Number: 000255751
Article Type: Solution
Last Modified: 16 Apr 2025
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.