Avamar: RMCP no elimina los puntos de control
Summary: En este artículo, se explica el comportamiento que se observa cuando los puntos de control no se eliminan de Avamar, incluso después de una validación correcta del punto de control.
Symptoms
Durante las actividades de mantenimiento, los puntos de control no se eliminan. Además, si Avamar está integrado con Data Domain, las instantáneas tampoco vencen.
admin@av-srv-prod:~/>: cplist --full
cp.20241021171415 Mon Oct 21 13:14:15 2024 valid --- del nodes 1/1 stripes 277
cp.20241022164600 Tue Oct 22 12:46:00 2024 valid rol del nodes 1/1 stripes 277
cp.20241022171838 Tue Oct 22 13:18:38 2024 valid --- del nodes 1/1 stripes 277
cp.20241022193333 Tue Oct 22 15:33:33 2024 valid rol del nodes 1/1 stripes 277
cp.20241024164621 Thu Oct 24 12:46:21 2024 valid rol --- nodes 1/1 stripes 277
cp.20241024171054 Thu Oct 24 13:10:54 2024 valid --- --- nodes 1/1 stripes 277
admin@av-srv-prod:~/>:
Varios puntos de control validados (comprobación continua de HFS) se muestran como "Failed" mediante el comando mccli:
admin@av-srv-prod:~/>: mccli checkpoint show --verbose
0,23000,CLI command completed successfully.
Tag Time Validated Deletable Nodes Stripes Validation Start Time Validation Finished Time Errors
----------------- ----------------------- --------- --------- ----- ------- ----------------------- ------------------------ ------
cp.20241021171415 2024-10-21 13:14:15 EDT No 1 277 Not Validated Not Validated N/A
cp.20241022164600 2024-10-22 12:46:00 EDT Failed No 1 277 2024-10-22 12:53:44 EDT 2024-10-22 13:09:46 EDT 1
cp.20241022171838 2024-10-22 13:18:38 EDT No 1 277 Not Validated Not Validated N/A
cp.20241022193333 2024-10-22 15:33:33 EDT Failed No 1 277 2024-10-22 15:42:07 EDT 2024-10-22 15:56:48 EDT 1
cp.20241024164621 2024-10-24 12:46:21 EDT Failed No 1 277 2024-10-24 12:53:09 EDT 2024-10-24 13:08:04 EDT 1
cp.20241024171054 2024-10-24 13:10:54 EDT No 1 277 Not Validated Not Validated N/A
admin@av-srv-prod:~/>:
Cuando se ejecuta el comando de punto de control eliminado (rmcp), no se elimina ningún punto de control.
admin@av-srv-prod:~/>: avmaint rmcp --full --ava
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<checkpointrmlist has-approved-checkpoint="false">
<checkpoint
tag="cp.20241021171415"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241022164600"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241022171838"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241022193333"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241024164621"
deleted="false"
ddr-deleted="false"/>
<checkpoint
tag="cp.20241024171054"
deleted="false"
ddr-deleted="false"/>
</checkpointrmlist>
En Data Domain, las instantáneas no vencen automáticamente. Deben vencerse manualmente:
avboost@dd-srv-prod# snapshot list mtree /data/col1/avamar-1234567890
Snapshot Information for MTree: /data/col1/avamar-1234567890
----------------------------------------------
Name Pre-Comp (GiB) Create Date Retain Until Status
----------------- -------------- ----------------- ----------------- -------
cp.20241015171741 69287.4 Oct 15 2024 13:19 Oct 22 2024 13:13 expired
cp.20241015194118 69287.4 Oct 15 2024 15:43 Oct 22 2024 13:13 expired
...
...
cp.20241020164654 65247.4 Oct 20 2024 12:49
cp.20241020171602 65262.9 Oct 20 2024 13:18
cp.20241021164757 65257.4 Oct 21 2024 12:50
cp.20241021171415 65272.9 Oct 21 2024 13:16
cp.20241022164600 65280.0 Oct 22 2024 12:48
----------------- -------------- ----------------- ----------------- -------
...
avboost@dd-srv-prod#
Otro comportamiento observado es la lentitud cuando se ejecutan comandos en el servidor Avamar. A pesar de que el servidor no ejecuta ninguna tarea ni respaldo, el promedio de carga sigue siendo alto.
Cause
Varios factores pueden causar este comportamiento. Todos los problemas se identificaron después de analizar exhaustivamente los procesos (mediante top o ps -ef) que se ejecutan en el servidor Avamar. Algunos escenarios incluyen:
- Procesos antiguos de Perl
- Replicación personalizada obsoleta
- Informes personalizados
- Procesos antiguos de Avtar
Las evidencias se encuentran en algunos escenarios:
admin 15007 0.0 0.0 9664 2812 ? Ss 2023 0:00 bash -c export TERM=${TERM:-dumb} ; /usr/bin/ssh-agent /tmp/dpnctl-run-self.14963.aux
admin 15042 0.0 0.0 9528 2192 ? S 2023 0:00 \_ /bin/bash /tmp/dpnctl-run-self.14963.aux
admin 15043 0.0 0.0 30792 680 ? Ss 2023 0:52 \_ /usr/bin/ssh-agent /tmp/dpnctl-run-self.14963.aux
admin 15049 99.6 0.1 81996 39340 ? R 2023 272656:21 \_ /usr/bin/perl /usr/local/avamar/bin/dpnctl --rerun --mcs_user=root stop
admin 26975 1 0 80 0 - 3440 - Oct08 ? 00:00:00 bash -c ./avReplication.40 --report --csv --quiet
admin 27290 25935 0 80 0 - 3440 - Oct08 ? 03:55:24 bash -c ./avReplication.40 --quiet --report --short-status
admin 27761 26975 0 80 0 - 3440 - Oct08 ? 03:50:39 bash -c ./avReplication.40 --report --csv --quiet
root 9046 0.0 0.0 314212 6792 ? SNl Nov08 0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
root 20385 0.0 0.0 314212 6624 ? SNl Nov08 0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
root 22784 0.0 0.0 314212 6544 ? SNl Nov08 0:00 /usr/local/avamar/bin/avtar.bin --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc --sysdir="/usr/l
Resolution
1. Inicie sesión en el servidor Avamar como switch de administrador desde la raíz:
su -
2. Ejecute los siguientes comandos para analizar exhaustivamente los procesos:
top
ps -aux --forest
ps -ef
3. Una vez que se identifique el proceso, finalícelo mediante el ID de proceso (PID):
kill <pid>
4. Si el proceso no finaliza, fuércelo:
kill -9 <pid>
5. Los comandos deben comenzar a funcionar más rápido nuevamente.
6. Ejecute RMCP:
avmaint rmcp --full --ava
7. Los siguientes dos comandos vuelven a mostrar el punto de control correctamente:
cplist --full
mccli checkpoint show --verbose
Ejemplo:
admin@av-srv-prod:~/>: cplist --full
cp.20241024164621 Thu Oct 24 12:46:21 2024 valid rol --- nodes 1/1 stripes 277
cp.20241024171054 Thu Oct 24 13:10:54 2024 valid --- --- nodes 1/1 stripes 277
admin@av-srv-prod:~/>:
admin@av-srv-prod:~/>: mccli checkpoint show --verbose
0,23000,CLI command completed successfully.
Tag Time Validated Deletable Nodes Stripes Validation Start Time Validation Finished Time Errors
----------------- ----------------------- --------- --------- ----- ------- ----------------------- ------------------------ ------
cp.20241024164621 2024-10-24 12:46:21 EDT Validated No 1 277 2024-10-24 12:53:09 EDT 2024-10-24 13:08:04 EDT 0
cp.20241024171054 2024-10-24 13:10:54 EDT No 1 277 Not Validated Not Validated N/A
admin@av-srv-prod:~/>:
8. Asegúrese de que las instantáneas en Data Domain muestren el estado "expired".