Avamar v7 y versiones posteriores: la recolección de elementos no utilizados informa "omitido-hashes" que no se pueden limpiar debido a "mapear bits con referencia a hash" cuando los datos están en uso

La función Mape de bits a los que se hace referencia a hash es una función presentada con la función Avamar v7.x, que permite que se produzcan respaldos durante la actividad de mantenimiento de recolección de elementos no utilizados (GC). 

Antes de esta función, la recolección de elementos no utilizados no se podía ejecutar simultáneamente debido a la posibilidad de conflictos de datos. 

Durante la fase de recolección de elementos no utilizados, la nueva función mantiene información en la memoria sobre los datos que se agregan o cambian (un "mapa de hashes a los que se hace referencia"). La recolección de elementos no utilizados comprueba esta información para saber qué hashes (y los datos a los que hacen referencia) no se deben eliminar.  

Un requisito de esta función es que estos "mapas" necesitan al menos 5 minutos de tiempo "silencioso" durante el cual no se producen respaldos para poder restablecerlos. Una vez que se produce este restablecimiento, los datos que se bloquearon en ellos se pueden escanear durante el ciclo de recolección de elementos no utilizados subsiguiente, siempre y cuando continúen sin cambios.

Este tiempo silencioso se debe considerar cuando se diseña el programa diario de respaldo y mantenimiento de Avamar. 
Una incapacidad para que los mapas se restablezcan puede impedir que la recolección de elementos no utilizados limpie los datos vencidos.
Si el mapa al que se hace referencia no tiene la oportunidad de restablecerse, los datos que deben ser elegibles para la eliminación por elementos no utilizados no se procesan y el uso de la capacidad puede aumentar. Si el mapa no puede restablecerse durante un período prolongado, el registro de recolección de elementos no utilizados puede mostrar una cantidad cada vez mayor de "hashes omitidos".

Los respaldos expiraron, pero la recolección de elementos no utilizados no recuperaba todos los datos elegibles para eliminarse porque algunos de los datos se encontraban en uso en ese momento.

Para comprobar esto, ejecute el siguiente comando:
El comando volca el registro de mantenimiento de la recolección de elementos no utilizados durante 7 días y lo analiza para mostrarlo.

• ¿Cuántos hashes se omitieron?
• Cuántos datos se eliminaron
• Cuántas pasadas de recolección de elementos no utilizados se realizaron
• Cuánto tiempo se ejecutó la recolección de elementos no utilizados para

dumpmaintlogs --types=gc --days=7 | grep passes | cut -d ' ' -f1,10,14,15,17

2014/02/11-11:03:23.01310 skipped-hashes="3118" megabytes-recovered="120" passes="10" elapsed-time="134"
2014/02/12-11:05:33.78790 skipped-hashes="4051" megabytes-recovered="88" passes="10" elapsed-time="264"
2014/02/12-16:18:16.79236 skipped-hashes="5098" megabytes-recovered="199" passes="16" elapsed-time="268"
2014/02/12-16:28:20.35698 skipped-hashes="5099" megabytes-recovered="0" passes="1" elapsed-time="97"
2014/02/12-17:14:22.88473 skipped-hashes="5452" megabytes-recovered="26" passes="20" elapsed-time="162"
2014/02/12-20:46:06.80518 skipped-hashes="6789" megabytes-recovered="83" passes="21" elapsed-time="184"
2014/02/12-21:09:30.70374 skipped-hashes="89139" megabytes-recovered="9432" passes="26" elapsed-time="536"
2014/02/12-23:30:13.07016 skipped-hashes="96510" megabytes-recovered="604" passes="21" elapsed-time="210"
2014/02/12-23:34:15.11324 skipped-hashes="96511" megabytes-recovered="1" passes="3" elapsed-time="99"
2014/02/13-13:41:02.20624 skipped-hashes="97301" megabytes-recovered="0" passes="1" elapsed-time="81"
2014/02/14-11:03:45.31704 skipped-hashes="98220" megabytes-recovered="131" passes="2" elapsed-time="157"
2014/02/14-16:49:14.94905 skipped-hashes="98220" megabytes-recovered="67" passes="2" elapsed-time="105"
2014/02/14-21:15:27.77268 skipped-hashes="98224" megabytes-recovered="0" passes="1" elapsed-time="106"
2014/02/14-21:25:51.71154 skipped-hashes="98224" megabytes-recovered="0" passes="1" elapsed-time="101"
2014/02/14-22:07:19.81136 skipped-hashes="98229" megabytes-recovered="0" passes="1" elapsed-time="125"
2014/02/14-22:15:21.50825 skipped-hashes="98275" megabytes-recovered="1" passes="5" elapsed-time="115"
2014/02/14-22:27:13.88500 skipped-hashes="98278" megabytes-recovered="0" passes="1" elapsed-time="98"
2014/02/14-23:58:47.70116 skipped-hashes="102294" megabytes-recovered="1" passes="4" elapsed-time="110"
2014/02/15-11:02:29.45054 skipped-hashes="102538" megabytes-recovered="0" passes="1" elapsed-time="82"
2014/02/16-00:56:27.25596 skipped-hashes="0" megabytes-recovered="900395" passes="59" elapsed-time="17417"
2014/02/17-11:32:42.66479 skipped-hashes="0" megabytes-recovered="57540" passes="28" elapsed-time="1890"

Análisis:

La salida muestra la cantidad de hashes omitidos que aumentan con el tiempo hasta que el mapa al que se hace referencia se restablezca el 16 de febrero del 2014.
También podemos ver la cantidad de datos que limpian los "megabytes recuperados" que saltarán después de que se liberen los hashes y la recolección de elementos no utilizados puede procesarlos para los datos vencidos.

Solución inmediata

1. Asegúrese de que los mapas puedan restablecerse y permitir que se vuelva a ejecutar la recolección de elementos no utilizados.
2. Asegúrese de que no haya sesiones avtar en ejecución que agreguen datos al sistema (datos de respaldo o de replicación entrante). Utilice el monitor de actividad de la GUI y compruebe si hay sesiones suspendidas que solo se ven con el comando "avmaint sessions --full".
3. Detenga todos los respaldos y las sesiones de replicación entrantes.
4. Espere al menos cinco minutos para permitir que los mapas de bits a los que se hace referencia al hash pasen el tiempo suficiente para restablecerse.  
5. Cuando GC se ejecute nuevamente, revise el registro de mantenimiento de GC para confirmar que skipped-hashes=0

Si skipped-hashes no se ha restablecido a cero, trabaje con el soporte para comprobar los pasos anteriores. Si los informes de recolección de elementos no utilizados MSG_ERR_TRYAGAINLATER, el soporte puede confirmar si esto se debe a la actividad de división de fracciones de índice. 
 

Solución a largo plazo

Diseñe los programas de respaldo y mantenimiento de modo que haya un "inactivo" regular disponible para que se restablezca el mapa de bits al que se hace referencia al hash.

En otras palabras, los programas de respaldo no deben ejecutarse 24x7. Cree un programa que brinde una breve cantidad de tiempo cuando no se escriben respaldos ni datos de replicación entrantes en el sistema. 

Notas: 

• La única vez que los mapas de bits a los que se hace referencia al hash comprobarán si se pueden restablecer es justo después de que finalice una sesión avtar. Cuando no hay sesiones avtar en curso, el mapa solo se restablecerá si:

• Una razón por la que el conteo de hashes omitidos puede ser temporalmente alto se debe a la división de fracciones de índice. Esto ocurre porque los hashes que se transfieren al destino dividido están protegidos. La división de fracciones de índice se produce en sistemas que aún están creciendo o que se están llenando de datos. 
• La recolección de elementos no utilizados también puede fallar con MSG_ERR_TRYAGAINLATER cuando se dividen fracciones de índice:  
• Es posible que MCS no tenga en cuenta necesariamente todas las sesiones avtar que se producen en el servidor Avamar.