Avamar: Cómo controlar la utilización de memoria Avtar mediante el ajuste de las cachés de hash y de archivos

Información que aborda avtar Utilización de memoria:

Hay tres factores principales que contribuyen al uso general de la memoria en el cliente cuando avtar Funciona:

1. El comando avtar binario en sí mismo requiere memoria al realizar una copia de seguridad (también conocido como snapup). La cantidad de memoria consumida por el avtar por lo general, el proceso está en el rango de 20 MB a 30 MB. Esta cantidad depende del sistema operativo que el cliente esté ejecutando y también fluctúa durante el respaldo según la estructura de los archivos que está tomando avtar.

2. El comando avtar El proceso carga dos archivos de caché en la memoria. Estos dos archivos de caché existen en el directorio var de Avamar. La primera de ellas es la caché de archivos (f_cache.dat). La caché de archivos almacena los hashes de los atributos del archivo y se utiliza para identificar rápidamente qué archivos se respaldaron anteriormente en el Axion (también conocido como Avamar). La presencia de la caché de archivos es una de las razones importantes por las que los Axion Por lo general, los respaldos (es decir, después del respaldo inicial) son muy rápidos. Por lo general, la caché de archivos filtra aproximadamente entre el 95 % y el 98 % de los archivos. Si la caché de archivos se elimina, no se utiliza o tiene un tamaño insuficiente, todos los archivos que no sean un "acierto" en la caché de archivos se deben abrir, leer, fragmentar y aplicar hash antes que el avtar encuentra que los hashes se enviaron previamente al Axion servidor. Si un archivo tiene un "hit" en la caché de archivos, nunca se puede acceder a él, lo que ahorra mucho tiempo y CPU.

De manera predeterminada, la caché de archivos puede consumir hasta 1/8 de la RAM física en el Axion cliente. Por ejemplo, si el cliente tiene 4 GB de RAM, la caché de archivos se limita a un máximo de 512 MB. La caché de archivos duplica su tamaño cada vez que debe crecer. Los tamaños actuales de la caché de archivos son 5,5 MB, 11 MB, 22 MB, 44 MB, 88 MB, 176 MB, 352 MB, 704 MB, etc. En este ejemplo, donde un cliente tiene 4 GB de RAM, el tamaño máximo de la caché de archivos se limita a 352 MB.

3. La segunda caché es la caché hash (p_cache.dat). La caché de hash almacena los hashes de los fragmentos que se enviaron al Axion servidor. Como se señaló anteriormente, el avtar El proceso logra la mayor eficiencia si se asegura de que la caché de archivos tenga el tamaño adecuado. Si la caché de hash se elimina, no se utiliza o está tamaño insuficiente, si el avtar encuentra que un hash de un fragmento que no está contenido en la caché de hash, el avtar consultas de proceso a las Axion server para la presencia del hash.

De manera predeterminada, la caché de hash podría consumir hasta 1/16 de la RAM física en el Axion cliente. En el ejemplo anterior del cliente con 4 GB de RAM, la caché de hash se limita a un máximo de 256 MB. La caché de hash también duplica su tamaño cada vez que debe crecer. Los tamaños actuales de la caché hash son 24 MB, 48 MB, 96 MB, 192 MB, 384 MB, 768 MB, etc. En este ejemplo, donde un cliente tiene 4 GB de RAM, el tamaño máximo de la caché de hash se limita a 194 MB.

De lo anterior se puede deducir que si un cliente tiene más de 1/2 GB de RAM, las cachés de archivos y hash dominan la utilización general de la memoria. Esto se debe a que ambas cachés se leen completamente en la memoria al inicio del avtar copia de seguridad. Además, como se muestra anteriormente, de forma predeterminada, la memoria general utilizada por avtar se limita aproximadamente a 3/16 de la RAM física en el Axion cliente.
 

Los tamaños de las cachés de hash y archivos se imprimen cerca del comienzo de la avtar registros.

Por ejemplo:

avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\f_cache.dat (5767712 bytes)
avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\p_cache.dat (25166368 bytes)

Aquí, la caché de archivos es de 5,5 MB y la caché de hash es de 24 MB.

Al final de la avtar registro, se verá el siguiente conjunto de mensajes:

avtar Info <5587>: Updating cache files in C:\ProgramFiles\Avamar\var
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\f_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\f_cache.dat (5.5MB of 63MB max)
avtar Stats <6151>: File cache: 131072 entries,added/updated 140, booted 0
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\p_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\p_cache.dat (24.0MB of 31MB max)
avtar Stats <6152>: Hash cache: 1048576 entries,added/updated 1091, booted 0

A partir de estas líneas, indica que la caché de archivos tiene espacio para crecer, pero la caché hash está en su máximo. Si alguna de las cachés tiene un tamaño insuficiente, el valor de "arranque" será distinto de cero y el registro incluirá una advertencia que indica que la caché está infradimensionada. Es importante tener esto en cuenta porque el tamaño de la caché tiene una gran influencia en el rendimiento general.

Los límites de caché predeterminados se pueden reemplazar mediante las siguientes dos marcas:

--filecachemax=n

Donde n es el número de MB, o una fracción (valor negativo = fracción de RAM)

Valor predeterminado: 

--filecachemax=-8

Ejemplo de limitación de la caché de archivos a un tamaño de 100 MB:

--filecachemax=100

--hashcachemax=n

Donde n es el número de MB, o una fracción (valor negativo = fracción de RAM)

Valor predeterminado:

--hashcachemax=-16

Otra consideración de implementación es que si el tamaño de la caché está limitado en un conjunto de clientes, se deben agregar los parámetros adecuados a los avtar.cmd para que se aplique cada vez que el cliente realice una copia de seguridad, incluso copias de seguridad manuales. Si no hay ninguna marca en el archivo avtar.cmd y se realiza un respaldo manual sin las opciones adecuadas, el archivo o la caché de hash podrían volver a sus límites predeterminados.

Para ajustar el rendimiento, a veces es necesario aumentar los tamaños de caché de los valores predeterminados.

Estas condiciones podrían existir en los siguientes dos casos diametralmente opuestos:

1. Si el cliente tiene millones de archivos pequeños, es posible que la caché de archivos requiera un aumento del tamaño predeterminado. La pauta general es que, por cada millón de archivos en el Axion cliente, el cliente debe tener 512 MB de RAM física. 

Si un cliente tiene 1 millón de archivos, se requiere un mínimo de 20 MB para almacenar los hashes de archivo para un único respaldo (cada hash es de 20 bytes). Dado que se deben almacenar los hashes de archivo para varios respaldos, se requiere más, lo que significa que crecerá a aproximadamente 44 MB. Dado que 1/8 de los 512 MB de RAM físicos se utiliza de manera predeterminada, se permite que la caché crezca hasta un límite de 64 MB, por lo que el valor de 1/8 de RAM para la caché de archivos es adecuado.

2. Si el cliente tiene algunos archivos grandes, es probable que el valor predeterminado de 1/16 para la caché de hash sea insuficiente.  

Por ejemplo, si hay una base de datos de 200 GB, se deben almacenar en caché hasta 10 millones de hashes. Dado que cada hash es de 20 bytes, se requiere un mínimo de 200 MB para un único respaldo.

El siguiente incremento disponible es de 384 MB, por lo tanto, si este cliente tiene 4 GB de RAM, se debe permitir que la caché hash crezca hasta 1/8 de la RAM. Si se utiliza el valor predeterminado de 1/16 de la RAM, la caché de hash se limita a 192 MB y la caché de hash se subajustará. En el caso de las bases de datos, ya que se están respaldando pocos archivos, la caché de archivos es considerablemente más pequeña, por lo que la utilización de memoria neta sigue siendo aproximadamente de 1/8 a 3/16 de la RAM.

Para abordar este problema de manera más sistemática en un entorno determinado, determine a partir de la avtar Registra el tamaño de las cachés de hash y de archivos.
Si el tamaño combinado de estas cachés debe ser menor, hay maneras de limitar los tamaños.