Avamar: Como controlar a utilização da memória Avtar ajustando os caches de hash e arquivo

Informações que abordam avtar Utilização da memória:

Há três principais contribuintes para o uso geral de memória no cliente quando: avtar corre:

1. A avtar O próprio binário requer memória ao executar um backup (também conhecido como snapup). A quantidade de memória consumida pelo avtar processo está geralmente na faixa de 20 MB a 30 MB. Essa quantidade depende de qual sistema operacional o client está em execução e também varia durante o backup, dependendo da estrutura dos arquivos que estão sendo vinculados pelo avtar.

2. A avtar O processo carrega dois arquivos de cache na memória. Esses dois arquivos de cache existem no diretório var do Avamar. O primeiro deles é o cache de arquivos (f_cache.dat). O cache de arquivos armazena os hashes dos atributos do arquivo e é usado para identificar rapidamente quais arquivos foram submetidos a backup anteriormente no Axion Servidor (também conhecido como Avamar). A presença do cache de arquivos é um dos principais motivos pelos quais Axion Os backups (ou seja, após o backup inicial) geralmente são muito rápidos. Normalmente, o cache de arquivos filtra aproximadamente 95% a 98% dos arquivos. Se o cache do arquivo for excluído, não usado ou for subdimensionado, todos os arquivos que não forem um "hit" no cache do arquivo deverão ser abertos, lidos, fragmentados e submetidos a hash antes do avtar O processo descobre que os hashes foram enviados anteriormente para o Axion servidor. Se um arquivo tiver um "hit" no cache de arquivos, o arquivo nunca será acessado, economizando tempo e CPU significativos.

Por padrão, o cache de arquivos pode consumir até 1/8 da RAM física no Axion cliente. Por exemplo, se o client tiver 4 GB de RAM, o cache do arquivo será limitado a um máximo de 512 MB. O cache de arquivos dobra de tamanho sempre que precisa crescer. Os tamanhos atuais do cache de arquivos são 5,5 MB, 11 MB, 22 MB, 44 MB, 88 MB, 176 MB, 352 MB, 704 MB e assim por diante. Neste exemplo, em que um cliente tem 4 GB de RAM, o tamanho máximo do cache de arquivos é limitado a 352 MB.

3. O segundo cache é o cache de hash (p_cache.dat). O cache de hash armazena os hashes dos fragmentos que foram enviados para o Axion servidor. Conforme mencionado acima, o avtar O processo ganha o máximo de eficiência ao garantir que o cache de arquivos seja dimensionado adequadamente. Se o cache de hash for excluído, não usado ou tiver tamanho insuficiente, se o avtar O processo descobre que um hash de um fragmento que não está contido no cache de hash, o avtar O processo consulta o Axion servidor para a presença do hash.

Por padrão, o cache de hash pode consumir até 1/16 da RAM física no Axion cliente. No exemplo anterior do client com 4 GB de RAM, o cache de hash é limitado a um máximo de 256 MB. O cache de hash também dobra de tamanho cada vez que precisa crescer. Os tamanhos atuais do cache de hash são 24 MB, 48 MB, 96 MB, 192 MB, 384 MB, 768 MB e assim por diante. Neste exemplo, em que um client tem 4 GB de RAM, o tamanho máximo do cache de hash é limitado a 194 MB.

Do exposto acima, pode-se deduzir que, se um cliente tiver mais de 1/2 GB de RAM, os caches de arquivo e hash dominarão a utilização geral da memória. Isso ocorre porque ambos os caches são lidos completamente na memória no início do avtar backup. Além disso, visto acima, por padrão, a memória geral usada pelo avtar limita-se a aproximadamente 3/16 da RAM física no Axion cliente.
 

Os tamanhos dos caches de arquivo e hash são impressos perto do início do avtar Logs.

Por exemplo:

avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\f_cache.dat (5767712 bytes)
avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\p_cache.dat (25166368 bytes)

Aqui, o cache de arquivos é de 5,5 MB, e o cache de hash é de 24 MB.

No final do avtar , o seguinte conjunto de mensagens será exibido:

avtar Info <5587>: Updating cache files in C:\ProgramFiles\Avamar\var
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\f_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\f_cache.dat (5.5MB of 63MB max)
avtar Stats <6151>: File cache: 131072 entries,added/updated 140, booted 0
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\p_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\p_cache.dat (24.0MB of 31MB max)
avtar Stats <6152>: Hash cache: 1048576 entries,added/updated 1091, booted 0

A partir dessas linhas, isso indica que o cache de arquivos tem espaço para crescer, mas o cache de hash está em seu máximo. Se qualquer cache for subdimensionado, o valor "inicializado" será diferente de zero e o registro incluirá um aviso de que o cache está subdimensionado. Isso é importante observar porque o tamanho do cache tem uma grande influência sobre o desempenho geral.

Os caches de limites de cache padrão podem ser substituídos usando os dois indicadores a seguir:

--filecachemax=n

Onde n é o número de MB, ou uma fração (valor negativo = fração de RAM)

Valor padrão: 

--filecachemax=-8

Exemplo que limita o cache de arquivo a um tamanho de 100 MB:

--filecachemax=100

--hashcachemax=n

Onde n é o número de MB, ou uma fração (valor negativo = fração de RAM)

Valor padrão:

--hashcachemax=-16

Outra consideração de implementação é que, se o tamanho do cache for limitado em um conjunto de clients, os parâmetros apropriados deverão ser adicionados aos de cada client avtar.cmd para que ele seja aplicado toda vez que o client executar um backup, até mesmo backups manuais. Se nenhum indicador estiver no arquivo avtar.cmd e um backup manual for executado sem as opções apropriadas, o arquivo ou o cache de hash poderá voltar aos limites padrão.

Para ajustar o desempenho, às vezes é necessário aumentar os tamanhos de cache a partir dos valores padrão.

Essas condições poderiam existir nos dois casos diametralmente opostos a seguir:

1. Se o cliente tiver milhões de arquivos pequenos, o cache de arquivos poderá exigir um aumento em relação ao tamanho padrão. A diretriz geral é que, para cada milhão de arquivos no Axion client, o client deve ter 512 MB de RAM física. 

Se um cliente tiver 1 milhão de arquivos, um mínimo de 20 MB será necessário para armazenar os hashes de arquivo para um único backup (cada hash é de 20 bytes). Como os hashes de arquivo para vários backups devem ser armazenados, mais é necessário, o que significa que eles crescerão para aproximadamente 44 MB. Como 1/8 dos 512 MB físicos de RAM é usado por padrão, o cache pode crescer até um limite de 64 MB, portanto, o valor de 1/8 de RAM para o cache do arquivo é adequado.

2. Se o cliente tiver alguns arquivos grandes, o padrão de 1/16 para o cache de hash provavelmente será insuficiente.  

Por exemplo, se houver um banco de dados de 200 GB, até 10 milhões de hashes deverão ser armazenados em cache. Como cada hash tem 20 bytes, um mínimo de 200 MB é necessário para um único backup.

O próximo incremento disponível é de 384 MB, portanto, se esse cliente tiver 4 GB de RAM, o cache de hash deverá ter permissão para aumentar até 1/8 da RAM. Se o padrão de 1/16 da RAM for usado, o cache de hash será limitado a 192 MB e o cache de hash será subdimensionado. No caso de bancos de dados, como poucos arquivos estão sendo copiados, o cache de arquivos é consideravelmente menor, portanto, a utilização da memória líquida ainda é de aproximadamente 1/8 a 3/16 da RAM.

Para resolver esse problema de forma mais sistemática em qualquer ambiente, determine a partir do avtar Registra o tamanho dos caches de arquivo e hash.
Se o tamanho combinado desses caches precisar ser menor, há maneiras de limitar os tamanhos.