Avamar. Как контролировать использование памяти Avtar, настраивая хэш-кэш и кэш файлов

Информация, которая адресует avtar Использование памяти:

Существует три основных фактора, влияющих на общее использование памяти клиентом при avtar Работает:

1. Параметр avtar Для самого двоичного файла требуется память при выполнении резервного копирования (т.е. snapup). Объем памяти, потребляемой avtar обычно находится в диапазоне от 20 до 30 МБ. Это значение зависит от того, на какой ОС работает клиент, а также колеблется во время резервного копирования в зависимости от структуры файлов, которые извлекаются avtar.

2. Параметр avtar Процесс загружает два файла кэша в память. Эти два файла кэша находятся в каталоге Avamar var. Первый из них — это кэш файлов (f_cache.dat). В кэш-памяти файлов хранятся хэши атрибутов файлов, и она используется для быстрого определения файлов, резервные копии которых были созданы ранее в Axion (aka Avamar). Наличие файловой кэш-памяти является одной из существенных причин, почему последующие Axion Резервное копирование (то есть после первоначального резервного копирования), как правило, выполняется очень быстро. Как правило, кэш-память файлов отсеивает примерно 95–98% файлов. Если кэш файлов удален, не используется или имеет недостаточный размер, то каждый файл, который не является «хитом» в кэше файлов, должен быть открыт, прочитан, разбит на фрагменты и хэширован перед тем, как avtar обнаруживает, что хеши ранее были отправлены в Axion сервер. Если файл имеет «хит» в файловой кэш-памяти, то доступ к файлу никогда не осуществляется, что значительно экономит время и ресурсы процессора.

По умолчанию файловый кэш может занимать до 1/8 физического объема ОЗУ на Axion клиент. Например, если на клиенте имеется 4 Гбайт ОЗУ, максимальный размер кэша файлов составляет 512 Мбайт. Размер кэша файлов удваивается при каждом увеличении. Текущие размеры кэш-памяти для файлов: 5,5 Мбайт, 11 Мбайт, 22 Мбайт, 44 Мбайт, 88 Мбайт, 176 Мбайт, 352 Мбайт, 704 Мбайт и т. д. В данном примере, если клиент имеет 4 Гбайт ОЗУ, максимальный размер кэш-памяти файлов ограничен 352 Мбайт.

3. Второй кэш — это хеш-кэш (p_cache.dat). В хэш-кэше хранятся хэши блоков, которые были отправлены на Axion сервер. Как отмечалось выше, avtar Процесс достигает максимальной эффективности за счет обеспечения адекватного размера кэша файлов. Если кэш хэша удален, не используется или имеет недостаточный размер, то, если avtar Процесс обнаруживает, что хэш фрагмента, который не содержится в кэше хэша, avtar process запрашивает Axion сервер на наличие хэша.

По умолчанию кэш-память хэша может занимать до 1/16 части физического ОЗУ на Axion клиент. В предыдущем примере клиента с 4 Гбайт ОЗУ размер кэша хэша ограничен максимум 256 Мбайт. Хеш-кэш также удваивается каждый раз, когда он должен увеличиваться. Текущие размеры кэш-памяти хэша: 24 Мбайт, 48 Мбайт, 96 Мбайт, 192 Мбайт, 384 Мбайт, 768 Мбайт и т. д. В этом примере, если клиент имеет 4 ГБ ОЗУ, максимальный размер хэш-кэша ограничен 194 МБ.

Из вышесказанного можно сделать вывод, что если клиент имеет более 1/2 ГБ оперативной памяти, файловый и хэш-кэш доминируют в общем использовании памяти. Это связано с тем, что оба кэша полностью считываются в память в начале avtar резервная копия. Кроме того, как показано выше, по умолчанию общий объем памяти, используемый avtar ограничен примерно 3/16 частью физической оперативной памяти на Axion клиент.
 

Размеры кэшей файлов и хэша печатаются в начале avtar Журналы.

Пример.

avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\f_cache.dat (5767712 bytes)
avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\p_cache.dat (25166368 bytes)

Здесь кэш файлов составляет 5,5 МБ, а кэш хэша — 24 МБ.

В конце avtar log, будет отображаться следующий набор сообщений:

avtar Info <5587>: Updating cache files in C:\ProgramFiles\Avamar\var
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\f_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\f_cache.dat (5.5MB of 63MB max)
avtar Stats <6151>: File cache: 131072 entries,added/updated 140, booted 0
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\p_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\p_cache.dat (24.0MB of 31MB max)
avtar Stats <6152>: Hash cache: 1048576 entries,added/updated 1091, booted 0

Судя по этим строкам, можно предположить, что файловому кэшу есть куда расти, но хеш-кэш находится на максимуме. Если какой-либо из кэшей имеет недостаточный размер, значение «booted» будет ненулевым, и журнал будет содержать предупреждение о том, что кэш имеет недостаточный размер. Это важно отметить, поскольку размер кэша оказывает огромное влияние на общую производительность.

Ограничения кэша по умолчанию Кэш можно переопределить с помощью следующих двух флагов:

--filecachemax=n

Где n — количество Мбайт или доля (отрицательное значение = доля ОЗУ)

Значение по умолчанию: 

--filecachemax=-8

Пример, ограничивающий размер кэша файлов 100 Мбайт:

--filecachemax=100

--hashcachemax=n

Где n — количество Мбайт или доля (отрицательное значение = доля ОЗУ)

Значение по умолчанию:

--hashcachemax=-16

Еще одно соображение по реализации заключается в том, что если размер кэша ограничен на наборе клиентов, то соответствующие параметры должны быть добавлены к каждому клиентскому avtar.cmd , чтобы он применялся каждый раз, когда клиент выполняет резервное копирование, даже при резервном копировании вручную. Если флаг в файле avtar.cmd не установлен и резервное копирование вручную выполняется без соответствующих параметров, размер файла или кэша хэша может вернуться к значениям по умолчанию.

Для настройки производительности иногда необходимо увеличить размеры кэша от значений по умолчанию.

Эти условия могут существовать в следующих двух диаметрально противоположных случаях:

1. Если у клиента миллионы мелких файлов, размер кэша файлов может потребовать увеличения по сравнению с размером по умолчанию. Общее правило состоит в том, что для каждого миллиона файлов в Axion client, клиент должен иметь 512 Мбайт физической ОЗУ. 

Если у клиента имеется 1 миллион файлов, для хранения хэшей файлов для одной резервной копии требуется не менее 20 МБ (каждый хэш равен 20 байтам). Поскольку необходимо хранить хэши файлов для нескольких резервных копий, требуется больше, а это означает, что он вырастет примерно до 44 МБ. Поскольку по умолчанию используется 1/8 физических 512 Мбайт ОЗУ, объем кэша может быть увеличен до 64 Мбайт, поэтому значение 1/8 ОЗУ для кэш-памяти файлов является достаточным.

2. Если у клиента есть несколько больших файлов, то значения по умолчанию 1/16 для кэша хэша, скорее всего, недостаточно.  

Например, если имеется база данных размером 200 ГБ, то необходимо кэшировать до 10 миллионов хэшей. Поскольку каждый хэш содержит 20 байт, для одного резервного копирования требуется не менее 200 Мбайт.

Следующее доступное приращение равно 384 МБ, поэтому, если этот клиент имеет 4 ГБ ОЗУ, хэш-кэш должен увеличиваться до 1/8 ОЗУ. Если по умолчанию используется 1/16 часть ОЗУ, то хэш-кэш ограничен 192 МБ, и хэш-кэш будет меньшего размера. В случае с базами данных, поскольку копируется мало файлов, кэш файлов значительно меньше, поэтому использование чистой памяти по-прежнему составляет примерно от 1/8 до 3/16 ОЗУ.

Для более систематического решения этой проблемы в любой конкретной среде определите avtar Регистрирует размер кэша файлов и хэша.
Если общий размер этих кэшей должен быть меньше, существуют способы ограничить эти размеры.