Avamar: 해시 및 파일 캐시를 조정하여 Avtar 메모리 사용률을 제어하는 방법

다루는 정보 avtar 메모리 활용도:

다음과 같은 경우 클라이언트의 전체 메모리 사용에 세 가지 주요 요인이 있습니다. avtar 실행:

1. 이 avtar 바이너리 자체에는 백업을 수행할 때 메모리가 필요합니다(일명 snapup)를 다시 로드합니다. 에서 사용하는 메모리 양 avtar 프로세스는 일반적으로 20MB에서 30MB 사이입니다. 이 양은 클라이언트가 실행 중인 OS에 따라 달라지며 백업 중에 스냅되는 파일의 구조에 따라 변동됩니다 avtar.

2. 이 avtar 프로세스는 두 개의 캐시 파일을 메모리에 로드합니다. 이 두 캐시 파일은 Avamar var 디렉토리에 있습니다. 첫 번째는 파일 캐시(f_cache.dat)를 다시 로드합니다. 파일 캐시는 파일 속성의 해시를 저장하며, 이전에 백업된 파일을 빠르게 식별하는 데 사용됩니다. Axion (일명 Avamar) 서버. 파일 캐시의 존재는 후속 호스트가 Axion 백업(초기 백업 후)은 일반적으로 매우 빠릅니다. 일반적으로 파일 캐시는 파일의 약 95%에서 98%를 걸러냅니다. 파일 캐시가 삭제되거나, 사용되지 않거나, 크기가 작은 경우 파일 캐시에서 "적중"이 아닌 모든 파일을 열고, 읽고, 청크하고, 해시해야 합니다. avtar process는 해시가 이전에 전송되었음을 찾습니다. Axion 서버. 파일 캐시에 파일이 "적중"되면 파일에 액세스하지 않으므로 상당한 시간과 CPU가 절약됩니다.

기본적으로 파일 캐시는 물리적 RAM의 최대 1/8을 사용할 수 있습니다. Axion 클라이언트. 예를 들어 클라이언트에 4GB의 RAM이 있는 경우 파일 캐시는 최대 512MB로 제한됩니다. 파일 캐시는 커져야 할 때마다 크기가 두 배로 커집니다. 현재 파일 캐시 크기는 5.5MB, 11MB, 22MB, 44MB, 88MB, 176MB, 352MB, 704MB 등입니다. 클라이언트에 4GB의 RAM이 있는 이 예에서 파일 캐시의 최대 크기는 352MB로 제한됩니다.

3. 두 번째 캐시는 해시 캐시(p_cache.dat)를 다시 로드합니다. 해시 캐시는 전송된 청크의 해시를 Axion 서버. 위에서 언급했듯이 avtar 프로세스는 파일 캐시의 크기를 적절하게 조정하여 효율성을 극대화합니다. 해시 캐시가 삭제되거나, 사용되지 않거나, 크기가 작은 경우 avtar 프로세스는 해시 캐시에 포함되지 않은 청크의 해시를 찾습니다. avtar 프로세스는 Axion 해시의 존재에 대한 서버.

기본적으로 해시 캐시는 물리적 RAM의 최대 1/16을 소비할 수 있습니다. Axion 클라이언트. RAM이 4GB인 클라이언트의 이전 예에서 해시 캐시는 최대 256MB로 제한됩니다. 해시 캐시도 커져야 할 때마다 크기가 두 배로 커집니다. 현재 해시 캐시 크기는 24MB, 48MB, 96MB, 192MB, 384MB, 768MB 등입니다. 클라이언트에 4GB의 RAM이 있는 이 예에서 해시 캐시의 최대 크기는 194MB로 제한됩니다.

위의 내용에서 클라이언트에 1/2GB 이상의 RAM이 있는 경우 파일 및 해시 캐시가 전체 메모리 사용률을 지배한다는 것을 추론할 수 있습니다. 이는 두 캐시 모두 시작 시 메모리로 완전히 읽히기 때문입니다. avtar 백업. 또한 위에서 살펴본 것처럼 기본적으로 전체 메모리는 avtar 물리적 RAM의 약 3/16로 제한됩니다. Axion 클라이언트.
 

파일 및 해시 캐시의 크기는 시작 부분에 인쇄됩니다. avtar 로그를 포함합니다.

예:

avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\f_cache.dat (5767712 bytes)
avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\p_cache.dat (25166368 bytes)

여기에서 파일 캐시는 5.5MB이고 해시 캐시는 24MB입니다.

의 끝에서 avtar 로그에 다음 메시지 세트가 표시됩니다.

avtar Info <5587>: Updating cache files in C:\ProgramFiles\Avamar\var
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\f_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\f_cache.dat (5.5MB of 63MB max)
avtar Stats <6151>: File cache: 131072 entries,added/updated 140, booted 0
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\p_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\p_cache.dat (24.0MB of 31MB max)
avtar Stats <6152>: Hash cache: 1048576 entries,added/updated 1091, booted 0

이 줄에서 파일 캐시가 증가할 여지가 있지만 해시 캐시가 최대임을 나타냅니다. 캐시 크기가 작은 경우 "부팅된" 값은 0이 아니며 로그에는 캐시 크기가 부족하다는 경고가 포함됩니다. 캐시의 크기가 전체 성능에 큰 영향을 미치기 때문에 이 점에 유의해야 합니다.

기본 캐시 제한 캐시는 다음 두 플래그를 사용하여 재정의할 수 있습니다.

--filecachemax=n

여기서 n은 MB 수 또는 분수(음수 값 = RAM 분수)입니다.

기본값: 

--filecachemax=-8

파일 캐시 크기를 100MB로 제한하는 예:

--filecachemax=100

--hashcachemax=n

여기서 n은 MB 수 또는 분수(음수 값 = RAM 분수)입니다.

기본값:

--hashcachemax=-16

구현을 구현하는 과정에서 또 다른 고려 사항은 캐시 크기가 클라이언트 세트로 제한되는 경우 각 클라이언트의 avtar.cmd 수동 백업을 포함해 클라이언트가 백업을 수행할 때마다 적용되도록 파일을 정리합니다. avtar.cmd 파일에 플래그가 없고 적절한 옵션 없이 수동 백업이 수행된 경우 파일 또는 해시 캐시가 기본 한계까지 다시 커질 수 있습니다.

성능을 조정하기 위해 캐시 크기를 기본값에서 늘려야 하는 경우도 있습니다.

이러한 조건은 다음과 같이 정반대의 두 가지 경우에 존재할 수 있습니다.

1. 클라이언트에 수백만 개의 작은 파일이 있는 경우 파일 캐시를 기본 크기에서 늘려야 할 수 있습니다. 일반적인 지침은 100만 개의 파일에 대해 Axion client의 경우 클라이언트에는 512MB의 물리적 RAM이 있어야 합니다. 

클라이언트에 100만 개의 파일이 있는 경우 단일 백업에 대한 파일 해시를 저장하려면 최소 20MB가 필요합니다(각 해시는 20바이트). 여러 백업에 대한 파일 해시를 저장해야 하므로 더 많은 파일이 필요하며, 이는 약 44MB로 증가한다는 것을 의미합니다. 물리적 512MB RAM 중 1/8이 기본적으로 사용되므로 캐시는 64MB까지 증가할 수 있으므로 파일 캐시에 대한 RAM의 1/8 값이 적절합니다.

2. 클라이언트에 몇 개의 큰 파일이 있는 경우 해시 캐시의 기본값인 1/16은 충분하지 않을 수 있습니다.  

예를 들어 200GB 데이터베이스가 있는 경우 최대 1,000만 개의 해시를 캐싱해야 합니다. 각 해시가 20바이트이므로 단일 백업에 최소 200MB가 필요합니다.

사용 가능한 다음 증분은 384MB이므로 이 클라이언트에 4GB의 RAM이 있는 경우 해시 캐시는 RAM의 1/8까지 증가할 수 있어야 합니다. 기본값인 RAM의 1/16을 사용하는 경우 해시 캐시는 192MB로 제한되고 해시 캐시의 크기는 작아집니다. 데이터베이스의 경우 백업되는 파일이 적기 때문에 파일 캐시가 상당히 작기 때문에 순 메모리 사용률은 여전히 RAM의 약 1/8에서 3/16입니다.

주어진 환경에서 이 문제를 보다 체계적으로 해결하려면 avtar 파일 및 해시 캐시의 크기를 기록합니다.
이러한 캐시의 결합된 크기가 더 작아야 하는 경우 크기를 제한하는 방법이 있습니다.