Avamar: Hvordan kontrollere Avtar Memory Utilization ved å justere Hash og File cacher

Informasjon som adresserer avtar Minneutnyttelse:

Det er tre viktige bidragsytere til den totale minnebruken på klienten når avtar Kjører:

1. Informasjonen i avtar Binær i seg selv krever minne når du utfører en sikkerhetskopi (aka snapup). Mengden minne som forbrukes av avtar prosessen er vanligvis i området 20 MB til 30 MB. Dette beløpet avhenger av hvilket operativsystem klienten kjører, og varierer også under sikkerhetskopieringen avhengig av strukturen til filene som snappes opp av avtar.

2. Informasjonen i avtar Prosessen laster to hurtigbufferfiler inn i minnet. Disse to hurtigbufferfilene finnes i Avamar var-katalogen. Den første av disse er filbufferen (f_cache.dat). Filbufferen lagrer hashene av filattributtene, og brukes til raskt å identifisere hvilke filer som tidligere er sikkerhetskopiert til Axion (aka Avamar) server. Tilstedeværelsen av filbufferen er en av de viktigste årsakene til at etterfølgende Axion Sikkerhetskopier (det vil si etter den første sikkerhetskopien) er generelt veldig raske. Vanligvis skjermbilder filbufferen ut omtrent 95% til 98% av filene. Hvis filbufferen slettes, ikke brukes eller er underdimensjonert, må alle filer som ikke er et "treff" i filbufferen, åpnes, leses, slettes og hashes før avtar prosessen finner at hashene tidligere ble sendt til Axion server. Hvis en fil har en "hit" i filbufferen, blir filen aldri åpnet, noe som sparer betydelig tid og CPU.

Som standard kan filbufferen forbruke opptil 1/8 av det fysiske RAM-minnet på Axion klient. Hvis klienten for eksempel har 4 GB RAM, er filbufferen begrenset til maksimalt 512 MB. Filbufferen dobles i størrelse hver gang den må vokse. De gjeldende størrelsene på hurtigbufferen for filer er 5,5 MB, 11 MB, 22 MB, 44 MB, 88 MB, 176 MB, 352 MB, 704 MB og så videre. I dette eksemplet hvor en klient har 4 GB RAM, er den maksimale størrelsen på filbufferen begrenset til 352 MB.

3. Den andre cachen er hash cache (p_cache.dat). Hash-hurtigbufferen lagrer hashene av bitene som er sendt til Axion server. Som nevnt ovenfor er avtar Prosessen får mest mulig effektivitet ved å sikre at filbufferen er tilstrekkelig dimensjonert. Hvis hash-hurtigbufferen slettes, ikke brukes eller underdimensjoneres, så hvis avtar Prosessen finner at en hash av en del som ikke finnes i hash-hurtigbufferen, avtar Prosessen spør Axion server for tilstedeværelsen av hash.

Som standard kan hash-hurtigbufferen forbruke opptil 1/16-del av det fysiske RAM-minnet på Axion klient. I det forrige eksemplet på klienten med 4 GB RAM er hash-hurtigbufferen begrenset til maksimalt 256 MB. Hash-hurtigbufferen dobles også i størrelse hver gang den må vokse. De gjeldende størrelsene på hash-hurtigbuffer er 24 MB, 48 MB, 96 MB, 192 MB, 384 MB, 768 MB og så videre. I dette eksemplet hvor en klient har 4 GB RAM, er den maksimale størrelsen på hash-hurtigbufferen begrenset til 194 MB.

Fra ovenstående kan det utledes at hvis en klient har mer enn 1/2 GB RAM, dominerer fil- og hash-cachene den totale minneutnyttelsen. Begge hurtigbufferne leses helt inn i minnet i starten av avtar sikkerhetskopi. Sett ovenfor, som standard, er også det totale minnet som brukes av avtar er begrenset til omtrent 3/16 av det fysiske RAM-minnet på Axion klient.
 

Størrelsene på fil- og hash-hurtigbufferne skrives ut nær begynnelsen av avtar Logger.

Eksempel:

avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\f_cache.dat (5767712 bytes)
avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\p_cache.dat (25166368 bytes)

Her er filbufferen 5.5 MB, og hashbufferen er 24 MB.

På slutten av avtar logg, vil følgende sett med meldinger bli sett:

avtar Info <5587>: Updating cache files in C:\ProgramFiles\Avamar\var
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\f_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\f_cache.dat (5.5MB of 63MB max)
avtar Stats <6151>: File cache: 131072 entries,added/updated 140, booted 0
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\p_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\p_cache.dat (24.0MB of 31MB max)
avtar Stats <6152>: Hash cache: 1048576 entries,added/updated 1091, booted 0

Fra disse linjene indikerer det at filbufferen har plass til å vokse, men hashbufferen er på sitt maksimale. Hvis en av hurtigbufferne er underdimensjonert, vil "booted"-verdien være non-zero, og loggen vil inneholde en advarsel om at hurtigbufferen er underdimensjonert. Dette er viktig å merke seg fordi størrelsen på hurtigbufferen har stor innflytelse på den generelle ytelsen.

Standard hurtigbuffergrenser cacher kan overstyres ved hjelp av følgende to flagg:

--filecachemax=n

Der n er antall MB, eller en brøk (negativ verdi = brøkdel av RAM)

Standardverdi: 

--filecachemax=-8

Eksempel som begrenser filbufferen til en størrelse på 100 MB:

--filecachemax=100

--hashcachemax=n

Der n er antall MB, eller en brøk (negativ verdi = brøkdel av RAM)

Standardverdi:

--hashcachemax=-16

En annen implementeringsvurdering er at hvis hurtigbufferstørrelsen er begrenset på et sett med klienter, bør de riktige parametrene legges til hver klients avtar.cmd fil slik at den brukes hver gang klienten utfører en sikkerhetskopi, til og med manuelle sikkerhetskopier. Hvis det ikke finnes noe flagg i den avtar.cmd filen, og en manuell sikkerhetskopiering utføres uten de riktige alternativene, kan filen eller hash-hurtigbufferen vokse tilbake til standardgrensene.

For å justere ytelsen, er det noen ganger nødvendig å øke hurtigbufferstørrelsene fra standardverdiene.

Disse forholdene kan eksistere i følgende to diametralt motsatte tilfeller:

1. Hvis klienten har millioner av små filer, kan filbufferen kreve en økning fra standardstørrelsen. Den generelle retningslinjen er at for hver million filer på Axion klient, skal klienten ha 512 MB fysisk RAM. 

Hvis en klient har 1 million filer, kreves det minst 20 MB for å lagre filhashene for én enkelt sikkerhetskopi (hver hash består av 20 byte). Siden filhashene for flere sikkerhetskopier må lagres, kreves mer, noe som betyr at den vil vokse til omtrent 44 MB. Som 1/8th av den fysiske 512 MB RAM brukes som standard, er hurtigbufferen lov til å vokse til en grense på 64 MB, så verdien av 1/8th av RAM for filen cache er tilstrekkelig.

2. Hvis klienten har noen få store filer, er standarden på 1/16th for hash-cachen sannsynligvis utilstrekkelig.  

For eksempel, hvis det er en 200 GB-database, må opptil 10 millioner hashes bufres. Siden hver hash er på 20 byte, kreves det minst 200 MB for én enkelt sikkerhetskopi.

Det neste trinnet som er tilgjengelig er 384 MB, derfor hvis denne klienten har 4 GB RAM, må hashbufferen få lov til å vokse opp til 1/8 av RAM. Hvis standard på 1/16 av RAM brukes, er hash-hurtigbufferen begrenset til 192 MB, og hashbufferen vil være underdimensjonert. Når det gjelder databaser, så få filer blir sikkerhetskopiert, er filbufferen betydelig mindre, så nettminneutnyttelsen er fortsatt omtrent 1/8 til 3/16 av RAM.

Hvis du vil løse dette problemet mer systematisk i et gitt miljø, må du avgjøre fra avtar Logger hvor store fil- og hash-hurtigbufferne er.
Hvis den kombinerte størrelsen på disse cachene må være mindre, er det måter å begrense størrelsene på.