Avamar: Hoe Avtar-geheugengebruik te beheren door de hash- en bestandscaches aan te passen

Informatie die betrekking heeft op avtar Geheugengebruik:

Er zijn drie belangrijke factoren die bijdragen aan het algehele geheugengebruik op de client wanneer: avtar Loopt:

1. De avtar Binary zelf vereist geheugen bij het uitvoeren van een back-up (ook wel snapup). De hoeveelheid geheugen die wordt verbruikt door de avtar proces ligt over het algemeen in het bereik van 20 MB tot 30 MB. Dit bedrag is afhankelijk van het besturingssysteem dat de client uitvoert en varieert ook tijdens de back-up, afhankelijk van de structuur van de bestanden die worden opgepikt door avtar.

2. De avtar Het proces laadt twee cachebestanden in het geheugen. Deze twee cachebestanden bevinden zich in de map Avamar var. De eerste hiervan is de bestandscache (f_cache.dat). In de bestandscache worden de hashes van de bestandskenmerken opgeslagen en deze wordt gebruikt om snel te bepalen van welke bestanden eerder een back-up is gemaakt Axion (ook bekend als Avamar) server. De aanwezigheid van de bestandscache is een van de belangrijkste redenen waarom latere Axion Back-ups (dat wil zeggen, na de eerste back-up) zijn over het algemeen erg snel. Doorgaans schermt de bestandscache ongeveer 95% tot 98% van de bestanden uit. Als de bestandscache wordt verwijderd, niet wordt gebruikt of te klein groot is, moet elk bestand dat geen "hit" is in de bestandscache worden geopend, gelezen, gesegmenteerd en gehasht voordat het avtar proces constateert dat de hashes eerder zijn verzonden naar de Axion server. Als een bestand een "hit" heeft in de bestandscache, wordt het bestand nooit geopend, wat veel tijd en CPU bespaart.

Standaard kan de bestandscache tot 1/8e van het fysieke RAM-geheugen op de Axion klant. Als de client bijvoorbeeld 4 GB RAM heeft, is de bestandscache beperkt tot maximaal 512 MB. De bestandscache verdubbelt in grootte elke keer dat deze moet groeien. De huidige bestandscachegroottes zijn 5,5 MB, 11 MB, 22 MB, 44 MB, 88 MB, 176 MB, 352 MB, 704 MB, enzovoort. In dit voorbeeld, wanneer een client 4 GB RAM heeft, is de maximale grootte van de bestandscache beperkt tot 352 MB.

3. De tweede cache is de hashcache (p_cache.dat). In de hashcache worden de hashes opgeslagen van de brokken die naar de Axion server. Zoals hierboven vermeld, is de avtar Het proces wordt het meest efficiënt door ervoor te zorgen dat de bestandscache voldoende groot is. Als de hashcache wordt verwijderd, niet wordt gebruikt of te groot is, is als het avtar proces vindt dat een hash van een chunk die niet in de hashcache zit, de avtar verwerken van query's op de Axion server voor de aanwezigheid van de hash.

Standaard kan de hashcache tot 1/16e van het fysieke RAM-geheugen op de Axion klant. In het vorige voorbeeld van de client met 4 GB RAM is de hash cache beperkt tot maximaal 256 MB. De hashcache verdubbelt ook in grootte elke keer dat hij moet groeien. De huidige grootte van de hash-cache is 24 MB, 48 MB, 96 MB, 192 MB, 384 MB, 768 MB, enzovoort. In dit voorbeeld, waar een client 4 GB RAM heeft, is de maximale grootte van de hashcache beperkt tot 194 MB.

Uit het bovenstaande kan worden afgeleid dat als een client meer dan 1/2 GB RAM heeft, de bestands- en hash-caches het algehele geheugengebruik domineren. Dit komt omdat beide caches aan het begin van de avtar backup. Ook is zoals hierboven te zien is, standaard het totale geheugen dat wordt gebruikt door avtar is beperkt tot ongeveer 3/16e van het fysieke RAM-geheugen op de Axion klant.
 

De grootte van het bestand en de hash-caches worden afgedrukt aan het begin van de avtar Logs.

Bijvoorbeeld:

avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\f_cache.dat (5767712 bytes)
avtar Info <5573>: - Loaded cache file C:\ProgramFiles\Avamar\var\p_cache.dat (25166368 bytes)

Hier is de bestandscache 5,5 MB en de hashcache 24 MB.

Aan het einde van de avtar logboek, wordt de volgende reeks berichten weergegeven:

avtar Info <5587>: Updating cache files in C:\ProgramFiles\Avamar\var
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\f_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\f_cache.dat (5.5MB of 63MB max)
avtar Stats <6151>: File cache: 131072 entries,added/updated 140, booted 0
avtar Info <5069>: - Writing cache file C:\ProgramFiles\Avamar\var\p_cache.dat
avtar Info <5546>: - Cache update complete C:\ProgramFiles\Avamar\var\p_cache.dat (24.0MB of 31MB max)
avtar Stats <6152>: Hash cache: 1048576 entries,added/updated 1091, booted 0

Uit deze lijnen blijkt dat de bestandscache ruimte heeft om te groeien, maar dat de hashcache maximaal is. Als een van beide caches ondermaats is, is de waarde "booted" niet-nul en bevat het logboek een waarschuwing dat de cache ondermaats is. Dit is belangrijk om op te merken omdat de grootte van de cache een enorme invloed heeft op de algehele prestaties.

De standaard cachelimieten van caches kunnen worden overschreven met behulp van de volgende twee vlaggen:

--filecachemax=n

Waarbij n het aantal MB is, of een breuk (negatieve waarde = fractie RAM)

Standaardwaarde: 

--filecachemax=-8

Voorbeeld van het beperken van de bestandscache tot een grootte van 100 MB:

--filecachemax=100

--hashcachemax=n

Waarbij n het aantal MB is, of een breuk (negatieve waarde = fractie RAM)

Standaardwaarde:

--hashcachemax=-16

Een andere implementatieoverweging is dat als de cachegrootte beperkt is op een set clients, de juiste parameters moeten worden toegevoegd aan die van elke client avtar.cmd bestand zodat het elke keer dat de client een back-up uitvoert wordt toegepast, zelfs handmatige back-ups. Als er geen markering in het bestand avtar.cmd staat en er een handmatige back-up wordt uitgevoerd zonder de juiste opties, kan het bestand of de hashcache teruggroeien naar de standaardlimieten.

Om de prestaties af te stemmen, is het soms nodig om de cachegroottes te vergroten vanaf de standaardwaarden.

Deze voorwaarden kunnen zich voordoen in de volgende twee diametraal tegenovergestelde gevallen:

1. Als de client miljoenen kleine bestanden heeft, moet de bestandscache mogelijk worden uitgebreid ten opzichte van de standaardgrootte. De algemene richtlijn is dat voor elke miljoen bestanden op de Axion client, moet de client 512 MB fysiek RAM-geheugen hebben. 

Als een client 1 miljoen bestanden heeft, is er minimaal 20 MB vereist om de bestandshashes op te slaan voor een enkele back-up (elke hash is 20 bytes). Aangezien de bestandshashes voor verschillende back-ups moeten worden opgeslagen, is er meer nodig, wat betekent dat het zal groeien tot ongeveer 44 MB. Omdat standaard 1/8e van de fysieke 512 MB RAM wordt gebruikt, mag de cache groeien tot een limiet van 64 MB, dus de waarde van 1/8e van de RAM voor de bestandscache is voldoende.

2. Als de client een paar grote bestanden heeft, is de standaardwaarde van 1/16e voor de hashcache waarschijnlijk onvoldoende.  

Als er bijvoorbeeld een database van 200 GB is, moeten maximaal 10 miljoen hashes in de cache worden opgeslagen. Omdat elke hash 20 bytes is, is er minimaal 200 MB vereist voor een enkele back-up.

De volgende beschikbare stap is 384 MB. Als deze client dus 4 GB RAM heeft, moet de hash-cache tot 1/8e van het RAM-geheugen kunnen groeien. Als de standaardwaarde van 1/16e van het RAM-geheugen wordt gebruikt, is de hash-cache beperkt tot 192 MB en wordt de hash-cache ondermaats. In het geval van databases, omdat er maar weinig bestanden worden geback-upt, is de bestandscache aanzienlijk kleiner, zodat het netto geheugengebruik nog steeds ongeveer 1/8e tot 3/16e van het RAM is.

Om dit probleem in een bepaalde omgeving systematischer aan te pakken, kunt u op basis van de avtar Logt hoe groot de bestands- en hash-caches zijn.
Als de gecombineerde grootte van deze caches kleiner moet zijn, dan zijn er manieren om de grootte te beperken.