Avamar: Varmuuskopioinnin suorituskyky ja teoria

Tämän artikkelin tarkoituksena on kuvata, mitä Avamar-varmuuskopioinnin aikana tapahtuu, ja auttaa lukijaa ymmärtämään varmuuskopioinnin suorituskykyä.

Tämä artikkeli on seuraavien artikkeleiden kumppani:

• Avamar: Varmuuskopioinnin hitauden vianmääritys
• Avamar: Varmuuskopioiden nopea valmistuminen

Mitä Avamar-varmuuskopioinnin aikana tapahtuu?

Avtar-varmuuskopiointiprosessi:

1) Lataa tiedosto- ja hajautusvälimuistitiedostot muistiin

2017-06-09 23:00:25 avtar Info <5586>: Loading cache files from C:\Program Files\avs\var
2017-06-09 23:00:25 avtar Info <8650>: Opening filename cache file 'C:\Program Files\avs\var\f_cache2.dat'
2017-06-09 23:00:25 avtar Info <5573>: - Loaded filename cache file (6,532,792 bytes)
2017-06-09 23:00:26 avtar Info <8650>: Opening hash cache file 'C:\Program Files\avs\var\p_cache.dat'
2017-06-09 23:00:28 avtar Info <5573>: - Loaded hash cache file (402,653,728 bytes)
2017-06-09 23:01:01 avtar Info <6426>: Done loading cache files

2) Luo VSS-tilannevedoksia (Windows):

2017-06-09 23:04:32 avtar Info <19008>: Obtaining available VSS providers
2017-06-09 23:04:32 avtar Info <8776>: Freezing volumes now...
2017-06-09 23:04:32 avtar Info <8780>: Creating the shadow copy set (DoSnapshotSet) ... 
2017-06-09 23:14:33 avtar Info <8781>: Shadow copy set successfully created.
2017-06-09 23:14:34 avtar Info <6074>: VSS snapshot set creation successful

3) Kävelee kaikki tietojoukon määrittämät tiedostot Kaikille lähdetietojoukon
tiedostoille avtar ottaa koko polun ja yhdistää sen tilaston kaltaisiin metatietoihin laskeakseen hajautuksen tiedoston yksilölliseksi tunnistamiseksi.

Lisätietoja on Avamarissa: Mitä tapahtuu, kun avtar lukee tiedoston tiedoston tarkistusvaiheen aikana?

4) Vertaa laskettuja hajautuksia paikallisten asiakasvälimuistien hajautuksiin Avtar etsii tiedoston hajautuksen tiedostovälimuistista

. Se tarkistaa, onko se uusi vai onko sitä muokattu edellisen varmuuskopioinnin jälkeen.

Jos tiedostovälimuistin haku onnistuu, tiedosto on olemassa eikä se muutu.

Jos haku epäonnistuu, tiedosto on uusi tai se on muuttunut. Se on luettava ja käsiteltävä.

Katso lisätietoja kohdasta Avamar client - Mitä on muutettava, ennen kuin avtar katsoo, että tiedostoa on muokattu?

5) Käsittele uusia ja muokattuja tiedostoja

Kaikille uusille tai muokatuille tiedostoille avtarin on:

• Lue koko tiedosto
• Jaa se erikokoisiksi paloiksi
• Pakkaa jokainen pala
• Laske hajautusarvo kullekin palalle

6) Tarkista, löytyykö Avamar-palvelimesta puuttuvia hajautuksia.

Avtar lähettää tiedot puuttuvista hajautuksista verkon kautta Avamar-palvelimelle tarkistaakseen, ovatko ne jo olemassa. Näitä kutsutaan "ispresent"-pyynnöiksi.

7) Tiedot tallennetaan Avamar Serveriin (ja tarvittaessa Data Domainiin). 

Lisätietoja työnkulusta on liitteenä olevassa Avtarprocess.pdf.


Avamar-varmuuskopioinnin yleiskatsaus suorituskyvyn näkökulmasta:

Ottaen yllä olevat vaiheet jaamme ne vaiheisiin, joilla on suurin vaikutus varmuuskopioinnin suorituskykyyn:

Vaihe 0. Luo VSS-tilannevedoksia.

Volume Shadowcopy Service (VSS) luo tilannevedoksia lähdetietojoukossa määritetyistä taltioista. Sovellukset voivat jatkaa kirjoittamista asemaan varmuuskopioinnin aikana.
Avamar varmuuskopioi vain luku -tilannevedoksen taltiosta kirjoitettavan aseman sijasta. Tämä varmistaa, että sillä on yhtenäinen joukko varmuuskopioitavia tietoja.

VSS-tilannevedosten valmistuminen kestää vain muutaman sekunnin. Jos asiakkaassa on VSS-ongelmia, tämä viivästyttää tai estää varmuuskopioinnin jatkamisen.

Vaihe 1. Tiedostojen tarkistusvaihe. Avtar-prosessi tilastoi kaikki kohdetietojoukon

tiedostotAsiakkaille, joilla on miljoonia tiedostoja, tämä vaihe voi olla eniten aikaa vievä
.Tietokantatiedot sisältävät vain vähän suurempia tiedostoja, joten tiedostojen tarkistusvaihe vie vähän aikaa. Tietokanta-asiakkaat kuluttavat tyypillisesti aikaansa vaiheen #2 aikana.

Jos asiakkaalla on pyörivät levyt RAID 5 -kokoonpanossa, tiedostojen tarkistus kestää tavallisesti ~1 miljoona tiedostoa tunnissa. Tämä vaihtelee välillä 300 000 - 3 miljoonaa tunnissa. Se riippuu asiakasympäristöstä ja varmuuskopioitavien tietojen ominaisuuksista.

Versiosta 7.3 alkaen Data Domainiin varmuuskopiointia tekevät Linux-asiakkaat voivat hyödyntää Linux Fast Incremental (LFI) -toimintoja. Näin vältetään koko tietojoukon tarkistaminen joka kerta, kun varmuuskopiointi suoritetaan.

Kriittiset resurssit: sen levyn suorituskyvyn satunnaishaku, jolle varmuuskopiotiedot tallennetaan.

Vaihe 2. Avtar lukee muutetut tiedostot ja sitten paloittelee, pakkaa ja hajauttaa tiedot.

Tässä vaiheessa tapahtuu paljon laskentaa. Jokaisen muokatun tai uuden tiedoston osalta avtar hajottaa sen pieniksi paloiksi. Se pakkaa jokaisen palan ja laskee hashin "sormenjäljeksi" palan tunnistamiseksi.

Tietokannan varmuuskopioissa olevat tiedostot ovat usein suuria ja muuttuvat päivittäin. Avtar viettää suurimman osan ajastaan tässä vaiheessa. Tietokannan tehokas käsittely kannattaa varmistaa virallisilla Avamar-tietokannan laajennuksilla hyödyntäen esimerkiksi inkrementaalista varmuuskopiointitoimintoa ja tapahtumalokeja.

Tyypillinen tiedostojen käsittelyn suorituskyky on noin 100 Gt tunnissa, mutta voi vaihdella jopa 300 Gt tunnissa. Tämä riippuu ympäristöstä.

Kriittiset resurssit: Asiakaslevy ja suoritin

Kun LAN-varmuuskopioinnissa ei ole pullonkauloja tietojen lähettämisessä Avamar-palvelimeen, vaiheet #1 ja #2 vievät eniten aikaa.

Seuraavassa kaaviossa kaavion palkkien pinta-ala vastaa varmuuskopioinnin kestoa. Muutetut tiedostot voivat pidentää huomattavasti tarvittavaa aikaa, varsinkin jos tiedostot ovat suuria.

Tiedostojärjestelmätietojoukkojen osalta odota, että ~0–3 % tiedostoista muuttuu päivittäin.

Avtarin on stat()" jokainen tiedosto, joka muuttuu suorittamalla kaksi I/O-toimintoa, joista toinen tarkistaa tiedoston määritteet ja toinen suojausmääritteet.

Saavuttaakseen vertailuarvon skannausnopeuden, joka on yksi ~ 1 miljoona tiedostoa tunnissa tiedostojärjestelmän varmuuskopioille, avtar vaatii noin kaksi miljoonaa hakutoimintoa tunnissa tai 600 hakutoimintoa sekunnissa.

Esimerkki: Jos varmuuskopion muutosnopeus on 3 %, 97 tiedostoa 100:sta vaatii kaksi levyn hakutoimintoa, jotta voidaan tunnistaa, ovatko ne muuttuneet. Loput kolme, jotka muuttuivat, on skannattava, paloiteltava, pakattava ja hajautettava.

Tämä huomioi vain tiedostojen tarkistusvaiheen eikä muokattujen tiedostojen käsittelyyn tarvittavia I/O-resursseja.
Mitä enemmän tietoja muokatuissa tiedostoissa on, sitä enemmän työtä tarvitaan varmuuskopioinnin suorittamiseen.

Vaihe 3. Avamar-palvelimen

tiivisteiden olemassaolon tarkistaminenVaiheet #1 ja #2 tuottavat hajautuksia, jotka osoittavat varmuuskopion elementteihin. Nämä elementit voivat olla yksilöllisiä tiedostopaloja, tiedostojärjestelmiä tai kokonaisia varmuuskopioita.

Hajautukset kirjoitetaan asiakkaan välimuistitiedostoihin, ja niitä verrataan Avamar-palvelimessa oleviin hajautusarvoihin, jotta voidaan tarkistaa, onko uusia tietoja lisättävä. Näin on riippumatta siitä, onko kohdetallennustila Avamar-palvelin vai Data Domain.

Hajautusvertailut Avamar Client- ja Server-ratkaisujen välillä ovat yleensä nopeita. Niiden ei pitäisi pullonkaulata varmuuskopiointia, jos Avamar-palvelin on;

• Terve
• Normaaleilla kuormitustasoilla
• Sijaitsee samassa LAN-segmentissä asiakkaan kanssa

Koska hajautukset ovat kooltaan vain 20 tavua, tähän vaiheeseen vaikuttaa enemmän verkon viive kuin verkon kaistanleveys. Kun hajautusarvo saapuu Avamar-palvelimelle, datasolmujen levyalijärjestelmän yleinen kuormitus ja satunnaisen haun suorituskyky määrittävät, kuinka nopeasti hajautus noudetaan ja verrataan asiakkaan lähettämään hajautukseen.

Kriittiset resurssit: Verkon vasteaika ja Avamar-datasolmun satunnaishaun suorituskyky.

Fyysisen Avamar-asteikon satunnaishakusuorituskyky datasolmujen lukumäärän ja koon kanssa. AVE-järjestelmät toimivat huonommin, verrattavissa yhteen solmujärjestelmään.

Vaihe 4. Uuden osan lähettäminen verkon kautta Avamar Serveriin tai Data Domainiin

Kun asiakas lähettää palvelimelle uuden, yksilöllisen osan (kooltaan enintään 64 kt), suorituskyky riippuu ensisijaisesti verkon kaistanleveydestä. Tämä vaikuttaa pääasiassa WAN-pohjaisiin asiakkaisiin, jotka tuottavat suuren määrän muuttuneita tietoja päivittäin. Se voi vaikuttaa myös ruuhkaisten verkkoyhteyksien kautta toimiviin. 

Alla on kaavioita, jotka ilmaisevat tietovirran, jossa asiakas lähettää tietoja Avamar-järjestelmään ja integroituun Avamar - Data Domain -järjestelmään.






Kriittiset resurssit: Verkon kaistanleveys asiakkaan ja palvelimen

välilläVaihe 5. Avamar-palvelimeen tai Data Domainiin

kirjoitetut tiedotVarmuuskopiotiedot on tallennettava Avamar-palvelimeen tai Data Domain -järjestelmään.

Kriittiset resurssit: Avamar-palvelimen levykirjoitussuorituskyky ja yleinen lataus.