PowerScale | L3-välimuistin ja metatietostrategioiden ymmärtäminen

L3-välimuistin ymmärtäminen:

L3-välimuisti: L3-välimuisti on SSD-asemilla sijaitseva toissijainen välimuistitaso, joka täydentää ensisijaista muistivälimuistia (L1 ja L2). Se toimii häätövälimuistina, joka tallentaa usein käytettyjä tietoja ja metatietoja lukuviiveen parantamiseksi. L3-välimuisti on hyödyllisin työnkuluissa, joihin liittyy satunnainen tiedostojen käyttö. Se voi toimia vain metatietoja sisältävässä tilassa arkistosarjan tallennussolmuille. L3-välimuistin ottaminen käyttöön solmupoolissa SSD-levyillä olevien tietojen kanssa edellyttää, että asemat evakuoivat tiedot kiintolevyille, ennen kuin SSD-levyjä voidaan käyttää välimuistiin. L3-välimuistin poistaminen käytöstä on yleensä nopeampi toimenpide.

L3-välimuistista hyötyvät työnkulut: 

• • L3-välimuisti on hyödyllinen työnkuluissa, joilla on seuraavat ominaisuudet:
  • Satunnainen tiedostojen käyttö: L3-välimuisti vähentää viivettä merkittävästi, kun työkuormia luetaan usein tiedostojen eri osia, jotka eivät ole peräkkäisiä.
  • Korkea luku-kirjoitussuhde: Koska L3-välimuisti nopeuttaa ensisijaisesti lukemista, työnkulku, jossa on hallitseva lukukomponentti, hyötyy eniten.
  • Usein käytettyjen "kuumien" tietojen tallentaminen välimuistiin: L3-välimuisti tunnistaa ja tallentaa usein käytetyt tiedot automaattisesti, mikä parantaa suorituskykyä toistuvassa käytössä.
  • Suoratoisto ja samanaikainen tiedostojen käyttö (jossain määrin): Vaikka satunnaisesta käytöstä on eniten hyötyä, L3-välimuisti voi myös parantaa suorituskykyä työnkuluissa, joissa käytetään suoratoistoa ja samanaikaista käyttöä.

Milloin L3-välimuisti valitaan:

• • Kun ensisijainen suorituskyvyn pullonkaula on sekä tietojen että metatietojen satunnainen lukuviive.
  • Solmujen tehokkaan muistikapasiteetin laajentaminen ilman RAM-muistin kustannuksia.
  • Työkuormille, joissa L2:sta äskettäin häädetyt tiedot ja metatiedot luetaan uudelleen huomattavan paljon.
  • Arkistoluokan solmut, joissa tiedostojärjestelmän läpikulun metatietojen suorituskyky on kriittinen.
  • Kun halutaan yksinkertaisempi "määritä ja unohda" -lukusuorituskykyä halutaan parantaa ilman merkittäviä määrityskustannuksia.
    Milloin metatietojen kiihdytys kannattaa valita?
  • Kun metatietotoiminnot (haut, käyttö, muokkaukset) ovat ensisijainen suorituskyvyn pullonkaula.
  • Työkuormille, joissa on paljon metatietojen lukumääriä (metatietojen lukukiihdytys) tai sekä luku- että kirjoitusmääriä (metatietojen luku-/kirjoituskiihdytys).
  • Seismisen tulkinnan kaltaisissa skenaarioissa, joissa nopea metatietojen käyttö on ensiarvoisen tärkeää, vaikka taustalla olevat tiedot olisivat hitaammassa tallennuksessa.
  • Kun metatietojen sijaintia on hallittava yksityiskohtaisesti.
  • Kun metatietojen lukuetuja laajennetaan solmuihin, joissa ei ole paikallisia SSD-asemia, tarvitaan (GNA:n käyttäminen metatietojen lukukiihdytyksellä muissa solmuissa).
  • Työmäärissä, kuten kotihakemistoissa, raskaita tiedostoluetteloita sisältävissä työnkuluissa ja useita vertailuja vaativissa toiminnoissa on usein paljon metatietojen lukuaktiivisuutta. Tällaisissa tapauksissa metatietojen suoran käytön nopeuttaminen voi johtaa suorituskyvyn merkittävään paranemiseen

Metatietostrategioiden ymmärtäminen:

Metatietostrategia: Tietojen välimuistiin tallentamisen sijaan SSD-levyt voidaan määrittää ensisijaisesti tallentamaan ja nopeuttamaan metatietotoimintoja. Tästä strategiasta voi olla hyötyä kuormituksissa, joissa on paljon metatietojen käyttöä, kuten monissa pienissä tiedostoissa, toistuvissa hakemistohauissa ja metadataintensiivisissä työmoottoritehtävissä. OneFS tukee erilaisia metatietojen SSD-strategioita, kuten metatietojen lukua ja metatietojen kirjoittamista.

Metatietojen luku: SSD-asemia käytetään ensisijaisesti metatietojen lukutoimintojen nopeuttamiseen.

Metatietojen kirjoittaminen: SSD-levyjä käytetään metatietojen kirjoitustoimintojen nopeuttamiseen. 

• Metatietostrategian edut L3-välimuistiin verrattuna:
• Metatietojen kiihdytys tarjoaa kohdennetumman ja yksityiskohtaisemman hallinnan siitä, miten SSD-levyjä käytetään metatietojen suorituskyvyn parantamiseen tietyille tietojoukoille ja työnkuluille. L3-välimuisti puolestaan on yleisempi välimuistikerros, joka hyödyttää laajempaa työkuormien valikoimaa, erityisesti niitä, joilla on toistuva satunnainen lukuoikeus sekä tietoihin että metatietoihin. Vaikka L3-välimuisti parantaa erinomaisesti usein käytettyjen tietojen lukusuorituskykyä, erityinen metatietostrategia voi tarjota erityisiä etuja: 
  • Parannettu metatietojen suorituskyky: Tehtävissä, joissa metatietotoiminnot muodostavat pullonkaulan (esim. avaaminen, sulkeminen, uudelleennimeäminen tai suurten tiedostomäärien luettelointi), SSD-levyjen varaaminen metatiedoille voi vähentää viivettä merkittävästi ja parantaa kokonaissuoritusnopeutta.
  • Parannettu työmoottorin suorituskyky: Tietyt OneFS-työmoduulin tehtävät edellyttävät metatietoja. Metatietojen käytön nopeuttaminen voi nopeuttaa näiden töiden valmistumista.
  • Ennakoitavaa suorituskykyä runsaasti metatietoja sisältäville kuormituksille: Ympäristöissä, joissa metatietoaktiivisuus on jatkuvasti korkea, erityinen metatietostrategia voi tarjota ennustettavampia ja kestävämpiä suorituskyvyn parannuksia verrattuna häätöpohjaiseen välimuistiin.
  • Tietyt sovellukset ja työnkulut tuottavat suhteettoman suuren määrän metatieto-operaatioita verrattuna todellisiin tietojen luku- ja kirjoitustoimintoihin. Esimerkkejä ovat tiedostojen arkistointi, mediaresurssien hallinta, sähköisen suunnittelun automaatio (EDA), ohjelmistokehitysympäristöt, joissa on usein käännöksiä, ja genomiikkaputket, joihin liittyy lukuisia pieniä tiedostojen käyttöoikeuksia ja analyysejä. Näissä tapauksissa metatietojen käyttöön ja käsittelyyn liittyvästä viiveestä voi muodostua merkittävä suorituskyvyn pullonkaula
  • Toiminnot, joihin liittyy monimutkaisissa hakemistorakenteissa navigointi tai monien hakemistojen sisällön luettelointi, riippuvat suuresti metatietojen suorituskyvystä. Metatietojen kiihdytys varmistaa, että järjestelmä pääsee nopeasti käsiksi inoditietoihin ja hakemistomerkintöihin, mikä nopeuttaa merkittävästi näitä toimintoja verrattuna jopa L3-välimuistiin, joka olisi saattanut häätää nämä tiedot kapasiteettirajoitusten tai harvemman käytön vuoksi
  • Varmuuskopiointi, replikointi ja siirto: Näihin aineistonhallintatehtäviin liittyy usein laajamittaista metadatan skannausta ja käsittelyä. Nopeampi metatietojen käyttö kiihdytyksen avulla voi lyhentää merkittävästi näiden töiden suorittamiseen tarvittavaa aikaa, minimoida ensisijaisten työkuormien häiriöt ja parantaa toiminnan tehokkuutta.
  • Haku ja indeksointi: Kun käyttäjien tai automatisoitujen prosessien on haettava tiettyjä tiedostoja niiden metatietomääritteiden (esim. nimi, koko, muokkauspäivä) perusteella, nopeutettu metatietojen käyttö mahdollistaa kyselyjen nopeamman suorittamisen. Tämä koskee MetadataIQ:n kaltaisia ratkaisuja, sillä se indeksoi tiedostojärjestelmän metatiedot tehokasta kyselyä ja tietojen etsimistä varten useissa klustereissa
• Milloin metatiedot kannattaa valita? 
  • Raskas hakemistojen selaaminen, tiedostojen tai tietojen hakutoiminnot, indeksointi.
  • Tiedostotoiminnot, kuten avaaminen, sulkeminen, poistaminen ja hakemistojen luominen (mkdir).
  • Haku-, getattr- ja access-toiminnot.
  • Kotihakemistot, erityisesti ne, joissa on monia objekteja.
  • Työnkulut, joihin liittyy raskasta luettelointia tai vertailua.
  • Seisminen datan tulkinta, jossa metatietojen ajantasaisuus on kriittistä.
  • Metatietojen kiihdytys voi parantaa merkittävästi tämäntyyppisten toimintojen suorituskykyä, lisätä siirtonopeutta ja vähentää viivettä

Yhteenveto: Milloin valita

• • Valitse metatietojen kiihdytysstrategia (metatietojen luku tai metatietojen luku/kirjoitus), jos kuormituksesi painottuu voimakkaasti toimintoihin, jotka käyttävät tai muokkaavat tiedoston metatietoja (selaaminen, haku, indeksointi, luominen, poistaminen, määritteiden muokkaaminen).
  • Valitse Metatietojen lukukiihdytys , jos kuormituksesi vaatii pääasiassa metatietojen lukutehoa ja haluat käyttää vähemmän SSD-kapasiteettia.
  • Valitse metatietojen luku-/kirjoituskiihdytys , jos työmäärään liittyy huomattava määrä metatietojen kirjoittamista, se edellyttää nopeampia tilannevedosten poistoja tai jos EDA:n kaltainen pienen tiedoston HPC-kuormitus hyötyy upotetuista pienistä flash-tiedostoista. Varmista, että SSD-kapasiteetti on riittävä.
  • Harkitse GNA :ta, jos sinulla on sekaklusteri (solmut SSD-asemien kanssa ja ilman niitä) ja sinun on nopeutettava metatietojen lukemista tiedoille, jotka sijaitsevat muissa kuin SSD-solmuissa klusterissa. Tämä koskee metadataintensiivisiä kuormituksia, jotka on hajautettu.
    • Globaali nimitila Kiihdytys (GNA): GNA on vanhempi mekanismi (joka on tarkoitettu korvattavaksi L3-välimuistilla, kun kaikilla solmuilla on SSD-asema), jonka avulla solmupoolit, joissa ei ole SSD-asemia, voivat hyödyntää SSD-asemia muualla klusterissa tallentamalla ylimääräisiä metatietojen peilausta näihin SSD-levyihin. Tämä nopeuttaa vain kiintolevyllä käytettäviin varantoihin tallennettujen tietojen metatietojen lukutoimintoja. L3-välimuisti ja GNA voivat olla rinnakkain samassa klusterissa, mutta ne toimivat yleensä eri solmuvarannoilla.
  • Harkitse L3-välimuistia , jos työmäärään liittyy merkittäviä satunnaisia lukuja, hyödyt laajennetusta välimuistista suurelle työryhmälle tai tarvitset parempaa Job Engine -suorituskykyä, jos solmuissasi on SSD-asemat.

Työkalut ja komennot:

• suorituskyvyn seurantaa: Käytä InsightIQ:n, CloudIQ:n ja MetadataIQ:n kaltaisia työkaluja klusterin kunnon, suorituskykymittareiden ja käyttöennusteiden valvontaan. InsightIQ voi seurata suorituskykytrendejä, tunnistaa malleja ja suorittaa tiedostoanalytiikkaa. Se voi myös auttaa arvioimaan, milloin klusteri saavuttaa enimmäiskapasiteetin. CloudIQ tarjoaa tietoja klusterin suorituskyvystä. MetadataIQ helpottaa tietojen indeksointia ja kyselyjä klustereiden välillä, ja sitä voidaan käyttää tietojen elinkaaren hallintaan ja tietojen jakelun ymmärtämiseen.
• isi_cache_stats-apuohjelma voi auttaa määrittämään toimivan tietojoukon koon, jolla on merkitystä SSD-levyjen koon määrittämisessä L2- ja L3-välimuistia varten. Yleissääntö ehdottaa, että L2-kapasiteetin + L3-kapasiteetin tulisi olla >= 150% työsarjan koosta.
• MetadataIQ (OneFS 9.10+): Ota käyttöön ja määritä MetadataIQ indeksoimaan ja luomaan maailmanlaajuinen luettelo klustereiden välisistä metatiedoista. Kibana-koontinäytön avulla voit visualisoida tietojen jakelun, tiedostojen määrän ja metatietomääritteet. Tämä auttaa ymmärtämään datan koostumusta ja sitä, miten metadata kasvaa. Säännölliset synkronoinnit pitävät metatietotietokannan ajan tasalla
• InsightIQ tarjoaa raportteja klusterikapasiteetista, mukaan lukien kokonaiskapasiteetista, valmistelusta ja käytetystä kapasiteetista, joten voit ennustaa tallennustarpeita aiempien trendien perusteella. Se voi seurata kuormituksen suorituskykyä, viivettä, IOPS:ia ja siirtonopeutta, joten voit havaita mahdolliset pullonkaulat tietojen kasvaessa. InsightIQ:n File System Analytics -raportit voivat näyttää tiedostojen määrän ja kokojakauman, mikä antaa sinulle käsityksen tietojesi laajuudesta ja koostumuksesta, mikä liittyy suoraan LIN-määrän kasvuun.