PowerScale | Inzicht in L3-cache- en metadatastrategieën

Inzicht in L3 Cache:

L3 Cache: L3-cache is een secundair cacheniveau dat zich op SSD's bevindt en de primaire geheugencache (L1 en L2) aanvult. Het werkt als een uitzettingscache en slaat veelgebruikte gegevens en metadata op om de leeslatentie te verbeteren. L3-cache is het voordeligst voor workflows met willekeurige bestandstoegang. Het kan werken in een modus voor alleen metadata voor storageknooppunten uit de archiefserie. Het inschakelen van L3-cache op een knooppuntgroep met bestaande data op SSD's vereist dat de schijven die data evacueren naar HDD's voordat de SSD's kunnen worden gebruikt voor caching. Het uitschakelen van de L3-cache gaat over het algemeen sneller.

Workflows die profiteren van L3 Cache: 

• • L3-cache is handig voor workflows met de volgende kenmerken:
  • Random File Access: Bij workloads waarbij vaak verschillende, niet-opeenvolgende delen van bestanden worden gelezen, kan de latentie aanzienlijk worden verminderd met L3-cache.
  • Hoge lees-schrijfverhouding: Aangezien L3-cache vooral leesbewerkingen versnelt, profiteert de workflow met een dominante leescomponent het meest.
  • Caching van veelgebruikte "hot" data: L3-cache identificeert en bewaart automatisch veelgebruikte data, waardoor de prestaties bij herhaalde toegang worden verbeterd.
  • Streaming en gelijktijdige bestandstoegang (tot op zekere hoogte): Hoewel willekeurige toegang het meeste voordeel biedt, kunnen workflows met streaming en gelijktijdige toegang ook enkele prestatieverbeteringen ervaren met L3-cache.

Wanneer kies je L3 Cache:

• • Wanneer het primaire prestatieknelpunt willekeurige leeslatentie is voor zowel data als metadata.
  • Om de effectieve geheugencapaciteit van knooppunten uit te breiden zonder de kosten van meer RAM te veroorzaken.
  • Voor workloads die een aanzienlijke hoeveelheid herlezing van data en metadata vertonen die onlangs uit L2 zijn verwijderd.
  • Voor knooppunten van archiefklasse, waar metadataprestaties voor bestandssysteemverplaatsing van cruciaal belang zijn.
  • Wanneer een eenvoudigere, "instellen en vergeten" leesprestatieverbetering gewenst is zonder aanzienlijke configuratieoverhead.
    Wanneer kiest u voor metadataversnelling:
  • Wanneer metadatabewerkingen (opzoeken, toegang, wijzigingen) het belangrijkste knelpunt in de prestaties zijn.
  • Voor workloads met een hoog volume aan metadataleesbewerkingen (leesversnelling van metadata) of zowel lees- als schrijfbewerkingen (lees-/schrijfversnelling van metadata).
  • In scenario's zoals seismische interpretatie waarbij snelle toegang tot metadata van het grootste belang is, zelfs als de onderliggende data zich op tragere storage bevinden.
  • Wanneer granulaire controle over waar metadata zich bevinden vereist is.
  • Wanneer het uitbreiden van metadataleesvoordelen naar knooppunten zonder lokale SSD's noodzakelijk is (met behulp van GNA met metadataleesversnelling op andere knooppunten).
  • Workloads zoals home directory's, workflows met zware bestandsopsomming en activiteiten die talloze vergelijkingen vereisen, vertonen vaak een hoge leesactiviteit van metadata. In dergelijke gevallen kan het direct versnellen van de toegang tot metadata leiden tot een aanzienlijke prestatieverbetering

Metadatastrategieën begrijpen:

Metadatastrategie: In plaats van data in de cache op te slaan, kunnen SSD's worden geconfigureerd om voornamelijk metadata op te slaan en te versnellen. Deze strategie kan nuttig zijn voor workloads met een hoog volume aan metadatatoegang, zoals veel kleine bestanden, het vaak opzoeken van directory's en metadata-intensieve taken voor de engine van metadata. OneFS ondersteunt verschillende strategieën voor metadata-SSD's, waaronder metadata-lezen en metadata-schrijven.

Metadata-lezen: SSD's worden voornamelijk gebruikt om het lezen van metadata te versnellen.

Metadata-Write: SSD's worden gebruikt om schrijfbewerkingen voor metadata te versnellen. 

• Voordelen van metadatastrategie ten opzichte van L3-cache:
• Metadataversnelling biedt meer gerichte en granulaire controle over hoe SSD's worden gebruikt om de metadataprestaties voor specifieke datasets en workflows te verbeteren. L3-cache daarentegen is een algemenere cachinglaag die een breder scala aan workloads ten goede komt, met name die met herhaalde willekeurige leestoegang tot zowel data als metadata. Hoewel L3-cache uitblinkt in het verbeteren van de leesprestaties voor veelgebruikte data, kan een speciale metadatastrategie specifieke voordelen bieden: 
  • Verbeterde prestaties van metadata: Voor workloads waar metadatabewerkingen de bottleneck zijn (bijv. openen, sluiten, hernoemen, weergeven van grote aantallen bestanden), kan het toewijzen van SSD's aan metadata de latentie aanzienlijk verminderen en de algehele doorvoer verbeteren.
  • Verbeterde Job Engine Performance: Bepaalde taken van de OneFS Job Engine zijn metadata-intensief. Het versnellen van de toegang tot metadata kan leiden tot snellere voltooiingstijden voor deze taken.
  • Voorspelbare prestaties voor workloads met veel metadata: In omgevingen met een consistent patroon van hoge metadata-activiteit kan een speciale metadatastrategie meer voorspelbare en duurzame prestatieverbeteringen bieden in vergelijking met een cache op basis van ontruiming.
  • Bepaalde applicaties en workflows genereren een onevenredig groot aantal metadatabewerkingen in vergelijking met het daadwerkelijk lezen en schrijven van data. Voorbeelden hiervan zijn bestandsarchivering, media asset management, elektronische ontwerpautomatisering (EDA), softwareontwikkelingsomgevingen met frequente compilaties en genomics-pijplijnen die talloze kleine bestandstoegangen en -analyses met zich meebrengen. In deze gevallen kan de latentie die gepaard gaat met het openen en manipuleren van metadata een aanzienlijk prestatieknelpunt worden
  • Bewerkingen die betrekking hebben op het navigeren door complexe mapstructuren of het weergeven van de inhoud van veel directory's zijn sterk afhankelijk van de prestaties van metadata. Metadataversnelling zorgt ervoor dat het systeem snel toegang heeft tot de inode-informatie en directory-items, waardoor deze bewerkingen aanzienlijk worden versneld in vergelijking met zelfs een L3-cache die deze informatie mogelijk heeft verwijderd vanwege capaciteitsbeperkingen of minder frequente toegang
  • Back-up, replicatie en migratie: Deze taken op het gebied van gegevensbeheer omvatten vaak het uitgebreid scannen en verwerken van metadata. Snellere toegang tot metadata door versnelling kan de tijd die nodig is om deze taken te voltooien aanzienlijk verkorten, waardoor verstoring van primaire workloads tot een minimum wordt beperkt en de operationele efficiëntie wordt verbeterd.
  • Zoeken en indexeren: Wanneer gebruikers of geautomatiseerde processen naar specifieke bestanden moeten zoeken op basis van hun metadatakenmerken (bijv. naam, grootte, wijzigingsdatum), zorgt versnelde toegang tot metadata ervoor dat query's sneller kunnen worden uitgevoerd. Dit is relevant voor oplossingen zoals MetadataIQ, waarmee metadata van het bestandssysteem worden geïndexeerd voor efficiënte query's en datadetectie in meerdere clusters
• Wanneer kies je Metadata: 
  • Intensief bladeren door mappen, zoeken naar bestanden of data, indexeren.
  • Bestandsbewerkingen zoals openen, sluiten, verwijderen, mappen maken (mkdir).
  • Lookup-, getattr- en toegangsbewerkingen.
  • Home directory's, vooral die met veel objecten.
  • Workflows met zware opsommingen of vergelijkingen.
  • Interpretatie van seismische data, waarbij de tijdigheid van metadata van cruciaal belang is.
  • Metadataversnelling kan aanzienlijke prestatieverbeteringen opleveren voor dit soort activiteiten, waardoor de doorvoersnelheid toeneemt en de latentie afneemt

Samenvatting: Wanneer te kiezen

• • Kies een strategie voor het versnellen van metadata (metadata lezen of metadata lezen/schrijven) als uw workload sterk gericht is op bewerkingen die bestandsmetadata openen of wijzigen (browsen, zoeken, indexeren, maken, verwijderen, kenmerken wijzigen).
  • Kies voor Metadata Read Acceleration als uw workload voornamelijk metadata leesintensief is en u minder SSD-capaciteit wilt gebruiken.
  • Kies voor lees-/schrijfversnelling voor metadata als uw workload een aanzienlijke hoeveelheid schrijfbewerkingen van metadata omvat, snellere snapshotverwijderingen vereist of een HPC-workload voor kleine bestanden zoals EDA profiteert van inline kleine bestanden op flash. Zorg ervoor dat u voldoende SSD-capaciteit hebt.
  • Overweeg GNA als u een gemengd cluster hebt (knooppunten met en zonder SSD's) en het lezen van metadata moet versnellen voor data die zich op niet-SSD-knooppunten in het cluster bevinden. Dit is relevant voor metadata-intensieve workloads die verspreid zijn.
    • Global namespace Acceleration (GNA): GNA is een ouder mechanisme (bedoeld om te worden vervangen door L3-cache wanneer alle knooppunten SSD's hebben) waarmee knooppuntgroepen zonder SSD's gebruik kunnen maken van SSD's elders in het cluster door extra metadatamirrors op die SSD's op te slaan. Dit versnelt het lezen van metagegevens voor data die zijn opgeslagen in HDD-only pools. L3-cache en GNA kunnen naast elkaar bestaan in hetzelfde cluster, maar werken meestal op verschillende knooppuntgroepen.
  • Overweeg L3 Cache als uw workload veel willekeurige leesbewerkingen omvat, baat heeft bij uitgebreide caching voor een grote werkset of betere Job Engine-prestaties nodig heeft, mits uw knooppunten SSD's hebben.

Tools en opdrachten:

• Prestatiecontrole: Gebruik tools zoals InsightIQ, CloudIQ en MetadataIQ voor het bewaken van de clusterstatus, prestatiestatistieken en gebruiksprognoses. InsightIQ kan prestatietrends volgen, patronen identificeren en bestandsanalyses uitvoeren. Het kan ook helpen in te schatten wanneer een cluster de maximale capaciteit bereikt. CloudIQ biedt inzicht in clusterprestaties. MetadataIQ vergemakkelijkt het indexeren en opvragen van data in clusters en kan worden gebruikt voor datalevenscyclusbeheer en inzicht in datadistributie.
• Het hulpprogramma isi_cache_stats kan helpen bij het bepalen van de grootte van de werkende dataset, wat relevant is voor het bepalen van de grootte van SSD's voor L2- en L3-cache. Een algemene regel suggereert dat L2 capaciteit + L3 capaciteit = 150% van de grootte van de werkset moet zijn >.
• MetadataIQ (OneFS 9.10+): MetadataIQ implementeren en configureren om een globale catalogus van metadata in clusters te indexeren en te maken. Gebruik het Kibana-dashboard om gegevensdistributie, bestandstellingen en metadatakenmerken te visualiseren. Dit helpt inzicht te krijgen in de samenstelling van uw data en hoe metadata groeien. Periodieke synchronisaties zorgen ervoor dat de metadatadatabase up-to-date blijft
• InsightIQ biedt rapporten over clustercapaciteit, inclusief totale, ingerichte en gebruikte capaciteit, zodat u storagebehoeften kunt voorspellen op basis van historische trends. Het kan workloadprestaties, latentie, IOPS en doorvoer bewaken, zodat u potentiële knelpunten kunt detecteren naarmate de data toenemen. De File System Analytics-rapporten van InsightIQ kunnen het aantal bestanden en de verdeling van de grootte weergeven, waardoor u inzicht krijgt in de schaal en samenstelling van uw gegevens, wat rechtstreeks verband houdt met de groei van het aantal LIN's.