PowerScale | Förstå strategier för L3-cacheminne och metadata

Förstå L3-cacheminne:

L3-cacheminne: L3-cacheminne är en sekundär cachenivå som finns på SSD-enheter och kompletterar det primära minnescacheminnet (L1 och L2). Den fungerar som en borttagningscache och lagrar data och metadata som används ofta för att förbättra läsfördröjningen. L3-cacheminne är mest fördelaktigt för arbetsflöden som omfattar slumpmässig filåtkomst. Den kan fungera i ett läge med endast metadata för lagringsnoder i arkivserien. Om du aktiverar L3-cache i en nodpool med befintliga data på SSD-enheter måste enheterna evakuera dessa data till hårddiskarna innan SSD-enheterna kan användas för cachelagring. Det går i allmänhet snabbare att inaktivera L3-cachen.

Arbetsflöden som drar nytta av L3-cacheminne: 

• • L3-cacheminne är fördelaktigt för arbetsflöden med följande egenskaper:
  • Slumpmässig filåtkomst: Arbetsbelastningar som omfattar frekventa läsningar av olika, icke-sekventiella delar av filer kan se betydande latensminskningar med L3-cache.
  • Högt läs-till-skriv-förhållande: Eftersom L3-cachen i första hand påskyndar läsningar är arbetsflödet med en dominerande läskomponent mest fördelaktigt.
  • Cachelagring av ofta använda "heta" data: L3-cacheminnet identifierar och lagrar automatiskt data som används ofta, vilket förbättrar prestandan för upprepad åtkomst.
  • Strömning och samtidig filåtkomst (i viss utsträckning): Även om slumpmässig åtkomst ger de största fördelarna, kan arbetsflöden med direktuppspelning och samtidig åtkomst också uppleva vissa prestandaförbättringar med L3-cache.

När ska du välja L3-cache:

• • När den primära flaskhalsen för prestanda är slumpmässig läsfördröjning för både data och metadata.
  • Att utöka den effektiva minneskapaciteten för noder utan att det kostar mer RAM-minne.
  • För arbetsbelastningar som uppvisar en betydande mängd omläsning av data och metadata som nyligen har avlägsnats från L2.
  • För noder i arkivklass, där metadataprestanda för filsystembläddring är avgörande.
  • När du vill ha en enklare prestandaförbättring med "ställ in och glöm" utan betydande konfigurationskostnader.
    När ska du välja metadataacceleration:
  • När metadataåtgärder (sökningar, åtkomst, ändringar) är den primära flaskhalsen i prestanda.
  • För arbetsbelastningar med en stor mängd metadataläsningar (acceleration av metadataläsning) eller både läsningar och skrivningar (acceleration av läsning/skrivning av metadata).
  • I scenarier som seismisk tolkning där snabb åtkomst till metadata är av största vikt, även om underliggande data finns på långsammare lagring.
  • När detaljerad kontroll över var metadata finns krävs.
  • När det är nödvändigt att utöka fördelarna med läsning av metadata till noder utan lokala SSD:er (med GNA med acceleration av metadataläsning på andra noder).
  • Arbetsbelastningar som hemkataloger, arbetsflöden med tung filuppräkning och aktiviteter som kräver många jämförelser uppvisar ofta hög metadataläsningsaktivitet. I sådana fall kan snabbare åtkomst till metadata direkt leda till betydande prestandaförbättringar

Förstå metadatastrategier:

Metadatastrategi: I stället för att cachelagra data kan SSD-enheter konfigureras för att i första hand lagra och accelerera metadataåtgärder. Den här strategin kan vara fördelaktig för arbetsbelastningar med en stor mängd metadataåtkomst, till exempel många små filer, frekventa katalogsökningar och metadataintensiva jobbmotoruppgifter. OneFS stöder olika SSD-strategier för metadata, inklusive läsning av metadata och skrivning av metadata.

Metadata-läsning: SSD:er används främst för att påskynda läsningsåtgärder för metadata.

Metadata-Skriva: SSD:er används för att påskynda skrivåtgärder för metadata. 

• Fördelar med metadatastrategi jämfört med L3-cacheminne:
• Metadataacceleration ger mer riktad och detaljerad kontroll över hur SSD:er används för att förbättra metadataprestanda för specifika datauppsättningar och arbetsflöden. L3-cache, å andra sidan, är ett mer allmänt cachelagringslager som gynnar ett bredare utbud av arbetsbelastningar, särskilt de med upprepad slumpmässig läsåtkomst till både data och metadata. L3-cacheminnet är utmärkt när det gäller att förbättra läsprestanda för data som används ofta, men en dedikerad metadatastrategi kan ge specifika fördelar: 
  • Förbättrade metadataprestanda: För arbetsbelastningar där metadataåtgärder är flaskhalsen (t.ex. öppna, stänga, byta namn på eller lista ett stort antal filer) kan dedikering av SSD:er till metadata avsevärt minska svarstiden och förbättra det övergripande dataflödet.
  • Förbättrad jobbmotorprestanda: Vissa OneFS-jobbmotoruppgifter är metadataintensiva. Snabbare åtkomst till metadata kan leda till snabbare slutförandetider för dessa jobb.
  • Förutsägbar prestanda för metadataintensiva arbetsbelastningar: I miljöer med ett konsekvent mönster med hög metadataaktivitet kan en dedikerad metadatastrategi ge mer förutsägbara och varaktiga prestandaförbättringar jämfört med en borttagningsbaserad cache.
  • Vissa program och arbetsflöden genererar ett oproportionerligt stort antal metadataåtgärder jämfört med faktiska dataläsningar och -skrivningar. Exempel på detta är filarkivering, hantering av medietillgångar, elektronisk designautomatisering (EDA), programvaruutvecklingsmiljöer med frekventa sammanställningar och genomikpipelines som omfattar många små filåtkomster och analyser. I dessa fall kan svarstiden som är associerad med åtkomst till och manipulering av metadata bli en betydande prestandaflaskhals
  • Åtgärder som innebär att navigera i komplexa katalogstrukturer eller lista innehållet i många kataloger är starkt beroende av metadataprestanda. Metadataacceleration säkerställer att systemet snabbt kan komma åt inodinformationen och katalogposterna, vilket avsevärt påskyndar dessa operationer jämfört med att förlita sig på till och med en L3-cache som kan ha avlägsnat denna information på grund av kapacitetsbegränsningar eller mindre frekvent åtkomst
  • Säkerhetskopiering, replikering och migrering: Dessa datahanteringsuppgifter omfattar ofta omfattande metadataskanning och bearbetning. Snabbare metadataåtkomst genom acceleration kan avsevärt minska den tid som krävs för att slutföra dessa jobb, minimera störningar i primära arbetsbelastningar och förbättra driftseffektiviteten.
  • Sökning och indexering: När användare eller automatiserade processer måste söka efter specifika filer baserat på deras metadataattribut (t.ex. namn, storlek, ändringsdatum) möjliggör accelererad metadataåtkomst snabbare frågekörning. Detta är relevant för lösningar som MetadataIQ, som indexerar filsystemmetadata för effektiva frågor och dataidentifiering i flera kluster
• När du ska välja Metadata: 
  • Tung katalogbläddring, fil- eller datasökning, indexering.
  • Filåtgärder som att öppna, stänga, ta bort, skapa kataloger (mkdir).
  • Sök-, getattr- och åtkomståtgärder.
  • Hemkataloger, särskilt de med många objekt.
  • Arbetsflöden som omfattar omfattande uppräkning eller jämförelser.
  • Tolkning av seismiska data, där metadatas aktualitet är avgörande.
  • Metadataacceleration kan ge betydande prestandaförbättringar för dessa typer av aktiviteter, vilket ökar dataflödet och minskar svarstiden

Sammanfattning: När ska du välja?

• • Välj en strategi för metadataacceleration (läsning av metadata eller läsning/skrivning av metadata) om din arbetsbelastning är mycket partisk mot åtgärder som har åtkomst till eller ändrar filmetadata (bläddra, söka, indexera, skapa, ta bort, ändra attribut).
  • Välj Acceleration av metadataläsning om din arbetsbelastning främst är läsintensiv för metadata och du vill använda mindre SSD-kapacitet.
  • Välj Acceleration för läsning/skrivning av metadata om din arbetsbelastning omfattar en betydande mängd metadataskrivningar, kräver snabbare borttagning av ögonblicksbilder eller om en liten fil-HPC-arbetsbelastning som EDA drar nytta av infogade små filer på Flash. Se till att du har tillräckligt med SSD-kapacitet.
  • Överväg GNA om du har ett blandat kluster (noder med och utan SSD-enheter) och måste påskynda metadataläsningar för data som finns på icke-SSD-noder i klustret. Detta är relevant för metadataintensiva arbetsbelastningar som är utspridda.
    • Global namnområdesacceleration (GNA): GNA är en äldre mekanism (avsedd att ersättas av L3-cache när alla noder har SSD:er) som gör att nodpooler utan SSD:er kan använda SSD:er någon annanstans i klustret genom att lagra extra metadataspeglar på dessa SSD:er. Detta påskyndar läsningsåtgärder för metadata för data som lagras i pooler med endast HDD. L3-cacheminne och GNA kan finnas i samma kluster men fungerar vanligtvis i olika nodpooler.
  • Överväg L3-cacheminne om din arbetsbelastning omfattar betydande slumpmässiga läsningar, drar nytta av utökad cachelagring för en stor arbetsuppsättning eller behöver förbättrad jobbmotorprestanda, förutsatt att noderna har SSD:er.

Verktyg och kommandon:

• Prestandaövervakning Använd verktyg som InsightIQ, CloudIQ och MetadataIQ för att övervaka klustrets hälsa, prestandamått och användningsprognoser. InsightIQ kan spåra prestandatrender, identifiera mönster och utföra filanalyser. Det kan också vara till hjälp att uppskatta när ett kluster når maximal kapacitet. CloudIQ ger insikter om klusterprestanda. MetadataIQ underlättar dataindexering och frågor mellan kluster och kan användas för datalivscykelhantering och förståelse av datadistribution.
• Verktyget isi_cache_stats kan hjälpa dig att fastställa storleken på arbetsdatauppsättningen, vilket är relevant för att ändra storlek på SSD-diskar för L2- och L3-cacheminne. En allmän regel föreslår att L2-kapacitet + L3-kapacitet ska vara >= 150 % av arbetsuppsättningens storlek.
• MetadataIQ (OneFS 9.10+): Distribuera och konfigurera MetadataIQ för att indexera och skapa en global katalog med metadata mellan kluster. Använd Kibana-instrumentpanelen för att visualisera datadistribution, filantal och metadataattribut. Detta hjälper dig att förstå sammansättningen av dina data och hur metadata växer. Regelbundna synkroniseringar håller metadatadatabasen uppdaterad
• InsightIQ tillhandahåller rapporter om klusterkapacitet, inklusive total, etablerad och använd kapacitet, så att du kan förutsäga lagringsbehov baserat på historiska trender. Den kan övervaka arbetsbelastningsprestanda, latens, IOPS och dataflöde, så att du kan identifiera potentiella flaskhalsar när data växer. InsightIQ:s File System Analytics-rapporter kan visa filantal och storleksfördelning, vilket ger dig insikt i skalan och sammansättningen av dina data, som direkt relaterar till LIN-antaltillväxt.