Små objekter, stor påvirkning: Slik forbedrer ObjectScale effektiviteten i datalagring

Når det gjelder objektlagring for små filer, er ytelse viktig. Og her er blokklagring nøkkelen. Dette er ganske tekniske detaljer på lavt nivå, men det er viktig å forstå konseptet og fordelene ved å migrere kritiske KI-dataforløp til all-flash-objektlagring. 

Hvor mange små filer snakker vi om i dagens dataforløp? I stor skala er det milliarder av filer. Disse filene kan være metadata som genereres når ustrukturerte data blir omgjort til halvstrukturerte data for finjustering av store språkmodeller (LLM). Eller filene kan komme fra en data lakehouse-arkitektur med massive åpne tabelldatabaser. 

Dell ObjectScale er objektlagring som er spesialutviklet for virksomheter som sliter med kravene til moderne data i KI-tidsalderen. ObjectScale skiller seg fra konkurrentene når det gjelder ytelse i små filer, gjenoppretting og holdbarhet – det forbedrer effektiviteten i datalagringen betydelig. Her er noen grunner til hvorfor. 

Dra nytte av blokker 

ObjectScale pakker filer i 128 MB-blokker. Disse blokkene gir systemet store fordeler når det håndterer store mengder små objekter. 

Ta for eksempel et system med flere hundre millioner eller milliarder av svært små 10K-metadatafiler. ObjectScale kan lagre over 10 000 av disse filene i en enkelt blokk. Den blokken blir deretter slettingskodet, og de resulterende deldataene fordeles mellom rack og noder for feiltoleranse. Blokken legges forutsigbart på disken med en total lagringsbelastning på 25 prosent (med 10 + 2 slettekoding). 

Sammenlign dette scenarioet med et system som ikke bruker blokklagring. For så små objekter er individuell slettekoding et dårlig alternativ (det kan føre til over 600 % belastning). Disse systemene bruker vanligvis dobbel eller trippel speiling (200 % eller 300 % belastning). Prøv å multiplisere det med flere hundre millioner eller milliarder. 

Raskere gjenoppbygging med lavere lagringsbelastning 

Videre kan du vurdere hvordan blokklagring kan påvirke utfallet i et feilscenario. 

På et objektsystem som ikke er basert på blokker, vil feilen på en 61 TB NVMe-disk bety at systemet må opprette milliarder av objektdelfiler på nytt. Vi snakker om uker eller måneder med gjenoppbyggingstid for én enkelt diskfeil. Hva om en hel lagringsnode med 24 disker går ned? Ombyggingene kommer til å være en konstant belastning for systemet. 

ObjectScale-blokklageret reduserer det totale antallet delfiler som må opprettes på nytt i et feilscenario med størrelsesordener (fra milliarder ned til millioner). Gjenoppbyggingstiden på store NVMe-disker kan reduseres fra uker og måneder til bare timer, samtidig som lagringsbelastningen er lav. Det er egentlig den eneste håndterbare løsningen for stor NVMe-støtte. 

Maksimere holdbarheten og frigjøre CPU-sykluser 

Vurder også betydningen av dataholdbarhet når du administrerer objektlagring for moderne workloader som KI. Objektlagring skanner objektene proaktivt for å forhindre at data blir ødelagt uten at det oppdages, og kontrollerer kontrollsummer og reparerer feil. 

Hvis hvert enkelt objekt i et system må kontrolleres, kan et aktivt system lett komme inn i en tilstand der skanningene aldri kan fullføres. Noen objektsystemer begrenser innlesingshastigheter hvis de kommer i en situasjon der skanning av kontrollsummer ikke kan fullføres. 

ObjectScale derimot lager kontrollsummer i individuelle objekter direkte før de legges inn i en blokk. Det er ikke nødvendig å verifisere dette i bakgrunnen, fordi kontrollsummene er bekreftet på segment-/stripenivå. 

Ved å redusere antall kontrollsummer som må valideres kontinuerlig, reduserer ObjectScale den tilhørende behandlingsbelastningen betydelig. Dette frigjør CPU-sykluser, slik at lagringsnodene kan gjøre hovedjobben sin, lese og skrive data. 

Skaler opp effektiviteten til KI-lagring med ObjectScale 

Den kraftige blokklagringsmekanismen til Dell ObjectScale håndterer utfordringene med å administrere milliarder av små objekter. Noen av kundene våre har faktisk ObjectScale-miljøer som inneholder over 100 milliarder objekter i én enkelt enhet. Ta gjerne kontakt for å finne ut mer om hvordan ObjectScale tilbyr overlegen lagringseffektivitet, holdbarhet og fleksibilitet, noe som gjør det til et uunnværlig grunnlag for KI-workloader og analyseworkloader med høy ytelse.