Små objekter, stor effekt: Hvordan ObjectScale forbedrer effektiviteten inden for datastorage

Objektstorageydeevne til små filer betyder noget. Og et chunklager er nøglen. Dette er relativt tekniske detaljer på lavt niveau, men det er vigtigt at forstå konceptet og dets fordele, da kritiske AI-datapipelines migreres til all-flash-objektstorage.

Hvor mange små filer taler vi om i nutidens datapipelines? I stor skala er der milliarder af filer. Disse filer kan være metadata, der genereres, når ustrukturerede data behandles til semistrukturerede data til finjustering af en stor sprogmodel (LLM). Eller filerne kan komme fra en Data Lakehouse-arkitektur med enorme mængder åbne databaser.

Dell ObjectScale er objektstorage, der er specialdesignet til virksomheder, der kæmper med kravene til moderne data i AI-æraen. ObjectScale skiller sig ud fra konkurrenterne med hensyn til ydeevne, genoprettelsesmuligheder og holdbarhed for små filer – hvilket forbedrer datastorageeffektiviteten markant. Her er nogle årsager til hvorfor.

Sådan udnytter du chunks

ObjectScale pakker filer i 128 MB chunks. Disse chunks giver systemet store fordele, når det drejer sig om et stort antal små objekter.

Tag f.eks. et system med hundredvis af millioner eller milliarder meget små 10K-metadatafiler. ObjectScale kan lagre mere end 10.000 af disse filer i en enkelt chunk. Den pågældende chunk sletningskodes derefter, og de resulterende småbidder fordeles mellem racks og noder til fejltolerance. Chunken lægges forudsigeligt på disken med et rent storageforbrug på 25 procent (med 10 + 2 sletningskodning).

Stil dette scenarie i kontrast til et system, der ikke bruger chunklager. For sådanne små objekter er individuel sletningskodning en dårlig mulighed (det kan resultere i mere end 600 % løbende omkostninger). Disse systemer falder normalt tilbage på dobbelt eller tredobbelt spejling (200 % eller 300 % løbende omkostninger). Prøv at gange det med hundredvis af millioner eller milliarder.

Hurtigere genopbygning med lavere storageomkostninger

Overvej derefter, hvordan chunking kan bestemme resultater i et fejlscenarie.

På et objektsystem, der ikke er baseret på chunklager, vil fejlen på et 61 TB NVMe-drev betyde, at systemet skal genskabe milliarder af objekt-shards. Vi taler om uger til måneder i genopbygningstid for en enkelt drevfejl. Hvad nu, hvis en hel storagenode med 24 drev gik ned? Genopbygningerne ville være en konstant belastning for systemet.

ObjectScale-chunklageret reducerer det samlede antal shards, der skal genskabes i et fejlscenarie i størrelsesorden (fra milliarder ned til millioner). Genopbygningstiderne på store NVMe-drev kan reduceres fra uger og måneder til blot timer, samtidig med at storageomkostningerne holdes nede. Det er virkelig den eneste administrationsvenlige løsning til stor NVMe-understøttelse.

Maksimering af holdbarheden og frigørelse af CPU-cyklusser

Overvej også virkningen af dataholdbarhed, når du administrerer objektstorage til moderne workloads som AI. For at forhindre beskadigelse af uovervågede data udfører objektstorage proaktiv scanning af objekterne, verificerer kontrolsummer og reparerer fejl.

Hvis hvert enkelt objekt i et system skal kontrolleres, kan et aktivt system nemt komme i en tilstand, hvor disse scanninger aldrig kan fuldføres. Nogle objektsystemer begrænser indtagelseshastigheder, hvis de kommer i en situation, hvor kontrolsumscanninger ikke kan fuldføres.

ObjectScale kontrollerer derimod individuelle objekter direkte, før de placeres i en chunk. Den behøver ikke at verificere det i baggrunden, da kontrolsummer verificeres på segment/stripe-niveau.

Ved at reducere antallet af kontrolsummer, der løbende skal valideres, reducerer ObjectScale den tilknyttede behandlingstid betydeligt. Dette frigør CPU-cyklusser, så storagenoderne kan fokusere på deres primære opgave, nemlig at læse og skrive data.

Opskaler effektiviteten af AI-storage med ObjectScale

Den kraftfulde chunklagermekanisme i Dell ObjectScale håndterer direkte udfordringerne ved at administrere milliarder af små objekter. Faktisk kører nogle af vores kunder ObjectScale-miljøer, der omfatter mere end 100 milliarder objekter i en enkelt bucket. Vi inviterer dig til at kontakte os og få mere at vide om, hvordan ObjectScale giver uovertruffen storageeffektivitet, holdbarhed og robusthed, hvilket gør det til et uundværligt grundlag for højtydende AI- og analyseworkflows.