Små objekt, stor effekt: Så gör ObjectScale din datalagring mer effektiv

Performanța stocării de tip obiect pentru fișiere mici contează. Și magazinul de fragmente este cheia. Acesta este un detaliu de nivel scăzut, relativ tehnic, însă este esențial pentru a înțelege conceptul și beneficiile sale, pe măsură ce fluxurile critice de date IA migrează către stocarea de tip obiect all-flash.

Câte fișiere mici sunt implicate în fluxurile de date actuale? La scară mare, vorbim de miliarde de fișiere. Aceste fișiere pot reprezenta metadate generate atunci când datele nestructurate sunt procesate și transformate în date semistructurate pentru reglaje fine ale modelelor Large Language Model (LLM). De asemenea, fișierele pot proveni dintr-o arhitectură de tip data lakehouse, cu baze de date deschise de tabele la scară masivă.

Dell ObjectScale este o soluție de stocare de tip obiect, proiectată special pentru organizațiile enterprise care se confruntă cu cerințele datelor moderne în era IA. ObjectScale se diferențiază de soluțiile concurente prin performanța superioară pentru fișiere mici, capacitățile avansate de recuperare și durabilitatea ridicată – îmbunătățind semnificativ eficiența stocării datelor. Iată câteva dintre motive.

Valorificarea fragmentelor

ObjectScale grupează fișierele în fragmente de 128 MB. Aceste fragmente oferă sistemului avantaje majore atunci când gestionează volume foarte mari de obiecte mici.

De exemplu, să luăm un sistem cu sute de milioane sau miliarde de fișiere de metadate foarte mici, de aproximativ 10 KB. ObjectScale poate stoca peste 10.000 dintre aceste fișiere într-un singur fragment. Fragmentul este apoi codificat prin erasure encoding, iar părțile rezultate sunt distribuite între rackuri și noduri pentru toleranță la defecte. Fragmentul este plasat predictibil pe disc, cu un supraconsum de stocare net de 25 % (folosind codare cu ștergere 10+2).

Prin comparație, într-un sistem care nu utilizează un magazin de fragmente. Pentru obiecte atât de mici, codarea individuală cu ștergere este o opțiune nepotrivită (poate genera un supraconsum de peste 600 %). Astfel de sisteme recurg, de regulă, la dublă sau triplă replicare (supraconsum de 200 % sau 300 %). Încercați să înmulțiți aceste valori cu sute de milioane sau miliarde de fișiere.

Reconstrucție mai rapidă, cu supraconsum de stocare redus

În continuare, să analizăm modul în care fragmentarea influențează rezultatele într-un scenariu de defect.

Într-un sistem de stocare de tip obiect care nu se bazează pe magazinul de fragmente, defectarea unui disc NVMe de 61 TB ar însemna recrearea a miliarde de fragmente de obiecte. Vorbim de săptămâni sau chiar luni de timp de reconstrucție pentru defectarea unui singur disc. Dacă un întreg nod de stocare, cu 24 de discuri, ar deveni indisponibil?  Procesele de reconstrucție ar reprezenta o povară constantă asupra sistemului.

Magazinul de fragmente ObjectScale reduce, cu ordine de mărime, numărul total de fragmente care trebuie recreate într-un scenariu de defect (de la miliarde la milioane). Timpii de reconstrucție pe discuri NVMe de mare capacitate pot scădea de la săptămâni sau luni la doar câteva ore, menținând în același timp un supraconsum de stocare redus. Aceasta este, în mod real, singura soluție gestionabilă pentru suportul NVMe la scară mare.

Maximizarea durabilității și eliberarea ciclurilor CPU

Este important de luat în considerare și impactul durabilității datelor atunci când se gestionează stocarea de tip obiect pentru sarcini moderne, precum IA. Pentru a preveni coruperea silențioasă a datelor, sistemele de stocare de tip obiect efectuează scanări proactive, verificând fișierele checksum și reparând erorile.

Dacă fiecare obiect individual dintr-un sistem trebuie verificat separat, un sistem activ poate ajunge rapid într-o stare în care aceste scanări nu mai pot fi finalizate. Unele sisteme de stocare limitează vitezele de ingestie atunci când scanările de fișiere checksum nu pot fi duse la capăt.

ObjectScale, în schimb, calculează fișierele checksum pentru obiectele individuale inline, înainte ca acestea să fie incluse într-un fragment. Nu este necesară verificarea lor în fundal, deoarece fișierele checksum sunt validate la nivel de segment/fragment.

Prin reducerea numărului de fișiere checksum care trebuie validate continuu, ObjectScale diminuează semnificativ costul de procesare asociat. Acest lucru eliberează cicluri CPU, permițând nodurilor de stocare să se concentreze pe funcția lor principală: citirea și scrierea datelor.

Creșteți eficiența stocării IA cu ObjectScale

Mecanismul puternic al magazinului de fragmente din Dell ObjectScale abordează direct provocările gestionării a miliarde de obiecte mici. De fapt, unii dintre clienții noștri operează medii ObjectScale care includ peste 100 de miliarde de obiecte într-un singur bucket. Vă invităm să contactați și să aflați mai multe despre modul în care ObjectScale oferă eficiență superioară de stocare, durabilitate și rezistență la erori, ceea ce îl face o bază indispensabilă pentru fluxurile de lucru IA și de analiză de înaltă performanță.