PowerEdge: Skalerbarhed af Dell Ready Solutions til HPC BeeGFS-storage

Indholdsfortegnelse

1. Indledning
2. Grundlæggende konfigurationer
3. BeeGFS Beregning af brugbar plads
4. Skalerbare konfigurationer
5. Karakterisering af ydeevne
6. Konklusion og fremtidigt arbejde
    

Indledning

Denne blog omhandler skalerbarheden af Dell Ready Solutions til HPC BeeGFS Storage , som blev annonceret for nylig. BeeGFS-arkitektur består af fire hovedtjenester, administrationstjenesten, metadatatjenesten, lagringstjenesten og klienttjenesten. Det er muligt at køre enhver kombination af disse fire hovedtjenester, inklusive dem alle, på den samme server, fordi rollerne og hardwaren ikke er tæt integreret i tilfælde af BeeGFS. I en "hyperkonvergeret løsning" kører alle fire tjenester på den samme server. Denne konfiguration anbefales ikke til miljøer, der er kritiske for ydeevnen, da klientprogrammer normalt bruger ressourcer, som kan påvirke ydeevnen af storageservices. Dell-løsningen anvender dedikerede storageservere og en metadata- og storageserver med to formål til at levere en højtydende, skalerbar storageløsning. Det er muligt at skalere systemet ved at tilføje yderligere lagerservere til et eksisterende system. I denne blog præsenterer vi konfigurationer med forskellige antal lagerservere og den ydeevne, der kan forventes med disse konfigurationer.

Grundlæggende konfigurationer

BeeGFS Storage Solution, som er designet til at give et højtydende skrabefilsystem, bruger følgende hardwarekomponenter:

• Administrationsserver
  • R640, Dual Intel Xeon Gold 5218 2,3 GHz, 16 kerner, 96 GB (12 x 8 GB, 2666 MT/s RDIMM'er), 6 x 15k RPM, 300 GB SAS, H740P
• Metadata og storageservere
  • R740xd, 2 x Intel Xeon Platinum 8268 CPU @ 2,90 GHz, 24 kerner, 384 GB (12 x 32 GB 2933 MT/s RDIMM'er)
  • BOSS-kort med 2x 240 GB M.2 SATA SSD er i RAID 1 til operativsystem
  • 24x, Intel 1,6 TB, NVMe, blandet brug Express Flash, 2,5 SFF-drev, software-RAID

Administrationsserveren kører BeeGFS-overvågningstjenesten. Metadataserveren bruger de 12 drev i NUMA 0-zonen til at hoste metadatamålene (MDT'er), mens de resterende 12 drev i NUMA 1-zonen er vært for lagermålene (ST'er). En dedikeret metadataserver bruges ikke, fordi kravene til lagerkapacitet for BeeGFS-metadata er små. Metadata- og lagringsmålene og -tjenesterne isoleres på separate NUMA-noder, så der etableres en betydelig adskillelse af arbejdsbelastninger. De storageservere, der bruges i konfigurationen, har tre lagertjenester, der kører pr. NUMA-zone, seks i alt pr. server. Du kan finde flere oplysninger i meddelelsesbloggen. Figur 1 viser de to basiskonfigurationer, der er testet og valideret på Dell EMC HPC og AI Innovation Lab.

Figur 1: Grundlæggende konfigurationer

Den lille konfiguration består af tre R740xd-servere. Det har 15 lagermål. Den mellemstore konfiguration har 6xR740xd-servere og har 33 storagemål. Brugeren kan starte med en "lille" konfiguration eller med konfigurationen "Medium" og kan tilføje lager- eller metadataservere efter behov for at øge lagerpladsen og den samlede ydeevne eller antallet af filer og metadataydeevnen. Tabel 1 viser ydeevnedataene for basiskonfigurationerne, som er blevet testet og valideret grundigt på Dell HPC og AI Innovation Lab.

Tabel 1: Oplysninger om kapacitet og ydeevne for basiskonfigurationer

BeeGFS Beregning af brugbar plads

Estimeret brugbar plads beregnes i TiB (da de fleste værktøjer viser brugbar plads i binære enheder) ved hjælp af følgende formel:

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

I ovenstående formel er 0,99 den faktor, man når frem til ved konservativt at antage, at der er 1% overhead fra filsystemet. For at nå frem til antallet af drev til storage medfølger 12 drev fra MDS også. Dette skyldes, at de 12 drev i NUMA-zone 0 i MDS bruges til metadata, og de 12 drev i NUMA-zone 1 bruges til lagring. Den sidste faktor i formlen 10^12/2^40 er at konvertere den anvendelige plads fra TB til TiB.

Skalerbare konfigurationer

BeeGFS High-Performance Storage Solution er designet til at være fleksibel, og man kan nemt og problemfrit skalere ydeevne og / eller kapacitet ved at tilføje yderligere servere som vist nedenfor:

Figur 2: Eksempler på skaleret konfiguration 

Metadatadelen af stakken forbliver den samme for alle de konfigurationer, der er beskrevet i denne blog. Dette skyldes, at kravene til lagerkapacitet for BeeGFS-metadata typisk er 0.5% til 1% af den samlede lagerkapacitet. Det afhænger dog virkelig af antallet af mapper og filer i filsystemet. Som hovedregel kan brugeren tilføje en ekstra metadataserver, når procentdelen af metadatakapacitet til lageret falder til under 1%. Tabel 2 viser ydelsesdataene for de forskellige fleksible konfigurationer af BeeGFS-lagerløsningen.

 

Tabel 2: Oplysninger om kapacitet og ydeevne for skalerede konfigurationer

Karakterisering af ydeevne

Ydeevnen for de forskellige konfigurationer blev testet ved at oprette lagerpuljer. Den lille konfiguration har 15 storagemål, og hver ekstra storageserver tilføjer yderligere seks storagemål. Så med henblik på at teste ydeevnen for de forskellige konfigurationer blev der oprettet lagerpuljer fra 15 til 39 lagermål (trin på seks for små, små + 1, små + 2, mellemstore, mellemstore + 1). For hver af disse puljer blev der kørt tre iterationer af IOzone-benchmarket, hver med en til 1024 tråde (i beføjelser på to trin). Den anvendte testmetode er den samme som beskrevet i meddelelsesbloggen . Figur 3 og 4 viser henholdsvis skrive- og læseydeevnen for de skalerbare konfigurationer, med den maksimale ydeevne for hver af konfigurationerne fremhævet for klar reference:


 
Figur 3:  Skriveydeevne for skalerbare konfigurationer.


Figur 4:  Læs ydeevne for skalerbare konfigurationer.

Bemærk:

Den omtalte lagerpulje blev kun oprettet med det eksplicitte formål at karakterisere ydeevnen for forskellige konfigurationer. Mens du foretog præstationsevalueringen af mediekonfigurationen, der er beskrevet i annonceringsbloggen, var alle 33 mål kun i "Standardpuljen". Resultatet af beegfs-ctl --liststoragepools Kommandoen nedenfor viser tildelingen af storagedestinationerne:

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

Konklusion og fremtidigt arbejde

Denne blog diskuterede skalerbarheden af Dell Ready Solutions til HPC BeeGFS Storage og fremhævede ydeevnen for sekventiel læse- og skrivehastighed for forskellige konfigurationer. Hold øje med del 3 af denne blogserie, der vil diskutere yderligere funktioner i BeeGFS og fremhæve brugen af "StorageBench", det indbyggede benchmark for lagermål for BeeGFS. Som en del af de næste trin udgiver vi en hvidbog senere med metadataydeevnen, IOR N-1-ydeevneevaluering og med yderligere detaljer om designovervejelser, justering og konfiguration. 

Referencer

[1] Dell Ready Solutions til HPC BeeGFS-storage:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-dokumentation: 
https://www.beegfs.io/wiki/[3] Sådan forbindes to grænseflader på samme undernet: 
https://access.redhat.com/solutions/30564[4] PCI Express Direct Memory Access Referencedesign ved hjælp af ekstern hukommelse: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760