Article Number: 000128808
Denne bloggen drøfter de viktigste funksjonene til Dell EMC Ready Solutions for HPC BeeGFS Storage , som nylig ble annonsert. Dette er den tredje bloggen i serien om BeeGFS-lagringsløsningen med høy ytelse. Den første bloggen annonserte utgivelsen av løsningen. Den andre bloggen drøftet skalerbarheten til Dell EMC Ready Solutions for HPC BeeGFS Storage. Den ga informasjon om grunnkonfigurasjonene, de fleksible skalerbare konfigurasjonene og den faktiske målte sekvensielle lese-/skriveytelsen til de ulike konfigurasjonene som viser at skalerbarhet er lineær med hensyn til antall servere i løsningen. Den gjeldende bloggen vil fremheve bruken av "StorageBench", den innebygde lagringsmål-ytelsestesten for BeeGFS.
BeeGFS er et filsystem med åpen kildekode som kan lastes ned fra www.beegfs.io. Det er et parallelt filsystem som distribuerer data på tvers av flere lagringsmål. Det er en programvaredefinert lagring som kobler det logiske filsystemet fra den underliggende lagringsmaskinvaren, slik at brukeren kan definere hvordan og hvor dataene er lagret. Filsystemprogramvaren inkluderer virksomhetsfunksjoner som høy tilgjengelighet, kvotehåndhevelse og tilgangskontrollister. Nøkkelfunksjonene til BeeGFS er brukervennlighet, skalerbarhet og fleksibilitet. Brukervennligheten stammer fra det faktum at alle serverkomponentene på serversiden er daemoner for brukerplass, mens klienten er en kjernemodul som ikke krever noen korrigeringsfilene til kjernen selv. Alle BeeGFS-komponenter kan installeres og oppdateres uten å starte serveren på nytt. Slik at vi kan legge til klienter og servere i det eksisterende systemet uten nedetid. Ved å legge til servere og stasjoner kan ytelsen og kapasiteten til filsystemet skaleres mer i bloggen som er koblet til her. BeeGFS støtter flere Linux-distribusjoner, og er utformet for å fungere med alle POSIX-kompatible lokale filsystem. BeeGFS støtter også kjøring av flere forekomster av en gitt tjeneste på samme server.
Dell EMC Ready Solutions for HPC BeeGFS Storage utnytter alle nøkkelfunksjonene til BeeGFS-filsystemet og er utviklet for høy ytelse. Løsningen bruker PowerEdge R740xd-servere til å lagre og betjene metadata og data. Hver PowerEdge R740xd-server har 24 x 1,6 TB Intel P4600 NVMe SSD-er som regnes som det andre store hoppet i stasjonsteknologi, og SSD-diskene er de første. I HPC-miljøer kan ripeplassen ofte være en begrensende faktor. Den kan være for liten eller for treg. Dell EMC Ready Solutions for HPC BeeGFS Storage er utformet for å brukes som en skrapeløsning og betjener ripelagringen ved hjelp av BeeGFS-filsystemet.
BeeGFS inkluderer to innebygde ytelsestestingsverktøy som kan bidra til å kjennetegne eller evaluere henholdsvis nettverks- eller lagringsnett- og lagringsbenken . Når NetBench-modus er aktivert, forkaster serverne mottatte skriveforespørsler i stedet for å skrive dataene. Når det gjelder leseforespørsler i stedet for å lese fra det underliggende filsystemet, blir bare minnebufferne sendt til klientene. NetBench-modus er beregnet for testing av nettverksstrømming uavhengig av de underliggende diskene. På den annen side er StorageBench ment å måle gjennomstrømmingsgjennomstrømmingen til det underliggende filsystemet uavhengig av nettverksytelsen. StorageBench er en ytelsesmålstest for lagring som ikke bruker nettverket. Kommandoen på lagringsbenken sender ganske enkelt forespørselen til lagringsmålene for å begynne å skrive/lese data. Ved å gjøre dette eliminerer vi påvirkningen av nettverket. Utdataene vi får fra lagringsbenken er den beste ytelsen som systemet kan oppnå hvis nettverksytelsen er ideell. Denne bloggen illustrerer hvordan StorageBench kan brukes til å sammenligne ytelsen til ulike lagringsmål og dermed identifisere defekte eller feilkonfigurerte mål.
StorageBench bruker ikke det monterte filsystemet. Når vi kjører StorageBench, er det bare ett mål per fil. Storagebench oppretter en katalog på hvert lagringsmål på systemet der testfiler opprettes tilsvarende antall testtråder. Data strømmes direkte til dette for å vise lav nivågjennomstrømming som er tilgjengelig for hvert lagringsmål. Uten nettverkskommunikasjon kan ikke filstrimming simuleres. Dermed er resultatene for lagringstesting ganske sammenlignbare med klient-I/O med striping deaktivert. Når faktiske ytelsestestingstesting kjøres, blir filen stripet over fire lagringsmål hvis standard stripingmønster blir tatt i bruk.
Med det formål å teste ulike lagringsmål ble de små og mellomstore konfigurasjonene som er beskrevet i bloggen om skalerbarheten til Dell EMC BeeGFS Storage Solution, brukt. Begge konfigurasjonene har samme antall metadatamål konfigurert i RAID 1. De varierer i RAID-konfigurasjonen av lagringsmålene. Selv om det lille oppsettet har lagring, er mål konfigurert i RAID 0 av 6 stasjoner, men mediekonfigurasjonen har lagringsmålene konfigurert i RAID 10 av 6 disker. Lagringsmålene som er konfigurert i små og mellomstore oppsett, er tabulerte nedenfor:
| Tabell 1 Testbed Configuration (Testbed-konfigurasjon) | ||
|---|---|---|
| Konfigurasjon | Middels – RAID 10 for lagringsmål | Liten – RAID 0 for lagringsmål |
| Antall mål for metadata | 6 | 6 |
| Antall forekomster av metadatatjenesten | 6 | 6 |
| Antall lagringsservere | 5 | 2 |
| Antall lagringsmål | 22 | 10 |
| Antall lagringstjenester per server | 4 | 4 |
| Antall lagringstjenester per NUMA-sone | 2 | 2 |
| Antall mål per forekomst av lagringstjenesten | 2 | 2 |
Merk: Konfigurasjonen ovenfor av medieoppsettet er bare for det formål å teste gjennomstrømmingen av lagringsmål konfigurert i forskjellige RAID-konfigurasjoner ved hjelp av StorageBench-verktøyet.
Lagringstesten startes og overvåkes med beegfs-ctl-verktøyet. Beegfs-utils-pakken gir kommandolinjeverktøyet beegfs-ctl som kan brukes til å kjøre ytelsestest for lagringsmål. Følgende eksempel starter en ytelsestest for skriving på alle mål for alle BeeGFS-lagringsservere med en IO-blokkstørrelse på 512 KB, som bruker 16 tråder per mål, og hver av dem vil skrive 200 Gb data til sin egen fil.
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Du kan spørre etter statusen med --status-argument for beegfs-ctl.
Serverteststatus:
Kjører: 10
Meldingen «Running: 10" utdata indikerer at totalt 10 lagringsmål er konfigurert i systemet.
Hvis du vil spørre etter ytelsesteststatus/-resultater for alle mål, kan følgende kommando utføres:
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Server benchmark status:
Ferdig: 10
Resultater for ytelsestest for skriving:
min. gjennomstrømming: 4692435 KiB/s nodeID: stor1-numa0-2 [ID: 6], mål-ID: Maks. 50
gjennomstrømming: 5368537 KiB/s nodeID: meta-stor-numa1-2 [ID: 2], mål-ID: 48
gjennomsnittlig gjennomstrømning: 4907091 KiB/s
aggregert gjennomstrømning: 49070915 KiB/s
Hvis du legger detaljert til kommandoen ovenfor, vises listen over alle mål og deres respektive gjennomstrømming.
[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 10
Resultater for ytelsestest for skriving:
min. gjennomstrømming: 4692435 KiB/s nodeID: stor1-numa0-2 [ID: 6], mål-ID:
Maks. seks gjennomstrømminger: 5368537 KiB/s nodeID: meta-stor-numa1-2 [ID: 2], mål-ID: 2
Avg-gjennomstrømming: 4907091 KiB/s
aggregert gjennomstrømning: 49070915 KiB/s-liste
over alle mål:
1 5368477 KiB/s nodeID: meta-stor-numa1-1 [ID: 1]
2 5368537 KiB/s nodeID: meta-stor-numa1-2 [ID: 2]
3 4706368 KiB/s nodeID: stor1-numa0-1 [ID: 3]
4 4896077 KiB/s nodeID: stor1-numa1-1 [ID: 4]
5 4872876 KiB/s nodeID: stor1-numa1-2 [ID: 5]
6 4692435 KiB/s nodeID: stor1-numa0-2 [ID: 6]
7 4879054 KiB/s nodeID: stor2-numa1-2 [ID: 7]
8 4864737 KiB/s nodeID: stor2-numa1-1 [ID: 8]
9 4696152 KiB/s nodeID: stor2-numa0-1 [ID: 9]
10 4726202 KiB/s nodeID: stor2-numa0-2 [ID: 10]
Gjennomsnittlig gjennomstrømning per lagringsmål som er konfigurert i RAID 0, er 5,02 GB/s.
Følgende eksempel starter en ytelsestest for skriving på alle mål for alle BeeGFS-lagringsservere med en IO-blokkstørrelse på 512 KB, som bruker 16 tråder per mål, og hver av dem vil skrive 200 Gb data til sin egen fil.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Du kan spørre etter statusen med --status-argument for beegfs-ctl.
Serverteststatus:
Kjører: 22
Hvis du legger detaljert til kommandoen ovenfor, vises listen over alle mål og deres respektive gjennomstrømming.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 22
Resultater for ytelsestest for skriving:
min. gjennomstrømming: 2705987 KiB/s nodeID: node006-numa0-1 [ID: 19], mål-ID: 1
maks. gjennomstrømning: 3364311 KiB/s nodeID: node001-numa1-1 [ID: 1], mål-ID: 1
gjennomsnittlig gjennomstrømning: 3212845 kib/s
aggregert gjennomstrømning: 70682603 KiB/sListe over alle mål:
1 3364311 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 3361591 KiB/s nodeID: node001-numa1-2 [ID: 2]
3 3309530 KiB/s nodeID: node002-numa0-1 [ID: 3]
4 3312840 KiB/s nodeID: node002-numa0-2 [ID: 4]
5 3332095 KiB/s nodeID: node002-numa1-1 [ID: 5]
6 3323319 KiB/s nodeID: node002-numa1-2 [ID: 6]
7 3313000 KiB/s nodeID: node003-numa0-1 [ID: 7]
8 3321214 KiB/s nodeID: node003-numa0-2 [ID: 8]
9 3335072 KiB/s nodeID: node003-numa1-1 [ID: 9]
10 3339743 KiB/s nodeID: node003-numa1-2 [ID: 10]
11 3302175 KiB/s nodeID: node004-numa0-1 [ID: 11]
12 3309474 KiB/s nodeID: node004-numa0-2 [ID: 12]
13 3329879 KiB/s nodeID: node004-numa1-1 [ID: 13]
14 3328291 KiB/s nodeID: node004-numa1-2 [ID: 14]
15 3306132 KiB/s nodeID: node005-numa0-1 [ID: 15]
16 3307096 KiB/s nodeID: node005-numa0-2 [ID: 16]
17 3318436 KiB/s nodeID: node005-numa1-1 [ID: 17]
18 3329684 KiB/s nodeID: node005-numa1-2 [ID: 18]
19 2705987 KiB/s nodeID: node006-numa0-1 [ID: 19]
20 2716438 KiB/s nodeID: node006-numa0-2 [ID: 20]
21 2707970 KiB/s nodeID: node006-numa1-1 [ID: 21]
22 2708326 KiB/s nodeID: node006-numa1-2 [ID: 22]
Gjennomsnittlig gjennomstrømning per lagringsmål er 3,29 GB/s.
Fra utdataene fra Benchmark-testene for StorageBench utført på to forskjellige BeeGFS-oppsett, én med lagringsmål konfigurert i RAID 0 og en annen med lagringsmål konfigurert i RAID 10, er det tydelig at skriveytelsen er bedre med lagringsmålene konfigurert i RAID 0 i stedet for i RAID 10. Når dd-kommandoen ble brukt til å skrive en 10G-fil med 1M blokkstørrelse og "oflag=direct", var gjennomsnittlig ca. 5,1 GB/s for det lille systemet som er konfigurert i RAID 0, mens gjennomsnittlig gjennomstrømning var ca. 3,4 GB/s for mediesystemet som er konfigurert i RAID 10, noe som er sammenlignbart med resultatene som ble innhentet ved hjelp av storagebench-verktøyet.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 33
Leseresultater:
Min gjennomstrømning: 2830479 KiB/s nodeID: node003-numa1-2 [ID: 14], mål-ID: Maks. gjennomstrømning for 14
: 3025500 KiB/s nodeID: node005-numa0-1 [ID: 22], mål-ID: 22
Avg-gjennomstrømning: 2917836 KiB/s
aggregert gjennomstrømning: 96288596 KiB/s
Liste over alle mål:
1 2950039 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 2956121 KiB/s nodeID: node001-numa1-2 [ID: 2]
3 2954473 KiB/s nodeID: node001-numa1-3 [ID: 3]
4 2957658 KiB/s nodeID: node002-numa0-1 [ID: 4]
5 2947109 KiB/s nodeID: node002-numa0-2 [ID: 5]
6 2969886 KiB/s nodeID: node002-numa0-3 [ID: 6]
7 2892578 KiB/s nodeID: node002-numa1-1 [ID: 7]
8 2886899 KiB/s nodeID: node002-numa1-2 [ID: 8]
9 2888972 KiB/s nodeID: node002-numa1-3 [ID: 9]
10 2861995 KiB/s nodeID: node003-numa0-1 [ID: 10]
11 2874314 KiB/s nodeID: node003-numa0-2 [ID: 11]
12 2879096 KiB/s nodeID: node003-numa0-3 [ID: 12]
13 2832635 KiB/s nodeID: node003-numa1-1 [ID: 13]
14 2830479 KiB/s nodeID: node003-numa1-2 [ID: 14]
15 2830971 KiB/s nodeID: node003-numa1-3 [ID: 15]
16 2986890 KiB/s nodeID: node004-numa0-1 [ID: 16]
17 2979197 KiB/s nodeID: node004-numa0-2 [ID: 17]
18 2983958 KiB/s nodeID: node004-numa0-3 [ID: 18]
19 2897974 KiB/s nodeID: node004-numa1-1 [ID: 19]
20 2900880 KiB/s nodeID: node004-numa1-2 [ID: 20]
21 2904036 KiB/s nodeID: node004-numa1-3 [ID: 21]
22 3025500 KiB/s nodeID: node005-numa0-1 [ID: 22]
23 3021558 KiB/s nodeID: node005-numa0-2 [ID: 23]
24 3017387 KiB/s nodeID: node005-numa0-3 [ID: 24]
25 2921480 KiB/s nodeID: node005-numa1-1 [ID: 25]
26 2930226 KiB/s nodeID: node005-numa1-2 [ID: 26]
27 2930548 KiB/s nodeID: node005-numa1-3 [ID: 27]
28 2900018 KiB/s nodeID: node006-numa0-1 [ID: 28]
29 2898520 KiB/s nodeID: node006-numa0-2 [ID: 29]
30 2907113 KiB/s nodeID: node006-numa0-3 [ID: 30]
31 2855079 KiB/s nodeID: node006-numa1-1 [ID: 31]
32 2853527 KiB/s nodeID: node006-numa1-2 [ID: 32]
33 2861480 KiB/s nodeID: node006-numa1-3 [ID: 33]
Fra utdataene ovenfor er det tydelig at alle lagringsmål fungerer jevnt, og at det ikke er noen defekte mål i systemet.
PowerSwitch S3048-ON, Mellanox SB7800 Series, PowerEdge R640, PowerEdge R740XD
03 Oct 2023
5
Solution