Article Number: 000128808
Denne blog diskuterer de vigtige funktioner i Dell EMC Ready Solutions til HPC BeeGFS Storage , som blev annonceret for nylig. Dette er den tredje blog i serien vedrørende BeeGFS High Performance Storage Solution. Den første blog annoncerede udgivelsen af løsningen. Den anden blog diskuterede skalerbarheden af Dell EMC Ready Solutions til HPC BeeGFS Storage. Den gav oplysninger om de grundlæggende konfigurationer, de fleksible skalerbare konfigurationer og den faktiske målte sekventielle læse-/skriveydeevne for de forskellige konfigurationer, hvilket demonstrerer, at skalerbarheden er lineær med hensyn til antallet af servere i løsningen. Den aktuelle blog vil fremhæve brugen af "StorageBench", det indbyggede storagemålbench for BeeGFS.
BeeGFS er et open source-filsystem, som kan downloades fra www.beegfs.io. Det er et parallelt filsystem, der distribuerer data på tværs af flere storage-mål. Det er et softwaredefineret lager, der frakobler det logiske filsystem fra den underliggende lagerhardware, så brugeren kan definere, hvordan og hvor dataene gemmes. Filsystemsoftwaren omfatter enterprise-funktioner som f.eks. High Availability, Kvotehåndhævelse og Adgangskontrollister. De vigtigste funktioner i BeeGFS er dens brugervenlighed, skalerbarhed og fleksibilitet. Dens brugervenlighed skyldes det faktum, at alle serversidekomponenter er daemons for brugerplads, mens klienten er et kernemodul, der ikke kræver nogen programrettelser til selve kernen. Alle BeeGFS-komponenter kan installeres og opdateres uden at genstarte serveren. Så vi kan tilføje klienter og servere til det eksisterende system uden nedetid. Ved at tilføje servere og drev kan filsystemets ydeevne og kapacitet skaleres mere i den blog, der er linket til her. BeeGFS understøtter flere Linux-distributioner, og den er designet til at fungere med ethvert POSIX-kompatibelt lokalt filsystem. BeeGFS understøtter også kørsel af flere forekomster af en given tjeneste på samme server.
Dell EMC Ready Solutions til HPC BeeGFS Storage anvender alle de vigtigste funktioner i BeeGFS-filsystemet og er udviklet til høj ydeevne. Løsningen bruger PowerEdge R740xd-servere til lagring og servicering/behandling af metadata og data. Hver PowerEdge R740xd-server har 24x 1,6 TB Intel P4600 NVMe SSD'er, der anses for at være det andet store spring i drevteknologien, da SSD'erne er de første. I HPC-miljøer kan bundens plads ofte være en begrænsende faktor. Den kan være for lille eller for langsom. Dell EMC Ready Solutions til HPC BeeGFS Storage er designet til at blive brugt som en ridseløsning og serverer bundens lagring ved hjælp af BeeGFS-filsystemet.
BeeGFS indeholder to indbyggede benchmarking-værktøjer, som kan bruges til at karakterisere eller evaluere netværk eller storage NetBench og StorageBench . Når NetBench-tilstand er aktiveret, sletter serverne modtagne skriveanmodninger i stedet for at skrive dataene. På samme måde sendes kun hukommelsesbuffere til klienterne i tilfælde af læseanmodninger i stedet for at læse fra det underliggende filsystem. NetBench-tilstanden er beregnet til at teste netværksstreaming-overførselshastigheden uafhængigt af de underliggende diske. På den anden side er StorageBench beregnet til at måle streaming-overførselshastigheden for det underliggende filsystem uafhængigt af netværkets ydeevne. StorageBench er et storagemålbench-benchmark, der ikke bruger netværket. Storage-testkommandoen sender ganske enkelt anmodningen til storage-målene for at begynde at skrive/læse data. I den forbindelse eliminerer vi netværkets påvirkning. Det output, vi får fra storage-testene, er den bedste ydeevne, som systemet kan opnå, hvis netværkets ydeevne er ideel. Denne blog illustrerer, hvordan StorageBench kan bruges til at sammenligne ydeevnen for forskellige storage-mål og dermed identificere defekte eller fejlkonfigurerede mål.
StorageBench bruger ikke det monterede filsystem. Når vi kører StorageBench, er der kun ét mål pr. fil. Storagebench opretter en mappe på hvert lagringsdestination på systemet, hvor testfiler oprettes på samme måde som antallet af testtråde. Data streames direkte til dette for at vise den lave overførselshastighed, der er tilgængelig for hvert storage-mål. Uden netværkskommunikation kan filstribe ikke simuleres. Derfor kan benchmarkresultaterne for storage i stedet sammenlignes med klient-IO med striping deaktiveret. Når de faktiske benchmarks køres, spredes filen over 4 storage-mål, hvis standardstrimmelmønsteret anvendes.
Med henblik på at teste forskellige storagemål blev de små og mellemstore konfigurationer, der er beskrevet i bloggen om skalerbarheden af Dell EMC BeeGFS Storage Solution, brugt. Begge konfigurationer har samme antal metadatadestinationer konfigureret i RAID 1. De varierer i RAID-konfigurationen af storage-målene. Mens den lille opsætning har storage, er mål konfigureret i RAID 0 på 6 drev, mellemkonfigurationen har lagringsdestinationerne konfigureret i RAID 10 af 6 drev. De storagemål, der er konfigureret ved opsætning af små og mellemstore virksomheder, er anført nedenfor:
| Tabel 1: Konfiguration af prøvestand | ||
|---|---|---|
| Konfiguration | Medium – RAID 10 til storagemål | Lille – RAID 0 til storagemål |
| Antal metadatadestinationer | 6 | 6 |
| Antal forekomster af metadataservice | 6 | 6 |
| Antal storageservere | 5 | 2 |
| Antal storagemål | 22 | 10 |
| Antal storageservices pr. server | 4 | 4 |
| Antal storageservices pr. NUMA-zone | 2 | 2 |
| Antal mål pr. forekomst af storageservice | 2 | 2 |
Bemærk: Ovenstående konfiguration af medieopsætningen er kun med henblik på at teste dataoverførselshastigheden for storage-mål, der er konfigureret i forskellige RAID-konfigurationer ved hjælp af StorageBench-værktøjet.
Storage-benchmarket startes og overvåges med beegfs-ctl-værktøjet. Beegfs-utils-pakken leverer kommandolinjeværktøjet beegfs-ctl, som kan bruges til at køre storage-målbenchmarket. Følgende eksempel starter et skrive-benchmark på alle mål for alle BeeGFS-storageservere med en IO-blokstørrelse på 512 KB med 16 tråde pr. mål, som hver vil skrive 200 Gb data til sin egen fil.
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark blev startet.
Du kan forespørge på status med argument --status i beegfs-ctl.
Server-benchmarkstatus:
Kører: 10
"Kører: 10"-output angiver, at der er konfigureret i alt 10 storage-mål i systemet.
Følgende kommando kan udføres for at forespørge på benchmarkstatus/resultater for alle mål:
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Server benchmark status:
Finished: 10
Write benchmark-resultater:
Min. overførselshastighed: 4692435 KiB/s node-id: stor1-numa0-2 [ID: 6], targetID: 50
maks. overførselshastighed: 5368537 KiB/s node-id: meta-stor-numa1-2 [ID: 2], targetID: 48
avg-overførselshastighed: 4907091 KiB/s Samlet overførselshastighed
: 49070915 KiB/s
Tilføjelse af detaljer til ovenstående kommando viser listen over alle mål og deres respektive dataoverførselshastighed.
[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 10
Write benchmark-resultater:
Min. overførselshastighed: 4692435 KiB/s node-id: stor1-numa0-2 [ID: 6], targetID: 6
Maks. overførselshastighed: 5368537 KiB/s node-id: meta-stor-numa1-2 [ID: 2], targetID: 2
avg-overførselshastighed: 4907091 KiB/s Samlet overførselshastighed
: 49070915 KiB/s-liste
over alle mål:
1 5368477 KiB/s nodeID: meta-stor-numa1-1 [ID: 1]
2 5368537 KiB/s node-id: meta-stor-numa1-2 [ID: 2]
3 4706368 KiB/s node-id: stor1-numa0-1 [ID: 3]
4 4896077 KiB/s node-id: stor1-numa1-1 [ID: 4]
5 4872876 KiB/s node-id: stor1-numa1-2 [ID: 5]
6 4692435 KiB/s node-id: stor1-numa0-2 [ID: 6]
7 4879054 KiB/s node-id: stor2-numa1-2 [ID: 7]
8 4864737 KiB/s node-id: stor2-numa1-1 [ID: 8]
9 4696152 KiB/s node-id: stor2-numa0-1 [ID: 9]
10 4726202 KiB/s node-id: stor2-numa0-2 [ID: 10]
Den gennemsnitlige overførselshastighed pr. lagringsdestination, der er konfigureret i RAID 0, er 5,02 GB/s.
Følgende eksempel starter et skrive-benchmark på alle mål for alle BeeGFS-storageservere med en IO-blokstørrelse på 512 KB med 16 tråde pr. mål, som hver vil skrive 200 Gb data til sin egen fil.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark blev startet.
Du kan forespørge på status med argument --status i beegfs-ctl.
Server-benchmarkstatus:
Kører: 22
Tilføjelse af detaljer til ovenstående kommando viser listen over alle mål og deres respektive dataoverførselshastighed.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 22
Write benchmark-resultater:
Min. overførselshastighed: 2705987 KiB/s node-id: node006-numa0-1 [ID: 19], targetID: 1
Maks. overførselshastighed: 3364311 KiB/s node-id: node001-numa1-1 [ID: 1], targetID: 1
gns. overførselshastighed: 3212845 KiB/s Samlet overførselshastighed
: 70682603 KiB/sListe over alle mål:
1 3364311 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 3361591 KiB/s node-id: node001-numa1-2 [ID: 2]
3 3309530 KiB/s node-id: node002-numa0-1 [ID: 3]
4 3312840 KiB/s node-id: node002-numa0-2 [ID: 4]
5 3332095 KiB/s node-id: node002-numa1-1 [ID: 5]
6 3323319 KiB/s node-id: node002-numa1-2 [ID: 6]
7 3313000 KiB/s node-id: node003-numa0-1 [ID: 7]
8 3321214 KiB/s node-id: node003-numa0-2 [ID: 8]
9 3335072 KiB/s node-id: node003-numa1-1 [ID: 9]
10 3339743 KiB/s node-id: node003-numa1-2 [ID: 10]
11 3302175 KiB/s node-id: node004-numa0-1 [ID: 11]
12 3309474 KiB/s node-id: node004-numa0-2 [ID: 12]
13 3329879 KiB/s node-id: node004-numa1-1 [ID: 13]
14 3328291 KiB/s node-id: node004-numa1-2 [ID: 14]
15 3306132 KiB/s node-id: node005-numa0-1 [ID: 15]
16 3307096 KiB/s node-id: node005-numa0-2 [ID: 16]
17 3318436 KiB/s node-id: node005-numa1-1 [ID: 17]
18 3329684 KiB/s node-id: node005-numa1-2 [ID: 18]
19 2705987 KiB/s node-id: node006-numa0-1 [ID: 19]
20 2716438 KiB/s node-id: node006-numa0-2 [ID: 20]
21 2707970 KiB/s node-id: node006-numa1-1 [ID: 21]
22 2708326 KiB/s node-id: node006-numa1-2 [ID: 22]
Den gennemsnitlige overførselshastighed pr. lagringsdestination er 3,29 GB/s.
Fra outputtet fra StorageBench-benchmarktestene, der udføres på to forskellige BeeGFS-opsætninger, en med Storage Targets konfigureret i RAID 0 og en anden med Storage Targets konfigureret i RAID 10, er det tydeligt, at skriveydeevnen er bedre med de storage-mål, der er konfigureret i RAID 0 frem for i RAID 10. Da dd-kommandoen blev brugt til at skrive en 10G-fil med 1M-blokstørrelse og "oflag=direct", var gennemsnitlig ca. 5,1 GB/s for det lille system konfigureret i RAID 0, mens den gennemsnitlige dataoverførselshastighed var ca. 3,4 GB/s for det mediesystem, der er konfigureret i RAID 10, hvilket kan sammenlignes med de opnåede resultater ved hjælp af storagebench-værktøjet.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 33
Læs benchmark-resultater:
Min. overførselshastighed: 2830479 KiB/s node-id: node003-numa1-2 [ID: 14], targetID: 14
Maks. overførselshastighed: 3025500 KiB/s node-id: node005-numa0-1 [ID: 22], targetID: 22
avg-overførselshastighed: 2917836 KiB/s aggregeret overførselshastighed
: 96288596 KiB/s-liste
over alle mål:
1 2950039 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 2956121 KiB/s node-id: node001-numa1-2 [ID: 2]
3 2954473 KiB/s node-id: node001-numa1-3 [ID: 3]
4 2957658 KiB/s node-id: node002-numa0-1 [ID: 4]
5 2947109 KiB/s node-id: node002-numa0-2 [ID: 5]
6 2969886 KiB/s node-id: node002-numa0-3 [ID: 6]
7 2892578 KiB/s node-id: node002-numa1-1 [ID: 7]
8 2886899 KiB/s node-id: node002-numa1-2 [ID: 8]
9 2888972 KiB/s node-id: node002-numa1-3 [ID: 9]
10 2861995 KiB/s node-id: node003-numa0-1 [ID: 10]
11 2874314 KiB/s node-id: node003-numa0-2 [ID: 11]
12 2879096 KiB/s node-id: node003-numa0-3 [ID: 12]
13 2832635 KiB/s node-id: node003-numa1-1 [ID: 13]
14 2830479 KiB/s node-id: node003-numa1-2 [ID: 14]
15 2830971 KiB/s node-id: node003-numa1-3 [ID: 15]
16 2986890 KiB/s node-id: node004-numa0-1 [ID: 16]
17 2979197 KiB/s node-id: node004-numa0-2 [ID: 17]
18 2983958 KiB/s node-id: node004-numa0-3 [ID: 18]
19 2897974 KiB/s node-id: node004-numa1-1 [ID: 19]
20 2900880 KiB/s node-id: node004-numa1-2 [ID: 20]
21 2904036 KiB/s node-id: node004-numa1-3 [ID: 21]
22 3025500 KiB/s node-id: node005-numa0-1 [ID: 22]
23 3021558 KiB/s node-id: node005-numa0-2 [ID: 23]
24 3017387 KiB/s node-id: node005-numa0-3 [ID: 24]
25 2921480 KiB/s node-id: node005-numa1-1 [ID: 25]
26 2930226 KiB/s node-id: node005-numa1-2 [ID: 26]
27 2930548 KiB/s node-id: node005-numa1-3 [ID: 27]
28 2900018 KiB/s node-id: node006-numa0-1 [ID: 28]
29 2898520 KiB/s node-id: node006-numa0-2 [ID: 29]
30 2907113 KiB/s node-id: node006-numa0-3 [ID: 30]
31 2855079 KiB/s node-id: node006-numa1-1 [ID: 31]
32 2853527 KiB/s node-id: node006-numa1-2 [ID: 32]
33 2861480 KiB/s node-id: node006-numa1-3 [ID: 33]
Fra ovenstående output ses det tydeligt, at alle storage-mål fungerer ensartet, og at der ikke er nogen defekte mål i systemet.
PowerSwitch S3048-ON, Mellanox SB7800 Series, PowerEdge R640, PowerEdge R740XD
03 Oct 2023
5
Solution