PowerEdge: Dellin valmiiden HPC-ratkaisujen ominaisuudet BeeGFS-tallennus

Sisällysluettelo

1. Johdanto
2. StorageBench – eri RAID-kokoonpanojen suorituskyvyn vertailu
   • StorageBench Write Benchmark - Pieni kokoonpano, jossa tallennuskohteet on määritetty RAID 0:ssa
   • StorageBench-kirjoitusvertailuarvo - Keskikokoisessa kokoonpanossa, jossa tallennuskohteet on määritetty RAID 10:ssä
3. StorageBench – viallisten tai väärin määritettyjen tallennuskohteiden tunnistamiseen
4. Päätelmät ja tuleva työ
    

Johdanto

Tässä blogikirjoituksessa käsitellään äskettäin julkistetun Dell Ready Solutions for HPC BeeGFS Storage -ratkaisun keskeisiä ominaisuuksia. Tämä on kolmas blogi sarjassa, joka käsittelee BeeGFS High-Performance Storage Solution -ratkaisua. Ensimmäinen blogi ilmoitti ratkaisun julkaisemisesta. Toisessa blogissa käsiteltiin Dell Ready Solutions -ratkaisujen skaalautuvuutta HPC BeeGFS -tallennukseen. Se antoi yksityiskohtaisia tietoja peruskokoonpanoista, joustavista skaalautuvista kokoonpanoista ja eri kokoonpanojen mitatusta peräkkäisestä luku- ja kirjoitussuorituskyvystä, mikä osoittaa, että skaalautuvuus on lineaarinen ratkaisun palvelinten määrän suhteen. Tässä blogissa korostetaan "StorageBenchin", BeeGFS: n integroidun tallennustavoitteiden vertailuarvon, käyttöä.

BeeGFS on avoimen lähdekoodin tiedostojärjestelmä, joka voidaan ladata osoitteesta www.beegfs.io. Se on rinnakkainen tiedostojärjestelmä, joka jakaa tietoja useisiin tallennuskohteisiin. Se on ohjelmistomääritetty tallennus, joka erottaa loogisen tiedostojärjestelmän taustalla olevasta tallennuslaitteistosta, jolloin käyttäjä voi määrittää, miten ja mihin tiedot tallennetaan. Tiedostojärjestelmäohjelmisto sisältää yritysominaisuuksia, kuten korkean käytettävyyden, kiintiöiden valvonnan ja käyttöoikeusluettelot. BeeGFS:n tärkeimmät ominaisuudet ovat helppokäyttöisyys, skaalautuvuus ja joustavuus. Sen helppokäyttöisyys johtuu siitä, että kaikki palvelinpuolen komponentit ovat käyttäjäavaruuden demoneja, kun taas asiakas on ydinmoduuli, joka ei vaadi korjauksia itse ytimeen. Kaikki BeeGFS-komponentit voidaan asentaa ja päivittää käynnistämättä palvelinta uudelleen. Joten voimme lisätä asiakkaita ja palvelimia olemassa olevaan järjestelmään ilman seisokkeja. Lisäämällä palvelimia ja asemia tiedostojärjestelmän suorituskykyä ja kapasiteettia voidaan skaalata enemmän tässä linkitetyssä blogissa. BeeGFS tukee useita Linux-jakeluja, ja se on suunniteltu toimimaan minkä tahansa POSIX-yhteensopivan paikallisen tiedostojärjestelmän kanssa. BeeGFS tukee myös useiden tietyn palvelun esiintymien suorittamista samalla palvelimella.

Dell Ready Solutions HPC BeeGFS -tallennukseen hyödyntää kaikkia BeeGFS-tiedostojärjestelmän keskeisiä ominaisuuksia, ja se on suunniteltu korkeaa suorituskykyä varten. Ratkaisu käyttää PowerEdge R740xd -katkaisijoita metatietojen tallentamiseen, palvelemiseen ja/tai käsittelyyn. Jokaisessa PowerEdge R740xd -palvelimessa on 24 x 1,6 Tt:n Intel P4600 NVMe -SSD-levyä, joita pidetään asematekniikan toisena suurena harppauksena, joista SSD-asema on ensimmäinen. HPC-ympäristöissä naarmuuntumistila voi usein olla rajoittava tekijä. Se voi olla liian pieni tai liian hidas. Dell EMC Ready Solutions for HPC BeeGFS Storage on suunniteltu scratch-ratkaisuksi, ja se toimii scratch-tallennuksena BeeGFS-tiedostojärjestelmän avulla.

BeeGFS sisältää kaksi integroitua vertailutyökalua, jotka voivat auttaa karakterisoimaan tai arvioimaan verkkoa tai tallennusta NetBench ja StorageBench . Kun NetBench-tila on käytössä, palvelimet hylkäävät vastaanotetut kirjoituspyynnöt tietojen kirjoittamisen sijaan. Vastaavasti lukupyyntöjen tapauksessa asiakkaille lähetetään vain muistipuskurit sen sijaan, että ne luettaisiin taustalla olevasta tiedostojärjestelmästä. NetBench-tila on tarkoitettu verkon suoratoiston suorituskyvyn testaamiseen riippumatta taustalla olevista levyistä. Toisaalta StorageBench on tarkoitettu mittaamaan taustalla olevan tiedostojärjestelmän suoratoistoa verkon suorituskyvystä riippumatta. StorageBench on tallennuskohteiden vertailuarvo, joka ei käytä verkkoa. Storage-bench-komento yksinkertaisesti lähettää pyynnön tallennuskohteille aloittaa tietojen kirjoittaminen/lukeminen. Näin eliminoimme verkon vaikutuksen. Tallennuspenkistä saatava lähtö on paras suorituskyky, jonka järjestelmä voi saavuttaa, jos verkon suorituskyky on ihanteellinen. Tässä blogikirjoituksessa kuvataan, miten StorageBenchiä voidaan käyttää eri tallennuskohteiden suorituskyvyn vertailuun ja siten viallisten tai väärin määritettyjen kohteiden tunnistamiseen.

StorageBench – eri RAID-kokoonpanojen suorituskyvyn vertailu

StorageBench ei käytä asennettua tiedostojärjestelmää. Kun suoritamme StorageBenchin, tiedostoa kohden on vain yksi kohde. Storagebench luo järjestelmän jokaiseen tallennuskohteeseen testitiedostojen määrää vastaavan hakemiston. Tiedot suoratoistetaan suoraan tähän, jotta kunkin tallennuskohteen käytettävissä oleva siirtonopeus on alhainen. Ilman verkkoyhteyttä tiedostojen lomituksia ei voi simuloida. Tallennuksen vertailuarvon tulokset ovat siis melko vertailukelpoisia asiakkaan IO:n kanssa, kun lomitus on poistettu käytöstä. Kun vertailuarvoja suoritetaan, tiedosto raidoitetaan neljään tallennuskohteeseen, jos oletusraidoitusmalli otetaan käyttöön. 

Eri tallennuskohteiden testaamiseen käytettiin pieniä ja keskisuuria kokoonpanoja, jotka on kuvattu blogissa Dell BeeGFS -tallennusratkaisun skaalautuvuudesta. Molemmissa kokoonpanoissa on RAID 1 -järjestelmässä määritetty sama määrä metatietokohteita. Ne eroavat tallennuskohteiden RAID-kokoonpanosta. Pienessä kokoonpanossa tallennuskohteet on määritetty RAID 0/6 -asemassa, kun taas keskikokoisessa kokoonpanossa tallennuskohteet on määritetty RAID 10:een kuudesta asemasta. Pienet ja keskikokoiset -asetuksissa määritetyt tallennuskohteet on taulukoitu alla:

Huomautus: Edellä oleva keskitason määritys on tarkoitettu ainoastaan eri RAID-kokoonpanoihin määritettyjen tallennuskohteiden suoritustehon testaamiseen StorageBench-työkalulla.

StorageBench Write Benchmark - Pieni kokoonpano, jossa tallennuskohteet on määritetty RAID 0:ssa

Tallennuksen vertailuarvo käynnistetään ja sitä seurataan beegfs-ctl-työkalulla. Paketti beegfs-utils sisältää komentorivityökalun beegfs-ctl, jolla tallennuskohteiden vertailuarvo voidaan suorittaa. Seuraava esimerkki aloittaa kirjoitusvertailun kaikkien BeeGFS-tallennuspalvelimien, joiden IO-lohkon koko on 512 kt, kaikissa kohteissa käyttäen 16 säiettä kohdetta kohti, joista kukin kirjoittaa 200 Gb dataa omaan tiedostoonsa.

[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
You can query the status with the --status argument of beegfs-ctl.
Server benchmark status:
Running:     10

"Käynnissä: 10":n lähtö tarkoittaa, että järjestelmään on määritetty yhteensä kymmenen tallennuskohdetta.
 
Voit kysellä kaikkien kohteiden vertailuarvon tilan / tulokset suorittamalla seuraavan komennon:

[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Server benchmark status:
Finished:    10
Write benchmark results:
Min throughput:            4692435  KiB/s   nodeID: stor1-numa0-2 [ID: 6], targetID: 50
Max throughput:            5368537  KiB/s   nodeID: meta-stor-numa1-2 [ID: 2], targetID: 48
Avg throughput:            4907091  KiB/s
Aggregate throughput:     49070915  KiB/s

Kun yllä olevaan komentoon lisätään monisanaisuus, näet luettelon kaikista kohteista ja niiden suorituskyvystä.

[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished:    10
Write benchmark results:
Min throughput:            4692435  KiB/s   nodeID: stor1-numa0-2 [ID: 6], targetID: 6
Max throughput:            5368537  KiB/s   nodeID: meta-stor-numa1-2 [ID: 2], targetID: 2
Avg throughput:            4907091  KiB/s
Aggregate throughput:     49070915  KiB/s
List of all targets:
1  5368477  KiB/s   nodeID: meta-stor-numa1-1 [ID: 1]
2  5368537  KiB/s   nodeID: meta-stor-numa1-2 [ID: 2]
3  4706368  KiB/s   nodeID: stor1-numa0-1 [ID: 3]
4  4896077  KiB/s   nodeID: stor1-numa1-1 [ID: 4]
5  4872876  KiB/s   nodeID: stor1-numa1-2 [ID: 5]
6  4692435  KiB/s   nodeID: stor1-numa0-2 [ID: 6]
7  4879054  KiB/s   nodeID: stor2-numa1-2 [ID: 7]
8  4864737  KiB/s   nodeID: stor2-numa1-1 [ID: 8]
9  4696152  KiB/s   nodeID: stor2-numa0-1 [ID: 9]
10 4726202  KiB/s   nodeID: stor2-numa0-2 [ID: 10]

Päätelmä tuotoksesta:

RAID 0:ssa määritetty keskimääräinen tallennustavoite on 5,02 Gt/s.  

StorageBench-kirjoitusvertailuarvo - Keskikokoisessa kokoonpanossa, jossa tallennuskohteet on määritetty RAID 10:ssä

Seuraava esimerkki aloittaa kirjoitusvertailun kaikkien BeeGFS-tallennuspalvelimien, joiden IO-lohkon koko on 512 kt, kaikista kohteista käyttämällä 16 säiettä kohdetta kohti, joista kukin kirjoittaa 200 Gt dataa omaan tiedostoonsa.

[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
You can query the status with the --status argument of beegfs-ctl.
Server benchmark status:
Running:     22

Kun yllä olevaan komentoon lisätään monisanaisuus, näet luettelon kaikista kohteista ja niiden suorituskyvystä.

[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished:    22
Write benchmark results:
Min throughput:            2705987  KiB/s   nodeID: node006-numa0-1 [ID: 19], targetID: 1
Max throughput:            3364311  KiB/s   nodeID: node001-numa1-1 [ID: 1], targetID: 1
Avg throughput:            3212845  KiB/s
Aggregate throughput:     70682603  KiB/s

List of all targets:
1                          3364311  KiB/s   nodeID: node001-numa1-1 [ID: 1]
2                          3361591  KiB/s   nodeID: node001-numa1-2 [ID: 2]
3                          3309530  KiB/s   nodeID: node002-numa0-1 [ID: 3]
4                          3312840  KiB/s   nodeID: node002-numa0-2 [ID: 4]
5                          3332095  KiB/s   nodeID: node002-numa1-1 [ID: 5]
6                          3323319  KiB/s   nodeID: node002-numa1-2 [ID: 6]
7                          3313000  KiB/s   nodeID: node003-numa0-1 [ID: 7]
8                          3321214  KiB/s   nodeID: node003-numa0-2 [ID: 8]
9                          3335072  KiB/s   nodeID: node003-numa1-1 [ID: 9]
10                         3339743  KiB/s   nodeID: node003-numa1-2 [ID: 10]
11                         3302175  KiB/s   nodeID: node004-numa0-1 [ID: 11]
12                         3309474  KiB/s   nodeID: node004-numa0-2 [ID: 12]
13                         3329879  KiB/s   nodeID: node004-numa1-1 [ID: 13]
14                         3328291  KiB/s   nodeID: node004-numa1-2 [ID: 14]
15                         3306132  KiB/s   nodeID: node005-numa0-1 [ID: 15]
16                         3307096  KiB/s   nodeID: node005-numa0-2 [ID: 16]
17                         3318436  KiB/s   nodeID: node005-numa1-1 [ID: 17]
18                         3329684  KiB/s   nodeID: node005-numa1-2 [ID: 18]
19                         2705987  KiB/s   nodeID: node006-numa0-1 [ID: 19]
20                         2716438  KiB/s   nodeID: node006-numa0-2 [ID: 20]
21                         2707970  KiB/s   nodeID: node006-numa1-1 [ID: 21]
22                         2708326  KiB/s   nodeID: node006-numa1-2 [ID: 22]

Päätelmä tuotoksesta:

Keskimääräinen siirtonopeus tallennustavoitetta kohden on 3,29 Gt/s.

Kahdelle eri BeeGFS-kokoonpanolle, joista toisessa tallennuskohteet on määritetty RAID 0:ssa ja toisessa tallennuskohteet RAID 10:ssä, tehtyjen StorageBench-vertailutestien tuloksista käy ilmi, että kirjoitusteho on parempi, kun tallennuskohteet on määritetty RAID 0:ssa RAID 10:n sijaan. Kun dd-komennolla kirjoitettiin 10G-tiedosto, jonka lohkokoko oli 1 miljoona ja "oflag=direct", RAID 0:ssa määritetyn pienen järjestelmän keskiarvo oli noin 5,1 Gt/s, kun taas RAID 10:ssä määritetyn keskikokoisen järjestelmän keskimääräinen siirtonopeus oli noin 3,4 Gt/s, mikä on verrattavissa storagebench-työkalulla saatuihin tuloksiin. 

StorageBench – viallisten tai väärin määritettyjen tallennuskohteiden tunnistamiseen

StorageBench suoritettiin ilmoitusblogissa kuvatulla keskikokoisella kokoonpanolla sen selvittämiseksi, onko järjestelmässä väärin määritettyjä tai viallisia tallennuskohteita.

[root@node001 ~]#  beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished:    33
Read benchmark results:
Min throughput:            2830479  KiB/s   nodeID: node003-numa1-2 [ID: 14], targetID: 14
Max throughput:            3025500  KiB/s   nodeID: node005-numa0-1 [ID: 22], targetID: 22
Avg throughput:            2917836  KiB/s
Aggregate throughput:     96288596  KiB/s
List of all targets:
1                    2950039  KiB/s   nodeID: node001-numa1-1 [ID: 1]
2                    2956121  KiB/s   nodeID: node001-numa1-2 [ID: 2]
3                    2954473  KiB/s   nodeID: node001-numa1-3 [ID: 3]
4                    2957658  KiB/s   nodeID: node002-numa0-1 [ID: 4]
5                    2947109  KiB/s   nodeID: node002-numa0-2 [ID: 5]
6                    2969886  KiB/s   nodeID: node002-numa0-3 [ID: 6]
7                    2892578  KiB/s   nodeID: node002-numa1-1 [ID: 7]
8                    2886899  KiB/s   nodeID: node002-numa1-2 [ID: 8]
9                    2888972  KiB/s   nodeID: node002-numa1-3 [ID: 9]
10                   2861995  KiB/s   nodeID: node003-numa0-1 [ID: 10]
11                   2874314  KiB/s   nodeID: node003-numa0-2 [ID: 11]
12                   2879096  KiB/s   nodeID: node003-numa0-3 [ID: 12]
13                   2832635  KiB/s   nodeID: node003-numa1-1 [ID: 13]
14                   2830479  KiB/s   nodeID: node003-numa1-2 [ID: 14]
15                   2830971  KiB/s   nodeID: node003-numa1-3 [ID: 15]
16                   2986890  KiB/s   nodeID: node004-numa0-1 [ID: 16]
17                   2979197  KiB/s   nodeID: node004-numa0-2 [ID: 17]
18                   2983958  KiB/s   nodeID: node004-numa0-3 [ID: 18]
19                   2897974  KiB/s   nodeID: node004-numa1-1 [ID: 19]
20                   2900880  KiB/s   nodeID: node004-numa1-2 [ID: 20]
21                   2904036  KiB/s   nodeID: node004-numa1-3 [ID: 21]
22                   3025500  KiB/s   nodeID: node005-numa0-1 [ID: 22]
23                   3021558  KiB/s   nodeID: node005-numa0-2 [ID: 23]
24                   3017387  KiB/s   nodeID: node005-numa0-3 [ID: 24]
25                   2921480  KiB/s   nodeID: node005-numa1-1 [ID: 25]
26                   2930226  KiB/s   nodeID: node005-numa1-2 [ID: 26]
27                   2930548  KiB/s   nodeID: node005-numa1-3 [ID: 27]
28                   2900018  KiB/s   nodeID: node006-numa0-1 [ID: 28]
29                   2898520  KiB/s   nodeID: node006-numa0-2 [ID: 29]
30                   2907113  KiB/s   nodeID: node006-numa0-3 [ID: 30]
31                   2855079  KiB/s   nodeID: node006-numa1-1 [ID: 31]
32                   2853527  KiB/s   nodeID: node006-numa1-2 [ID: 32]
33                   2861480  KiB/s   nodeID: node006-numa1-3 [ID: 33]

Edellä olevasta lähdöstä käy ilmi, että kaikki tallennuskohteet toimivat tasaisesti eikä järjestelmässä ole viallisia kohteita.

Päätelmät ja tuleva työ

Tässä blogissa käsiteltiin BeeGFS:n tärkeimpiä ominaisuuksia ja selitettiin tallennuspenkin vertailuarvon hyödyllisyyttä arvioitaessa tai vertailtaessa eri RAID-kokoonpanojen suorituskykyä ja myös tunnistamassa, onko jokin tallennuskohteista viallinen tai määritetty väärin. Osana seuraavia vaiheita julkaisemme myöhemmin white paper -raportin, joka sisältää metatietojen suorituskyvyn ja IOR-suorituskyvyn sekä lisätietoja suunnittelunäkökohdista, hienosäädöstä ja kokoonpanosta. 

Viitteet

1) Dell EMC:n valmiit ratkaisut HPC BeeGFS Storage PowerEdgelle: Dellin valmiit ratkaisut HPC BeeGFS -tehokkaaseen tallennukseen
2) Dell Ready -ratkaisujen skaalautuvuus HPC BeeGFS Storage PowerEdgelle: Dell Ready Solutions -ratkaisujen skaalautuvuus HPC BeeGFS -tallennukseen
3) BeeGFS-dokumentaatio: 
https://www.beegfs.io/wiki/4) Kahden liitännän liittäminen samaan aliverkkoon: 
https://access.redhat.com/solutions/305645) PCI Express Direct Memory Access Reference Design käyttäen ulkoista muistia: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760