PowerEdge: Dell Ready Solutions -ratkaisujen skaalautuvuus HPC BeeGFS -tallennukseen

Sisällysluettelo

1. Johdanto
2. Peruskokoonpanot
3. BeeGFS Käytettävissä olevan tilan laskenta
4. Skaalautuvat kokoonpanot
5. Suorituskyvyn karakterisointi
6. Päätelmät ja tuleva työ
    

Johdanto

Tässä blogikirjoituksessa käsitellään äskettäin julkistettujen Dell Ready Solutions -ratkaisujen skaalautuvuutta HPC BeeGFS -tallennukselle . BeeGFS-arkkitehtuuri koostuu neljästä pääpalvelusta, hallintapalvelusta, metatietopalvelusta, tallennuspalvelusta ja asiakaspalvelusta. On mahdollista käyttää mitä tahansa näiden neljän pääpalvelun yhdistelmää, mukaan lukien kaikki, samalla palvelimella, koska roolit ja laitteisto eivät ole tiukasti integroituja BeeGFS: n tapauksessa. "Hyperkonvergoidussa ratkaisussa" kaikki neljä palvelua toimivat samassa palvelimessa. Tätä määritystä ei suositella suorituskyvyn kannalta kriittisiin ympäristöihin, koska asiakassovellukset kuluttavat tavallisesti resursseja, mikä voi vaikuttaa tallennuspalvelujen suorituskykyyn. Dellin ratkaisu tarjoaa suorituskykyisen ja skaalautuvan tallennusratkaisun käyttämällä dedikoituja tallennuspalvelimia sekä kaksikäyttöistä metatieto- ja tallennuspalvelinta. Järjestelmää on mahdollista skaalata lisäämällä tallennuspalvelimia olemassa olevaan järjestelmään. Tässä blogikirjoituksessa esitellään kokoonpanot, joissa on eri määrä tallennuspalvelimia, sekä suorituskyky, jota näillä kokoonpanoilla voidaan odottaa.

Peruskokoonpanot

BeeGFS-tallennusratkaisu, joka on suunniteltu tarjoamaan tehokas työtiedostojärjestelmä, käyttää seuraavia laitteistokomponentteja:

• Hallintapalvelin
  • R640, kaksi Intel Xeon Gold 5218 -suoritinta, 2,3 GHz, 16 ydintä, 96 Gt (12 x 8 Gt 2 666 MT/s:n RDIMM-muistia), 6 x 15 000 Gt:n SAS, H740P
• Metatiedot ja tallennuspalvelimet
  • R740xd, 2x Intel Xeon Platinum 8268 -suoritin @ 2,90 GHz, 24 ydintä, 384 Gt (12 x 32 Gt 2 933 MT/s RDIMM)
  • BOSS-kortti, jossa on 2 x 240 Gt:n M.2 SATA SSD -asemaa käyttöjärjestelmän RAID 1 -levyllä
  • 24x, Intel 1,6 Tt, NVMe, sekakäyttöinen Express Flash, 2,5 SFF-asemaa, ohjelmisto-RAID

Hallintapalvelin ylläpitää BeeGFS-seurantapalvelua. Metatietopalvelin käyttää NUMA 0 -vyöhykkeen 12 asemaa metatietokohteiden (MDT) isännöintiin, kun taas loput 12 asemaa NUMA 1 -vyöhykkeellä isännöivät tallennuskohteita (ST). Erillistä metatietopalvelinta ei käytetä, koska BeeGFS-metatietojen tallennuskapasiteettivaatimukset ovat pienet. Metatiedot ja tallennuskohteet ja -palvelut on eristetty erillisiin NUMA-solmuihin, jotta työkuormat erottuvat huomattavasti. Kokoonpanossa käytetyillä tallennuspalvelimilla on kolme tallennuspalvelua, jotka toimivat NUMA-vyöhykettä kohti, yhteensä kuusi palvelinta kohti. Katso lisätietoja ilmoitusblogista. Kuvassa 1 esitetään kaksi peruskokoonpanoa, jotka on testattu ja validoitu Dell EMC HPC:n ja AI:n innovointilaboratoriossa.

Kuva 1: Peruskokoonpanot

Pieni kokoonpano koostuu kolmesta R740xd-palvelimesta. Siinä on 15 tallennuskohdetta. Keskikokoisessa kokoonpanossa on 6 x R740xd-palvelinta ja 33 tallennuskohdetta. Käyttäjä voi aloittaa "Pieni"- tai "Medium"-kokoonpanolla ja lisätä tallennus- tai metatietopalvelimia tarpeen mukaan tallennustilan ja yleisen suorituskyvyn tai tiedostojen määrän ja metatietojen suorituskyvyn lisäämiseksi. Taulukossa 1 esitetään niiden peruskokoonpanojen suorituskykytiedot, jotka on testattu ja validoitu laajasti Dell HPC:n ja AI:n innovointilaboratoriossa.

Taulukko 1: Peruskokoonpanojen kapasiteetti- ja suorituskykytiedot

BeeGFS Käytettävissä olevan tilan laskenta

Arvioitu käytettävissä oleva tila lasketaan TiB: nä (koska useimmat työkalut osoittavat käytettävissä olevan tilan binääriyksiköissä) seuraavalla kaavalla:

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

Edellä olevassa kaavassa 0,99 on tekijä, joka saadaan olettamalla konservatiivisesti, että tiedostojärjestelmästä aiheutuu 1%: n yleiskustannukset. Tallennusasemien määrän määrittämiseksi mukana on myös 12 MDS-asemaa. Tämä johtuu siitä, että MDS: ssä NUMA-vyöhykkeen 0 12 asemaa käytetään metatietoihin ja NUMA-vyöhykkeen 12 asemaa tallennukseen. Kaavan 10^12/2^40 viimeinen tekijä on muuntaa käytettävissä oleva tila TB: stä TiB: ksi.

Skaalautuvat kokoonpanot

BeeGFS High-Performance Storage Solution on suunniteltu joustavaksi, ja suorituskykyä ja/tai kapasiteettia voidaan helposti ja saumattomasti skaalata lisäämällä palvelimia alla esitetyllä tavalla:

Kuva 2: Esimerkkejä skaalatusta kokoonpanosta 

Pinon metatieto-osuus pysyy samana kaikissa edellä tässä blogissa kuvatuissa määrityksissä. Tämä johtuu siitä, että BeeGFS-metatietojen tallennuskapasiteettivaatimukset ovat tyypillisesti 0,5–1 % kokonaistallennuskapasiteetista. Se riippuu kuitenkin todella hakemistojen ja tiedostojen määrästä tiedostojärjestelmässä. Yleissääntönä on, että käyttäjä voi lisätä metatietopalvelimen, kun metatietokapasiteetin prosenttiosuus tallennustilasta laskee alle 1 prosentin. Taulukossa 2 esitetään suorituskykytiedot BeeGFS-tallennusratkaisun eri joustaville kokoonpanoille.

 

Taulukko 2: Skaalattujen kokoonpanojen kapasiteetti- ja suorituskykytiedot

Suorituskyvyn karakterisointi

Eri kokoonpanojen suorituskyky testattiin luomalla tallennusvarantoja. Pienessä kokoonpanossa on 15 tallennuskohdetta, ja jokainen lisätallennuspalvelin lisää kuusi tallennuskohdetta. Eri konfiguraatioiden suorituskyvyn testaamista varten luotiin tallennusvarantoja 15–39 tallennuskohteesta (kuuden lisäykset pienelle, pienelle+1, pienelle+2, keskisuurelle, keskisuurelle+1). Kullekin näistä pooleista suoritettiin kolme IOzone-vertailuarvon iteraatiota, joista kussakin oli yksi 1024 säiettä (kahden lisäyksen potenssissa). Käytetty testausmenetelmä on sama kuin ilmoitusblogissa kuvattu . Kuvissa 3 ja 4 esitetään skaalautuvien konfiguraatioiden kirjoitus- ja lukusuorituskyky, ja kunkin määrityksen huippusuorituskyky on korostettu käyttöä varten:


 
Kuva 3:  Kirjoita skaalautuvien kokoonpanojen suorituskykyä.


Kuva 4:  Lue skaalautuvien kokoonpanojen suorituskyky.

Huomautus:

Mainittu tallennusvaranto luotiin vain nimenomaiseen tarkoitukseen luonnehtimaan eri kokoonpanojen suorituskykyä. Ilmoitusblogissa kuvatun keskikokoisen kokoonpanon suorituskyvyn arvioinnin aikana kaikki 33 kohdetta olivat vain oletuspoolissa. Tietokoneen beegfs-ctl --liststoragepools Alla annettu komento näyttää tallennuskohteiden määrityksen:

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

Päätelmät ja tuleva työ

Tässä blogissa käsiteltiin Dell Ready Solutions -ratkaisujen skaalautuvuutta HPC BeeGFS -tallennukselle ja korostettiin peräkkäisten luku- ja kirjoitussuoritusten suorituskykyä eri kokoonpanoissa. Pysy kuulolla tämän blogisarjan osasta 3, jossa keskustellaan BeeGFS: n lisäominaisuuksista ja korostetaan "StorageBenchin", BeeGFS: n sisäänrakennetun tallennustavoitteiden vertailuarvon, käyttöä. Osana seuraavia vaiheita julkaisemme myöhemmin valkoisen raportin, joka sisältää metatietojen suorituskyvyn, IOR N-1 -suorituskyvyn arvioinnin sekä lisätietoja suunnittelunäkökohdista, hienosäädöstä ja kokoonpanosta. 

Viitteet

[1] Dellin valmiit ratkaisut HPC BeeGFS -tallennukseen:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-dokumentaatio: 
https://www.beegfs.io/wiki/[3] Kahden liitännän liittäminen samaan aliverkkoon: 
https://access.redhat.com/solutions/30564[4] PCI Express Direct Memory Access Reference Design using External Memory: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760