Dell Ready -ratkaisu HPC Lustre -tallennukseen: Cascade Lake -päivitys

None

Tässä blogikirjoituksessa esitellään Dell Ready Solution for Lustre with Cascade Lake -suorittimien saatavuus. Tässä blogikirjoituksessa esitellään Lustre-ratkaisun päivitetyt tekniset tiedot, päivitetyn ratkaisun ensimmäiset suorituskykytulokset sekä nykyisten ja aiempien tulosten vertailu.  Konfiguroimme ratkaisupinon uusilla päivityksillä, jotka on esitetty taulukossa 1, jossa on käytössä EDR-yhteys, ja vahvistimme, että asennus toimi odotetusti ja suoritimme suorituskykytarkistukset. 

Suurkanta-kokoonpanon arkkitehtuurikaavio on alla kuvassa 1. 
Huomioi, että palvelin- ja tallennusmallit ovat samat kuin aiemmin. Vain uudet päivitykset näkyvät taulukossa 1. 

Kuva 1:  Dell Ready -ratkaisu HPC Lustre -tallennukseen: L-peruskokoonpanon arkkitehtuurikaavio

Taulukko 1:  Lustren Ready Solution -ratkaisun päivitetyt tekniset tiedot ja nopea vertailu aiempaan versioon

Laitteisto-/ohjelmisto-osa	Nykyinen	Edellinen
Suorittimet OSS:ssä ja MDSObject Storage Serverissä (OSS) ja Metatietopalvelimessa (MDS)	2 x Intel Xeon™ Gold 6230 -suoritin, jossa 20 ydintä ( 2,10 GHz/ OSS/MDS)	2 x Intel Xeon™ Gold 6136, 12 ydintä, 3,00 GHz
Suoritin Integrated Manager for Lustre (IML) -palvelimessa	2 x Intel Xeon Gold 5218, 16 ydintä, 2,3 GHz	2 x Intel Xeon Gold 5118, 12 ydintä, 2,3 GHz
DIMM-muistimoduulit käyttöjärjestelmässä ja MDS:ssä	12 x 32 GiB 2 933 MT/s DDR4 RDIMM -muistia	24 x 16GiB 2666MT/s DDR4 RDIMM -muistia
IML-palvelimen DIMM-muistimoduulit	12 x 8GiB 2666MT/s DDR4 RDIMM -muistia	12 x 8 Gt 2 666 MT/s:n DDR4 RDIMM -muistia
BIOS	2.1.8 tai uudempi	1.4.5 tai uudempi
Käyttöjärjestelmän ydin	3.10.0-957.1.3	3.10.0-862
Lustre-versio	2.10.7	2.10.4
IML-versio	4.0.10.0	4.0.7.0
Mellanox OFED versi	4.5-1.0.1.0	4.4-1

 

Suorituskykytulokset

Olemme määrittäneet päivitetyn Ready Solution -ratkaisun taulukossa 1 kuvatulla tavalla ja suoritimme suorituskykytarkistukset peräkkäisten IOzone-, IOzone-satunnais- ja MDtest-suorituskykytestauksen avulla, jotta päivitetyn ratkaisun suorituskyky voidaan tarkistaa. Testimenetelmä ja kaikkien testien vertailukomennot olivat samat kuin aiemmin käytetyt menetelmät.

Kaikissa testeissä käytettiin työaseman testiympäristöä alla olevan taulukon 2 mukaisesti.
 

Taulukko 2:  Asiakastestiympäristö

 

Asiakassolmujen määrä	8
Asiakassolmu	C6420
Suorittimet asiakassolmua kohden	2 x Intel(R) Xeon(R) Gold 6248, 20 ydintä, 2,50 GHz
Muistia asiakassolmua kohden	12 x 16 GiB 2933 MT/s RDIMM-moduulit
BIOS	2.2.6
Käyttöjärjestelmän ydin	3.10.0-957.10.1
Lustre-versio	2.10.7
Mellanox OFED	4.5-1.0.1.0

 

Peräkkäisten IOzone-suoritusten suorituskyky 

Suoritimme peräkkäisen IOzone-version 3.487 käyttämällä taulukossa 2 lueteltuja asiakasohjelmia. Suoritimme testejä yhdestä säikeestä jopa 256 säikeeseen, ja asiakasta kohden oli useita säikeitä yli 8 säikeen ajan. Testimenetelmän mukaan testin kokonaisdatakoko oli 2 Tt.  Alle 32 säikeen säikeiden pienemmällä määrällä käytettiin Lustren lomituksen määrää 32, ja yli 32 säikeen säikeiden määräksi oli määritetty 1.  Välimuistitehosteet on pienennetty edellisessä blogikirjoituksessa kuvatulla tavalla.

Tässä testissä käytetyt Lustre-asiakaspuolen hienosäätöparametrit luetellaan alla 

lctl set_param osc.*.checksums=0
lctl set_param timeout=600
lctl set_param at_min=250
lctl set_param at_max=600
lctl set_param ldlm.namespaces.*.lru_size=2000
lctl set_param osc.*OST*.max_rpcs_in_flight=16
lctl set_param osc.*OST*.max_dirty_mb=1024
lctl set_param osc.*.max_pages_per_rpc=1024
lctl set_param llite.*.max_read_ahead_mb=1024
lctl set_param llite.*.max_read_ahead_per_ file_mb=1024

Kuva 2: Peräkkäiset N-N-kirjoitukset. Aiempien tulosten vertailu nykyisiin tuloksiin Cascade Lake Lustre -palvelimien ja -työasemien



avullaKuva 3: Peräkkäiset N-N-luvut. Aiempien tulosten vertailu nykyisiin tuloksiin Cascade Lake Lustre -palvelimien ja -työasemien

avullaKuvissa 2 ja 3 esitellään uusimman Cascade Lake -ratkaisun peräkkäisten luku- ja kirjoitusten teho ja verrataan näitä tuloksia aiempaan Skylake-pohjaiseen ratkaisuun. Aiempien tulosten kanssa on nähtävissä, että peräkkäisten lukujen sekä Cascade Lake -pohjaisten työasema- ja Lustre-palvelinten kirjoitusten suorituskyky paranee alle 32 säikeen säikeiden määrillä. Peräkkäisten kirjoituskertoja ja lukukertoja on jopa hiukan yli kaksi kertaa enemmän kuin 32 säikeen säikeitä. Uskomme, että tämä suorituskyvyn muutos johtuu Cascade Lake -suorittimien (viitelinkki) sivukanavan hyödyntämisistä. Muut tekijät voivat kuitenkin myös nopeuttaa muistin käyttöä uudessa ratkaisussa ja päivitetyissä ohjelmistoversioissa.  

Voidaan myös huomata, että peräkkäisten säikeiden määrä on edelleen hyvin samankaltainen kuin aiempi ratkaisu. Tämä johtuu siitä, että Cascade Lake -suorittimien parannukset eivät paranna suorituskykyä, kun ratkaisu toimii taustatallennusohjainten täydellä potentiaalilla.

Satunnainen IOzone-suorituskyky 

Suoritimme satunnaista IOzone-versiota 3.487 käyttämällä taulukossa 2 lueteltuja asiakasohjelmia. ja suoritti suorituskykytarkistuksia 16, 64 ja 256 säikeellä. Aiemman testitavan tavoin kooksi oli määritetty 2 Tt ja lomituksen kooksi oli määritetty 4 Mt. Välimuistitehosteet on pienennetty edellisessä blogikirjoituksessa kuvatulla tavalla.

Tässä testissä käytetyt Lustre-asiakaspuolen hienosäätöparametrit luetellaan alla   

lctl set_param osc.*OST*.max_rpcs_in_flight=256
lctl set_param osc.*.max_pages_per_rpc=1024

Kuva 4: IOzone Random N-N Reads. Aiempien tulosten vertailu nykyisiin tuloksiin Cascade Lake Lustre -palvelimien ja -työasemien

avullaKuvassa 4 on luettelo satunnaisten I/O-testien tuloksista. Kun verrataan aiempia ja nykyisiä tuloksia, havaitaan, että trendi on edelleen sama ja että havaittu suorituskyvyn muutos ei ole tilastollisesti merkitsevä sen perusteella, miten muutos tehdään.

Metatietojen MDtest-suorituskyky

MDTest-työkalun versiota 1.9.3 käytettiin järjestelmän metatietojen suorituskyvyn arviointiin. Käytetty MPI-jakelu oli Intel MPI. Testit suoritettiin DNE:n ja 2 MDT:n sekä hakemistojen lomituksen kanssa. Testimenetelmä, käytetty komento sekä luotujen tiedostojen ja hakemistojen määrä olivat samat kuin edellisessä blogissa. 

Kuva 5:   Metatietotoiminnot MDtest-komennolla.   Aiempien tulosten vertailu nykyisiin tuloksiin Cascade Lake Lustre -palvelimien ja -työasemien

avullaKuvassa 5 esitellään metatietotestien tulokset. Kun nykyisiä tuloksia verrataan aiempiin tuloksiin, kaikkien kolmen metatietotoiminnon trendi on edelleen sama. Huomioimme, että tiedostojen luontihuippujen luonti on parantunut 75,4 %, tiedostojen poistotoimintojen huippuarvo on laskenut 18 % ja tiedostotilastotoimintojen suorituskyky on vain vähäinen.   Suorituskykysuistot saattavat johtua ratkaisupinon ohjelmisto- ja laitteistopäivityksistä taulukon 1 mukaisesti.
 

Johtopäätös

Olemme tarkistaneet ja validoineet Lustre Ready Solution -ratkaisun päivitykset kokoonpanon, asennuksen ja suorituskyvyn suhteen. Myös kerätyt suorituskykytiedot ovat tässä blogikirjoituksessa.

Aiempien tulosten ja nykyisten tulosten vertailu Cascade Lake -pohjaisiin Lustre-palvelimiin ja asiakkaisiin

1) peräkkäinen IO: Suorituskyky paranee jopa hieman yli kaksi kertaa peräkkäisten kirjoitusten ja peräkkäisten lukujen avulla alle 32 säikeen säikeellä. Huippusuorituskyky muistuttaa aiempaa Skylake-pohjaista ratkaisua. 
2) Satunnainen IO: Luku- ja kirjoitussuorituskyvyssä voi näkyä hyvin samankaltainen trendi, ja suorituskyvyn muutos ei ole tilastollisesti merkitsevä, kun otetaan huomioon muunnoksen suorittaminen.
3) Metatietojen suorituskykytestit:  Tiedostojen luontitoiminnot paranevat huippuunsa jopa 75,4 %. Tiedostotilastotoiminnot ovat edelleen hyvin lähellä tuloksia, jotka on havaittu aiemmin ja suorituskyky on muuttunut mitättömäksi. Tiedostojen poistotoiminnot ovat noin 18 %:n laskussa huippuunsa, kun taas tiedostojen poistotoimintojen trendi on edelleen sama ja muissa säikeiden määrässä delta on mitätön.  

Viitteet

1) IOzone Benchmark
2) Mdtest -suorituskykytestailu