–

Yleiskuvaus

Uusin Dell EMC Ready Solution for HPC NFS Storage (NSS) High Availability -versio on NSS7.3-HA, ja se julkaistaan myöhemmin tässä kuussa.
Tämä NSS-julkaisu sisältää uudet Dell EMC PowerVault ME4084 -tallennusjärjestelmät ja Red Hat Enterprise Linux 7.5:n, ja se käyttää edelleen Intel Xeon Scalable -suoritinperheen suorittimia (arkkitehtuuri koodinimeltään Skylake) tarjotakseen järjestelmän aiempia NSS-HA-ratkaisuja paremman järjestelmän. Tässä blogikirjoituksessa esitellään NSS-ratkaisun uusimman version I/O-suorituskykytestien tulokset.
Kuvassa 1 esitetään NSS7.3-HA-kokoonpanon rakenne. Suurimmat erot NSS7.3-HA:n ja sen välittömän edeltäjän, NSS7.2-HA:n, välillä ovat:

• Taustatallennusjärjestelmä:
  • NSS7,2-HA: PowerVault MD3460 + valinnainen MD3060e (60 tai 120 kiintolevyä)
  • NSS7,3-HA: PowerVault ME4084 (84 HDD:tä)
• Käyttöjärjestelmä:
  • NSS7,2-HA: RHEL 7.4
  • NSS7,3-HA: Red Hat® Enterprise Linux® 7.5

Tarvittavia ohjelmisto- ja laiteohjelmistopäivityksiä lukuun ottamatta NSS7.2-HA:lla ja NSS7.3-HA:lla on sama HA-klusterin rakenne ja tallennuksen peruskokoonpano. (Katso NSS7.0-HA-teknisestä raportista lisätietoja kokoonpanosta.)
Toinen merkittävä parannus NSS7.2-HA:han ja NSS7.3-HA:han verrattuna on maksimikapasiteetin suuri kasvu. Red Hat XFS:n nykyinen 500 Tt:n tukiraja rajoittaa NSS7.2-HA:ta, mutta laboratorioissamme suoritettujen laajojen testausten ja validointien jälkeen Dell EMC ja Red Hat pääsivät yhteistyösopimukseen, joka tukee NSS7.3-HA-kokoonpanoja, joissa on jopa 768 Tt käyttötilaa. Se on Dell EMC PowerVault ME4084, jossa on 12 Tt:n kiintolevyt tai 1 008 Tt raakatallennustilaa.

NSS-HA-arkkitehtuuri

Kuvassa 1 on NSS 7.3 -arkkitehtuuri katkoviivan suorakulmion sisällä, upotettuna tyypilliseen testialustaan, joka sisältää asiakkaat ja julkisen verkon kytkimen.

Kuva 1. NSS7.3-HA 1008 TB raakatilan (768 Tt käyttökelpoinen) arkkitehtuuri ja testialusta

Seuraavassa taulukossa on yhteenveto uuden NSS HA 7.3 -ratkaisun eri komponenteista.
  

Taulukko 1. NSS7.2-HA- ja NSS7.3-HA-komponentit

	NSS7.2-HA-julkaisu (huhtikuu 2018) "14. sukupolven PowerEdge-palvelimet ja MD3460 + MD3060e"	NSS7.3-HA-julkaisu (lokakuu 2018) "14. sukupolven PowerEdge-palvelin ja ME4084-pohjainen ratkaisu"
Ohjelmistot	Red Hat Enterprise Linux 7.4, ydin 3.10.0-693.el7.x86_64 Red Hat Scalable File system (XFS) 4.5.0-12	Red Hat Enterprise Linux 7.5, ydin 3.10.0-862.el7.x86_64 Red Hat Scalable File system (XFS) v4.5.0-15
NFS-palvelimet	Kaksi Dell PowerEdge R740 -palvelinta Suoritin: Kaksi Intel Xeon Gold 6136 @ 3.0 GHz -suoritinta, 12 ydintä suoritinta kohden. Muisti: 12 x 16 GiB 2 666 MT/s:n RDIMM-moduulia.
Ulkoinen verkkoyhteys	EDR InfiniBand, 10 GbE tai Intel Omni-Path. Tätä blogia varten Mellanox ConnectX-4 IB EDR/100 GbE. Tilaukset CX-5 IB EDR/100 GbE.
Sisäiset liitännät	Gigabit Ethernet, kytkin Dell Networking S3048-ON
OFED-versio	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Suora tallennusliitäntä	12 Gb/s SAS-yhteydet.
Tallennusosajärjestelmä	Dell EMC MD3460 + valinnainen MD3060e. 60–120 – 3,5":n NL SAS 4 Tt:n asemat. Kaksi kokoonpanoa, 240 tai 480 Tt (raakatila). 6 tai 12 LUN:ia, 8+2 RAID 6, segmentin koko 512KiB Ei varaosia	Dell EMC PowerVault ME4084. 84–3,5":n NL SAS -asemia, jopa 12 Tt. Yksi kokoonpano: jopa 1 008 Tt (raakatilaa) 8 LUNia, lineaarinen 8+2 RAID 6, lohkon koko 128 KiB. 4 yleistä varakiintolevyä.

 

Uusi PowerVault ME4084 -tallennusratkaisu käyttää edelleen lineaarista 8+2 RAID 6:ta perusrakennusyksikkönä. Uuden lohkokoon (segmentin koko) on 128 KiB ja eteenpäin luetaan etukäteen -arvo "raidan koko" optimaalista suorituskykyä varten. Koska asemia on nyt 84, RAID 6 -levyihin perustuvaa LUN:ia ja neljä yleistä varakiintolevyä on määritetty korvaamaan vioittuneet levyt välittömästi. Tämä tarkoittaa, että tässä ratkaisussa voi olla jopa 768 Tt käyttötilaa.

NSS7.3-HA:N I/O-suorituskyky

Tässä blogissa esitellään nykyisen NSS-HA-ratkaisun eli NSS7.3:n I/O-suorituskykytestien tulokset. Kaikki suorituskykytestit suoritettiin virheettömässä HA-skenaariossa, jossa mitattiin ratkaisun maksimaalista suorituskykyä. Testeissä keskityttiin kolmentyyppisiin I/O-malleihin: suuriin peräkkäisiin luku- ja kirjoitusmalleihin, pieniin satunnaisiin luku- ja kirjoitustoimintoihin sekä kolmeen metatieto-operaatioon (tiedostojen luonti, tilastointi ja poistaminen).
32 solmun laskentaklusteria käytettiin vertailutestien työmäärän luomiseen. Asiakkaat ja 1008 Tt:n (raakatallennustilan koko) NSS-konfiguraatio yhdistettiin InfiniBand EDR:llä ja tiedostojärjestelmä IPoIB:n kautta. Jokainen I/O-vertailutesti suoritettiin useille asiakkaille ratkaisun skaalautuvuuden testaamiseksi. Tietoja käytetyistä asiakkaista on lueteltu seuraavassa taulukossa.

Taulukko 2. Asiakaslaitteiden kokoonpano (suorituskykytestaus)

Palvelinmalli	PowerEdge C6420
Palvelimien määrä	32-palvelinklusteri
Suoritin	Intel(R) Xeon(R) Gold 6148 -suoritin @ 2,40 GHz
RAM	192 GiB
Käyttöjärjestelmä	Red Hat Enterprise Linux Server -versio 7.4
Ydin	3.10.0-693.17.1.el7.x86_64
Verkkosovitin	Mellanox ConnectX-4 VPI IB EDR / 100 GbE single port QSFP28
OFED-versio	MLNX_OFED-4.3.1.0.1.0

 

Tässä tutkimuksessa käytettiin IOzone - ja MDtest-vertailuarvoja . IOzonea käytettiin peräkkäisissä ja satunnaisissa testeissä. Peräkkäisissä testeissä käytettiin pyyntökokoa 1024 KiB. Siirrettyjen tietojen kokonaismäärä oli 256 GiB, mikä varmisti, että NFS-palvelimen välimuisti oli kylläinen. Satunnaisissa testeissä käytettiin 4 KiB:n pyyntökokoa ja jokainen asiakas luki ja kirjoitti 4 GiB:n tiedoston. Metatietotestit suoritettiin käyttämällä MDtest-vertailuarvoa OpenMPI: n kanssa, ja ne sisälsivät tiedostojen luomis-, tilastointi- ja poistotoiminnot. (Katso testeissä käytetyt komennot täydelliset komennot NSS7.0-HA:n teknisestä julkaisusta A.)

IPoIB-peräkkäiset kirjoitukset ja lukemat

Kuvissa 2 ja 3 esitetään peräkkäiset kirjoitus- ja lukutulokset. Koska testiklusterissa oli 32 solmua, 64 säikeen datapiste saatiin käyttämällä 32 asiakasta, joista kukin suoritti 2 säiettä.
NSS7.3-HA:n huippulukusuorituskyky on 7 Gt/s ja kirjoituksen huippunopeus lähes 5 Gt/s. Näiden kahden luvun perusteella on selvää, että nykyisellä NSS7.3-HA-ratkaisulla on korkeammat peräkkäiset suorituskykyluvut kuin edellisellä versiolla. Lukusuorituskyky on jopa 18,7 % parempi, mutta kirjoitussuorituskyky on erityisen parempi, sillä suorituskyky on jopa 2,65-kertainen (16 säikeessä) edelliseen ratkaisuun verrattuna. Kun verrataan huippusuorituskykyarvoja, NSS7.3-HA:lla kirjoitetaan 2,13 kertaa nopeammin ja lukemat ovat 12,5 % parempia.
Tämä johtuu osittain siitä, että SAS:n sisäinen nopeus on suurempi, 12 Gb/s kaikille sisäisille PowerVault ME4084 -komponenteille, kiintolevyt mukaan lukien (PowerVault MD3460 oli 6 Gb/s), mikä mahdollistaa suuremman siirtonopeuden LUN:ia kohti, mutta myös siitä, että uudet tallennusohjaimet pystyvät käsittelemään tietoja nopeammin kuin edellisen sukupolven PowerVault MD3.

Kuva 2. IPoIB suuri peräkkäinen kirjoitussuorituskyky

 

Kuva 3. IPoIB suuri peräkkäinen lukusuorituskyky

IPoIB satunnaisesti kirjoittaa ja lukee

Kuvissa 4 ja 5 näkyy satunnaisen kirjoittamisen ja lukemisen suorituskyky.
Kuvasta satunnaiskirjoitus saavuttaa huippusuorituskyvyn 32 säikeessä, kun taas ratkaisun edellinen versio saavutti huippunsa 64 säikeessä. Satunnaislukusuorituskyky kasvaa tasaisesti NSS7.3:lla jopa 32 asiakkaaseen ja edellisessä ratkaisussa huippu oli 16 asiakkaalla. Uusi tallennusväline osoittaa jälleen ylivoimaisen suorituskykynsä edeltäjäänsä verrattuna: kirjoitus on parantunut jopa 3,44 kertaa (2 säikeellä) ja lukusuorituskyky on 85 % parempi (32 säikeellä) kuin edeltäjä. Huippusuorituksia verrattaessa ero on noin 13 % satunnaisissa kirjoituksissa ja 85 % satunnaisissa luvuissa. Nämä parannukset johtuvat pääasiassa uusista PowerVault ME4084 -ohjaimista, joissa on PowerVault MD3460 -ohjaimiin verrattuna nopeammat käsittelyominaisuudet.

Kuva 4. IPoIB-satunnaiskirjoituksen suorituskyky

Kuva 5. IPoIB-satunnaislukusuorituskyky

 

IPoIB – metatietotoiminnot

Kuvissa 6, 7 ja 8 esitetään tiedostojen luonti-, tilastointi- ja poistotoimintojen tulokset. Koska HPC-laskentaklusterissa on vain 32 laskentasolmua, alla olevissa kaavioissa kukin asiakas suoritti enintään yhden säikeen, kun asiakasmäärät olivat enintään 32, ja säikeiden määrän ollessa 64, 128, 256 ja 512, kukin asiakas suoritti 2, 4, 8 tai 16 samanaikaista operaatiota (säiettä).
Tiedostojen luonnissa uusi ratkaisu osoittaa jatkuvaa parannusta noin kaksinkertaisella suorituskyvyllä verrattuna huippuerolla (208%) 32 asiakkaalla, sitten heikkenee hieman, mutta vaikka verrataan molempien ratkaisujen huippusuorituskykyä 256 säikeellä, uusi ratkaisu on 30% nopeampi.
Tilastotoimintoja parantaa eniten uusi tallennus, jossa parannukset ovat jopa 7,7-kertaisia edeltäjään verrattuna 256 säikeellä ja huippusuorituksia verrattaessa NSS7.3 näyttää lähes 6 kertaa tilasto-operaatioiden määrän sekunnissa kuin edellinen NSS-versio.
Lopuksi poistotoiminnoilla on suhteellisen marginaalinen parannus, sillä useimpien datapisteiden suorituskyky on 33% tai parempi kuin edellinen ratkaisu; Paitsi 128 säiettä, joissa suorituskyky on 2,21 kertaa parempi. Huipputeholla uusi tallennuslaite saavuttaa lähes 55 % paremman suorituskyvyn aiempaan NSS-järjestelmään verrattuna.
Kaikki nämä parannukset johtuvat SAS3-nopeutta (12 Gb/s) käyttävien kiintolevyjen nopeammista kiintolevyistä sekä uusista PowerVault ME4084 -ohjaimista, jotka pystyvät suurempaan IOP:hen ja suurempaan kaistanleveyteen.

Kuva 6. IPoIB – tiedoston luontitoiminnon suorituskyky

 

 

 

Kuva 8. IPoIB – tiedoston poistotoiminnon suorituskyky

Johtopäätökset ja jatkosuunnitelmat

Ratkaisun eri sukupolvien aikana NSS-HA-ratkaisuun on tehty useita laitteisto- ja ohjelmistopäivityksiä, jotka tarjoavat jatkuvasti korkean käytettävyyden, paremman suorituskyvyn ja suuremman tallennuskapasiteetin. Kaikissa näissä versioissa NSS-HA-ratkaisuperheen keskeinen arkkitehtuurisuunnittelu on säilynyt muuttumattomana. NSS7.3-HA:n ja sitä edeltävän version (NSS7.2-HA) suorituskykyeron osoittamiseksi molempien ratkaisujen suorituskykylukuja verrattiin toisiinsa, mikä osoitti PowerVault ME4084:ään perustuvan ratkaisun uusimman version ylivoimaisen suorituskyvyn: 

 

•  Jopa 2,65-kertainen peräkkäiskirjoitus ja jopa 18,7 % nopeampi lukusuorituskyky.
•  Jopa 3,44-kertainen satunnaiskirjoitus ja jopa 85 % nopeampi satunnaislukusuorituskyky.
•  Jopa 2,1 kertaa luontinopeus, 7,7 kertaa tilastollinen nopeus ja 2,2 kertaa poistumisnopeus.

  Seuraavassa vaiheessa karakterisoidaan Intel Omni-Path -sovittimiin liitetty NSS7.3-HA-ratkaisu. Lisätietoja NSS-HA-ratkaisuista on julkaistuissa raporteissamme:

   

•  Dell HPC NFS Storage Solution High Availability Configurations, julkaisuversio NSS2-HA, julkaistu huhtikuussa 2011.
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, julkaisuversio NSS3-HA, julkaistu helmikuussa 2012.
•  Dell HPC NFS Storage Solution High Availability (NSS-HA) -kokoonpanot 12. sukupolven Dell PowerEdge -palvelimilla, julkaisuversio NSS4-HA, julkaistu heinäkuussa 2012.
•  Dell HPC NFS Storage Solution - High Availability (NSS-HA) -kokoonpano Dell PowerVault MD3260/MD3060e -tallennuslevyjärjestelmien kanssa, julkaisuversio NSS4.5-HA päivitetty, julkaistu toukokuussa 2013.
•  Dell HPC NFS Storage Solution - High Availability NSS5-HA -kokoonpanot, julkaisuversio NSS5.0-HA, julkaistu syyskuussa 2013.
•  Dell HPC NFS -tallennusratkaisu - High Availability (NSS5.5-HA) -kokoonpano Dell PowerVault MD3460- ja MD3060e-tallennusjärjestelmien kanssa, julkaisuversio NSS5.5-HA, julkaistu syyskuussa 2013.
•  Dell HPC NFS -tallennusratkaisu – Korkean saatavuuden (NSS6.0-HA) kokoonpano Dell PowerEdge -palvelimilla (13. sukupolvi) (englanninkielinen), julkaisuversio NSS6.0-HA, julkaistu marraskuussa 2014.
•  Dell HPC NFS -tallennusratkaisu – Korkean saatavuuden (NSS7.0-HA) kokoonpano (englanninkielinen), julkaisuversio NSS7.0-HA, julkaistu toukokuussa 2016.

   

  Huomautus: jos tarvitset mukautettuja määrityksiä tai käyttöönottoja, pyydä tarkempia ohjeita Dell EMC -edustajalta.