PowerEdge: Genomitietojen analysoinnin nopeuttaminen NVIDIA Clara Parabricksin avulla Dell EMC DSS 8440 -palvelimen ja NVIDIA T4 -grafiikkasuorittimien avulla

Yleiskuvaus

Ensimmäinen NGS (Next Generation Sequencing) -tietojen käsittelyvaihe on Primary Analysis. Vaihe koskee sekvensointilaitetta ja luo useita FASTQ-tiedostoja, jotka sisältävät sekvensointilukemia. Seuraavassa vaiheessa (Secondary Analysis) FASTQ-sekvensointilukemat yhdistetään viitegenomiin tai viitetranskriptomiin. Lisäkäsittely tunnistaa variantit tai erot kiinnostavan otoksen ja viitteen välillä. Muunnelmat merkitään ja niitä tulkitaan myöhemmissä downstream-vaiheissa. Yksittäisen näytteen toissijaisen analyysin aika vaihtelee tietojen koon, käytettävissä olevien laskentaresurssien, ohjelmiston ja analyysityönkulun mukaan tunneista päiviin. 

Toissijaiseen analyysiin tarvitaan runsaasti laskenta- ja tallennusresursseja erityisesti, kun käsitellään satoja tai tuhansia genomeja. Toissijaisen analyysin pullonkauloja voi välttää useilla tavoilla. Laitteistokiihdytystä grafiikkasuorittimien tai FPGA:iden avulla on alettu käyttää vasta viime aikoina, koska laitteistokiihdyttimet edellyttävät mukautettua ohjelmistoa. ParabricksNVIDIAn vuonna 2019 hankkima genomiikkaohjelmisto on edelläkävijä ohjelmistopinossa, joka suorittaa erilaisia genomianalyysin työnkulkuja GPU: illa. Me testasimme ParabricksNoin kaksi vuotta sitten. Dell esitteli monia teknisiä edistysaskeleita palvelimissaan ja tallennusratkaisuissaan, ja NVIDIA Clara Parabricks on julkaissut vankkoja versioita, joissa on parannettu kiihdytys ja lisätty varianttikutsujia. Esimerkiksi NVIDIA Tesla T4® -grafiikkasuorittimilla varustettuun Dell EMC DSS 8440 -palvelimeen perustuva® usean näytönohjaimen palvelinrakenne vaikutti lupaavalta toissijaisen analyysin nopeuttamisessa ja tarjosi samalla houkuttelevan tasapainon hinnan ja suorituskyvyn välillä. Tässä blogissa kerrotaan NVIDIA Claran uudesta viitearkkitehtuurista ja vertailutuloksista Parabricks toissijainen analyysi usean Teslan® T4-grafiikkasuorittimesta, DSS 8440 -palvelimesta, jossa on Dell Isilon F800 -tallennustila. 

Viitearkkitehtuuri

Kuvassa 1 näkyy testattu viitearkkitehtuuri. Arkkitehtuuri on modulaarinen ja helposti skaalattava. The NVIDIA Clara Parabricks sovellusohjelmisto käyttää yhtä tai useampaa grafiikkasuoritinta, mikä tekee skaalaamisesta mahdollisimman helppoa. Laitteiston rakenneosat ovat Dell PowerEdge R640 hallintasolmuna, DSS 8440 -palvelin grafiikkasuorittimen laskentaan ja Dell EMC Isilon F800 -tallennus.  

 
Kuva 1 Testattu viitearkkitehtuuri
 

DSS 8440 4U -palvelimeen, jossa on 2 suorittimen kantaa, mahtuu enintään 10 alan johtavaa NVIDIA® Tesla® V100S Tensor -ytimellistä grafiikkasuoritinta, enintään 10 NVIDIA® Quadro RTX™ -grafiikkasuoritinta tai enintään 16 NVIDIA Tesla T4 -grafiikkasuoritinta, mikä takaa erinomaisen tehon. DSS 8440 -palvelimen yksityiskohtainen kokoonpano näkyy taulukossa 1.

Kaksi Z9100-ON-kytkintä tarjoaa yhteyden laskentasolmun ja Isilon F800 -tallennusklusterin välille. Hallintaan käytetään toista kytkintä, N2248X-ON.
 

NGS-tiedot

Toissijaisen analyysin ajonaikaisen vertailun tiedot koostuivat kolmesta ihmisen, koko genomin sekvensoinnin (WGS) tietojoukosta, ERR091571, SRR3124837 ja ERR194161, jotka edustivat vastaavasti 10x, 30x ja 50x, näytteen kattavuutta. Nämä aineistot ovat saatavilla Euroopan nukleotidiarkistossa (ENA).

Suorituskyvyn arviointi

Ohjelmistoparannukset lyhentävät käyttöaikaa.
NVIDIA jatkaa ohjelmistoparannusten esittelyä NVIDIA Claraan Parabricks. Kuvassa 2 esitetään ajonajan lyheneminen kahden version välillä Parabricks ituradan suorittaminen Dell PowerEdge C4140 -palvelimella, jossa on 4x V100-grafiikkasuoritinta testiympäristössä. Siirtyminen versiosta 2.1.0 versioon 3.0.0 lyhensi käyttöaikaa 42 %.

 
Kuva 2: Uusin versio Parabricksin ituradan variantista, joka kutsuu putkilinjan ajonaikaa.

DSS 8440 -palvelimen suorituskyvyt kuudellatoista T4-grafiikkasuorittimella

NVIDIA Claran suoritusaika Parabricks toissijainen analyysi yhdellä T4-grafiikkasuorittimella on noin 30 % hitaampi kuin yhden V100-grafiikkasuorittimen käyttäminen. Kaksi T4-grafiikkasuoritinta tuottaa kuitenkin noin 10 % teraFLOPSia (TFLOPS) enemmän kuin yksi V100-grafiikkasuoritin noin puolet edullisemmin. DSS 8440 tarjoaa jopa 16 PCIe-paikkaa, mikä antaa mahdollisuuden suunnitella T4-grafiikkasuorittimeen perustuva palvelin, joka tarjoaa samanlaisen ajonaikaisen suorituskyvyn kuin C4140-järjestelmä, jossa on neljä V100-grafiikkasuoritinta, mutta halvemmalla.
Sitä Parabricks Ituradan analyysi suoritettiin PowerEdge DSS 8440 -järjestelmällä, jossa oli 16 T4-grafiikkasuoritinta. Kunkin aiemmin kuvatun WGS-näytetietojoukon suoritusaika tallennettiin käyttämällä 1, 2, 4, 8 ja 16 T4-grafiikkasuoritinta toissijaisessa analyysissä. Tulokset näkyvät kuvissa 3–5. Yleisesti suoritusaika ei skaalaudu lineaarisesti, kun kuhunkin analyysiin käytettävien grafiikkasuorittimien määrä kasvaa. Skaalauskuvio on samankaltainen kuin tilanne, jossa näytekohtaisten tietojen määrä kasvaa 10x:sta 50x:ään. 
Vaikka sitä ei ole esitetty tässä, Dell EMC:n aiempi tutkimus Parabricks Suorituksenaikaiset tulokset, joissa käytettiin vähintään kahdeksaa V100-grafiikkasuoritinta analyysiä kohden, eivät skaalautuneet yhtä tehokkaasti kuin T4-grafiikkasuorittimet. Lisätestit osoittivat, että kuusi T4-grafiikkasuoritinta tuottivat suorituksenaikaisia tuloksia, jotka olivat lähes identtiset neljän V100-grafiikkasuorittimen kanssa.

 
Kuva 3: Suorituskyvyn vertailu 10x WGS:ään
 

 
Kuva 4: Suorituskyvyn vertailu 30x WGS:


äänKuva 5: Suorituskyvyn vertailu 50x WGS:ään 

Johtopäätös

DSS 8440, jossa on kuusitoista T4-GPU: ta, voi käsitellä kolmekymmentä 50x ihmisen genomia päivässä. Vastaavaan päiväkohtaiseen tulokseen käytettäessä perinteistä x86-suoritinarkkitehtuuria tarvitaan kymmenen PowerEdge C6420 -laskentasolmua. Koko arkkitehtuuria käsitellään Dell Ready Solution -ratkaisussa HPC-biotieteille: BWA-GATK-putkilinjan suoritustehotestit Cascade Lake -suorittimella ja Lustre ME4 Refreshillä.  

Kaikkien kuudentoista T4-grafiikkasuorittimen käyttäminen yhden näytteen käsittelyyn ei kuitenkaan kannata, koska 16 grafiikkasuorittimen käyttäminen kuhunkin analyysiin on parhaimmillaankin vain 10 % nopeampaa kuin käytettäessä 8 grafiikkasuoritinta. DSS 8440 -palvelimen rakenne sallii useita toissijaisia analyysejä rinnakkain. Määrittämällä kunkin näytteen käsittelyyn kahdeksan T4-grafiikkasuoritinta päiväkohtainen analyysitulos nousee noin 50 genomiin. Käyttämällä kunkin näytteen analyysiin neljä grafiikkasuoritinta päiväkohtainen analyysitulos nousee noin 70 genomiin. On tärkeää huomata myös, että päiväkohtainen tulos käytettäessä T4-grafiikkasuorittimia maksaa alle puolet siitä, mitä V100-grafiikkasuorittimen käyttö maksaa.
Nopeuden lisäksi yhteensopivuus muiden analyysityökalujen kanssa on keskeisen tärkeää tulosten vertailtavuuden kannalta. pikanäppäimellä Parabricks ituradan analyysitulokset ovat lähes identtiset aiemman testauksen tunnetun BWA-GATK Haplotype caller -analyysin kanssa. Halusimme myös verrata Parabricks-varianttikutsun tuloksia muihin työkalusarjoihin, kuten samtools/mpileup. Nämä kaksi eri työkalua saavuttavat ~ 90%: n kokonaissopimuksen tunnistetuista varianteista, ja vaihtelut monilla tunnetuilla genomialueilla, jotka sisältävät tärkeitä geenejä, ovat samaa mieltä yli 99%.

PowerScale All Flash NAS