Řešení Dell EMC Ready pro superpočítače v přírodních vědách Testy propustnosti kanálu BWA-GATK s procesorem Cascade Lake a Lustre ME4 Refresh

Řešení Dell EMC Ready pro úložiště Lustre
Počet uzlů	1× Dell EMC PowerEdge R640 jako integrovaný manažer pro lustraci (IML) 2× Dell EMC PowerEdge R740 jako server metadat (MDS) 2× Dell EMC PowerEdge R740 jako server úložiště objektů (OSS)
Procesory	Server IML: Dva servery Intel Xeon Gold 5118 @ 2,3 GHz MDS a OSS: Dva procesory Intel Xeon Gold 6136 při frekvenci 3,00 GHz
Paměť	Server IML: 12 × 8 GB, 2 666 MT/s, DDR4 RDIMM MDS a servery OSS: 24x 16 GiB, 2 666 MT/s, DDR4 RDIMM
Externí řadiče úložiště	2× Dell 12 Gb/s SAS HBA (na každém MDS) 4× Dell 12 Gb/s SAS HBA (na každém OSS)
Objektové skříně	4x ME4084 s celkem 336x 8TB pevnými disky SAS NL, 7 200 ot/min
Skříň pro úložiště metadat	1x ME4024 s 24x 960GB disky SAS SSD Podporuje až 4,68 B inodů
Řadiče RAID	Duplexní řadiče SAS RAID ve skříních ME4084 a ME4024
Operační systém	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Verze systému BIOS	1.4.5
Verze Intel Omni-Path IFS	10.8.0.0
Verze systému souborů Lustre	2.10.4
Verze IML	4.0.7.0

Testovací data byla vybrána z jednoho z platinových genomů společnosti Illumina. ERR194161 byl zpracován pomocí Illumina HiSeq 2000 předložený společností Illumina a lze jej získat od EMBL-EBI. Identifikátor DNA tohoto jedince je NA12878. Popis dat z odkazovaného webu ukazuje, že tento vzorek má 30násobnou >hloubku pokrytí.

Vyhodnocení výkonu

Jeden vzorek, výkon více uzlů

Na obrázku 1 je shrnuta doba běhu v různém počtu vzorků a výpočetních uzlů s 50násobnými daty WGS (Whole Genome Sequencing). Provedené testy jsou navrženy tak, aby demonstrovaly výkon na úrovni serveru, nikoli pro porovnání jednotlivých komponent. Datové body na obrázku 1 se počítají na základě celkového počtu vzorků, jeden vzorek na výpočetní uzel (osa X na obrázku), které jsou zpracovávány souběžně. Podrobnosti o plynovodech BWA-GATK lze získat na webových stránkách Broad Institute (3). Maximální počet výpočetních uzlů použitých pro testy je 64x C6420. Servery C6420 s technologií Lustre ME4 vykazují lepší škálovací chování než model Lustre MD3.

 
Obrázek 1: Porovnání výkonu mezi Lustre MD3 a Lustre ME4

Více ukázek, výkon více uzlů

Typickým způsobem spuštění kanálu NGS je spuštění více vzorků na výpočetním uzlu a použití více výpočetních uzlů k maximalizaci propustnosti datového procesu NGS. Počet výpočetních uzlů používaných pro testy je 64 výpočetních uzlů C6420 a počet vzorků na uzel je pět vzorků. Současně se zpracovává až 320 vzorků, aby se odhadl maximální počet genomů za den bez selhání úlohy.
Jak je znázorněno na obrázku 2, jeden výpočetní uzel C6420 dokáže zpracovat 3,24 z 50násobku celého lidského genomu za den, když se současně zpracovává 5 vzorků. Pro každý vzorek je přiděleno 7 jader a 30 GB paměti. 

 
Obrázek 2: Testy propustnosti s až 64 počítači C6420 a snímačem Lustre ME4

320 z 50x celých lidských genomů lze zpracovat pomocí 64 výpočetních uzlů C6420 za 40 hodin.  Jinými slovy, výkon konfigurace testu se shrnuje jako 194 genomů za den pro celý lidský genom s 50násobnou hloubkou pokrytí.

Závěr

Vzhledem k tomu, že velikost dat WGS neustále roste. Aktuální průměrná velikost WGS je 50x. To je 5krát větší než typický WGS před 4 lety, kdy jsme začali srovnávat potrubí BWA-GATK. Rostoucí objem dat nezatěžuje kapacitu na straně úložiště, protože většina aplikací v potrubí je také omezena taktovací rychlostí procesoru. Proto s rostoucí velikostí dat kanál běží déle, místo aby generoval další zápisy.
Během procesu se však generuje větší počet dočasných souborů, protože je potřeba paralelizovat více dat, a tento zvýšený počet dočasných souborů otevřených současně vyčerpává limit otevřených souborů v operačním systému Linux. Jedné z aplikací se bezobslužně nedaří dokončit se dosažením limitu počtu otevřených souborů. Jednoduchým řešením je zvýšení limitu na >150K. 
Nicméně Ready Solution s Lustre ME4 jako pomocným prostorem má lepší propustnost než předchozí verze. Nyní 64 uzlů Ready Solution znamená 194 genomů denně výpočetního výkonu pro 50x WGS.

Zdroje 

1. Přehled nástrojů pro variantní analýzu dat sekvenování genomu nové generace. Pabinger S, Dander A, Fischer M, Snajder R, Šperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l. : Stručný Bioinform, březen 2014, roč. 15 (2). 10.1093/bib/bbs086.
2. Řešení Dell EMC Ready pro úložiště HPC Lustre.  (Článek již není k dispozici pro referenci, stáhl si ho tým HPC)
3. Sada nástrojů pro analýzu genomu. https://software.broadinstitute.org/gatk/