Dell EMC Ready Solution per HPC nelle scienze biologiche: Test di throughput della pipeline BWA-TESTSK con CPU Cascade Lake e refresh Lustre ME4

Dell EMC Ready Solution per lo storage Lustre
Numero di nodi	1 Dell EMC PowerEdge R640 come Integrated Manager for Lustre (IML) 2 Dell EMC PowerEdge R740 come server di metadati (MDS) 2 Dell EMC PowerEdge R740 come server di object storage (OSS)
Processori	Server IML: Due server Intel Xeon Gold 5118 a 2,3 GHz MDS e OSS: Doppia Intel Xeon Gold 6136 a 3 GHz
Memoria	Server IML: 12 RDIMM MDS e OSS da 8 GB, 2.666 MT/s: 24 RDIMM DDR4 da 16 GiB e 2.666 MT/s
Storage controller esterni	2 HBA SAS Dell da 12 Gb/s (su ciascun MDS) 4 HBA SAS Dell da 12 Gb/s (su ciascun OSS)
Enclosure di object storage	4 ME4084 con un totale di 336 HDD SAS NL a 7.200 rpm da 8 TB
Storage enclosure di metadati	1 ME4024 con 24 SSD SAS da 960 GB. Supporta fino a 4,68 B inode
Controller RAID	Controller RAID SAS duplex nelle enclosure ME4084 e ME4024
Sistema operativo	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Versione del BIOS	1.4.5
Versione IFS Di Intel Omni-Path	10.8.0.0
Versione del file system Lustre	2.10.4
Versione IML	4.0.7.0

I dati dei test sono stati scelti da uno dei genomi Platinum di Illumina. ERR194161 è stato elaborato con Illumina HiSeq 2000 inviato da Illumina e può essere ottenuto da EMBL-EBI. L'identificatore del DNA di questa persona è NA12878. La descrizione dei dati del sito Web collegato mostra che questo esempio ha una >profondità di copertura 30 volte superiore.

Valutazione delle prestazioni

Prestazioni di più nodi campione singolo

Nella Figura 1, il runtime in un numero diverso di campioni e nodi di elaborazione con dati WGS (Whole Genome Sequencing) 50x è stato riepilogato. I test eseguiti qui sono progettati per dimostrare le prestazioni a livello di server, non per il confronto dei singoli componenti. I data point nella Figura 1 vengono calcolati in base al numero totale di campioni elaborati simultaneamente, un campione per nodo di elaborazione (asse X nella figura). I dettagli delle informazioni sulla pipeline BWA-INSTITUTE sono disponibili sul sito web del Broad Institute (3). Il numero massimo di nodi di elaborazione utilizzati per i test è 64x C6420s. C6420s con Lustre ME4 mostrano un comportamento di dimensionamento migliore rispetto a Lustre MD3.

 
Figura 1. Confronto delle prestazioni tra Lustre MD3 e Lustre ME4

Prestazioni di più nodi di esempio

Un modo tipico di eseguire la pipeline NGS consiste nell'eseguire più campioni su un nodo di elaborazione e utilizzare più nodi di elaborazione per ottimizzare il throughput del processo dati NGS. Il numero di nodi di elaborazione utilizzati per i test è 64 dei nodi di elaborazione C6420 e il numero di campioni per nodo è di cinque campioni. Vengono elaborati simultaneamente fino a 320 campioni per stimare il numero massimo di genomi al giorno senza un job failure.
Come illustrato nella Figura 2, un singolo nodo di elaborazione C6420 può elaborare 3,24 genomi umani interi 50 volte al giorno quando vengono elaborati simultaneamente 5 campioni. Per ogni campione, vengono allocati 7 core e 30 GB di memoria. 

 
Figura 2 Test di throughput con un massimo di 64 C6420s e Lustre ME4

320 genomi interi 50 volte superiori possono essere elaborati con 64 nodi di elaborazione C6420 in 40 ore.  In altre parole, le prestazioni della configurazione dei test sintetizzano come 194 genomi al giorno per l'intero genoma umano con una profondità di copertura di 50 volte.

Conclusione

Poiché la dimensione dei dati di WGS è in costante crescita. La dimensione media corrente di WGS è 50 volte. Questo valore è 5 volte superiore rispetto a un WGS tipico 4 anni fa, quando abbiamo iniziato a eseguire il benchmark della pipeline BWA-VGK. L'aumento dei dati non richiede capacità lato storage poiché la maggior parte delle applicazioni in pipeline è vincolata anche dalla velocità di clock della CPU. Pertanto, con l'aumento delle dimensioni dei dati, la pipeline viene eseguita più a lungo anziché generare più scritture.
Tuttavia, durante il processo viene generato un numero maggiore di file temporanei a causa del maggior numero di dati da parallelizzare, e questo numero maggiore di file temporanei aperti contemporaneamente esaurisce il limite di file aperti in un sistema operativo Linux. Una delle applicazioni non viene completata in modo invisibile all'utente toccando il limite del numero di file aperti. Una soluzione semplice consiste nell'aumentare il limite a >150.000. 
Tuttavia, la Ready Solution con Lustre ME4 come spazio scratch ha una capacità di throughput migliore rispetto alla versione precedente. Ora, la Ready Solution a 64 nodi contrassegna 194 genomi al giorno per la potenza di elaborazione per 50 WGS.

Risorse 

1. Una survey sugli strumenti per l'analisi delle varianti dei dati di sequenziamento genomico di nuova generazione. Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabic size B, Speicher MR, Zschocke J, Trajanotree Z. 2, s.l. : Brief Bioinform, mar 2014, Vol. 15 (2). 10.1093/more/bbs086.
2. Dell EMC Ready Solution per lo storage HPC Lustre.  (l'articolo non è più disponibile come riferimento, estratto dal team HPC)
3. Toolkit di analisi del genoma. https://software.broadinstitute.org/gatk/