Dell EMC Ready Solution für HPC Life Sciences: BWA-GATK Pipeline-Durchsatztests mit Cascade Lake CPU und Lustre ME4 Refresh

Dell EMC Ready Solution for Lustre Storage
Anzahl der Nodes	1 x Dell EMC PowerEdge R640 als Integrated Manager for Lustre (IML), 2 x Dell EMC PowerEdge R740 als Metadatenserver (MDS), 2 x Dell EMC PowerEdge R740 als Objektspeicherserver (OSS)
Prozessoren	IML-Server: Dual Intel Xeon Gold 5118 @ 2,3 GHz MDS- und OSS-Server: Dual Intel Xeon Gold 6136 mit 3,00 GHz
Arbeitsspeicher	IML-Server: 12 x 8-GB-DDR4-RDIMMs mit 2.666 MT/s MDS- und OSS-Server: 24 x DDR4-RDIMMs mit 16 GiB und 2.666 MT/s
Externe Speicher-Controller	2 x Dell 12-Gbit/s-SAS-HBAs (auf jedem MDS) 4 x Dell 12-Gbit/s-SAS-HBAs (auf jedem Betriebssystem)
Objektspeichergehäuse	4 x ME4084 mit insgesamt 336 x NL-SAS-Festplattenlaufwerken mit 8 TB und 7.200 U/min
Metadatenspeichergehäuse	1 x ME4024 mit 24 x SAS-SSDs mit 960 GB. Unterstützt bis zu 4,68 Mrd. Inodes
RAID-Controller	Duplex-SAS-RAID-Controller in den Gehäusen ME4084 und ME4024
Betriebssystem	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
BIOS-Version	1.4.5
Intel Omni-Path IFS-Version	10.8.0.0
Version des Lustre-Dateisystems	2.10.4
IML-Version	4.0.7.0

Die Testdaten wurden aus einem der Platingenome von Illumina ausgewählt. ERR194161 wurde mit Illumina HiSeq 2000 verarbeitet, das von Illumina eingereicht wurde, und kann vom EMBL-EBI bezogen werden. Der DNA-Identifikator für diese Person ist NA12878. Die Beschreibung der Daten von der verlinkten Website zeigt, dass diese Stichprobe eine >30-fache Abdeckungstiefe aufweist.

Performance-Bewertung

Performance bei einer einzelnen Probe und mehreren Nodes

In Abbildung 1 ist die Laufzeit in verschiedenen Anzahl von Stichproben und Rechenknoten mit 50-fachen Whole Genome Sequencing (WGS)-Daten zusammengefasst. Die hier durchgeführten Tests dienen der Demonstration der Leistung auf Serverebene, nicht für Vergleiche einzelner Komponenten. Die Datenpunkte in Abbildung 1 werden basierend auf der Gesamtzahl der Stichproben berechnet, wobei eine Stichprobe pro Rechenknoten (X-Achse in der Abbildung) gleichzeitig verarbeitet wird. Die Details zu den Informationen über die BWA-GATK-Pipeline können auf der Website des Broad Institute (3) abgerufen werden. Die maximale Anzahl der für die Tests verwendeten Compute-Nodes beträgt 64x C6420. C6420s mit Lustre ME4 zeigen ein besseres Skalierungsverhalten als Lustre MD3.

 
Abbildung 1: Leistungsvergleiche zwischen Lustre MD3 und Lustre ME4

Performance mehrerer Beispiele, mehrerer Nodes

Eine typische Methode zum Ausführen einer NGS-Pipeline besteht darin, mehrere Beispiele auf einem Compute-Node auszuführen und mehrere Compute-Nodes zu verwenden, um den Durchsatz der NGS-Datenverarbeitung zu maximieren. Die Anzahl der für die Tests verwendeten Compute-Nodes beträgt 64 der C6420-Compute-Nodes und die Anzahl der Samples pro Node beträgt fünf Samples. Bis zu 320 Proben werden gleichzeitig verarbeitet, um die maximale Anzahl von Genomen pro Tag ohne Jobausfall zu schätzen.
Wie in Abbildung 2 dargestellt, kann ein einzelner C6420-Compute-Node 3,24 der 50-fachen menschlichen Genome pro Tag verarbeiten, wenn 5 Proben gleichzeitig verarbeitet werden. Jedem Beispiel werden 7 Kerne und 30 GB Arbeitsspeicher zugewiesen. 

 
Abbildung 2: Durchsatztests mit bis zu 64 C6420 und dem Lustre ME4

320 von 50-fachen menschlichen Genomen können mit 64 C6420-Compute-Nodes in 40 Stunden verarbeitet werden.  Mit anderen Worten, die Leistung der Testkonfiguration wird als 194 Genome pro Tag für das gesamte menschliche Genom mit einer 50-fachen Abdeckungstiefe zusammengefasst.

Entscheidung

Da die Datenmenge von WGS stetig gewachsen ist. Die aktuelle durchschnittliche Größe von WGS ist 50x. Dies ist 5-mal größer als ein typischer WGS vor 4 Jahren, als wir mit dem Benchmarking der BWA-GATK-Pipeline begannen. Die zunehmende Datenmenge belastet nicht die speicherseitige Kapazität, da die meisten Anwendungen in der Pipeline auch durch die CPU-Taktrate begrenzt sind. Daher wird die Pipeline bei wachsender Datengröße länger ausgeführt, anstatt mehr Schreibvorgänge zu generieren.
Während des Prozesses werden jedoch mehr temporäre Dateien erzeugt, da mehr Daten parallelisiert werden müssen, und diese erhöhte Anzahl temporärer Dateien, die gleichzeitig geöffnet sind, erschöpft das Limit für geöffnete Dateien in einem Linux-Betriebssystem. Eine der Anwendungen kann nicht im Hintergrund abgeschlossen werden, weil sie das Limit der Anzahl geöffneter Dateien erreicht hat. Eine einfache Lösung besteht darin, das Limit auf >150K zu erhöhen. 
Nichtsdestotrotz hat die Ready Solution mit Lustre ME4 als Scratch Space eine bessere Durchsatzkapazität als die Vorgängerversion. Mit 64 Nodes erreicht Ready Solution eine Verarbeitungsleistung von 194 Genomen pro Tag für 50-fache WGS.

Ressourcen 

1. Eine Übersicht über Tools zur Variantenanalyse von Genomsequenzierungsdaten der nächsten Generation. Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l. festzulegen: Kurzes Bioinform, März 2014, Bd. 15 (2). 10.1093/BIB/BBS086.
2. Dell EMC Ready Solution for HPC Lustre Storage  (Artikel nicht mehr als Referenz verfügbar, vom HPC-Team zurückgezogen)
3. Genomanalyse-Toolkit. https://software.broadinstitute.org/gatk/