Dell EMC Ready Solution for HPC Life Sciences: Pruebas de rendimiento del pipeline BWA-GATK con CPU Cascade Lake y actualización Lustre ME4

Dell EMC Ready Solution para el almacenamiento Lustre
Cantidad de nodos	1 Dell EMC PowerEdge R640 como administrador integrado de Lustre (IML) 2 Dell EMC PowerEdge R740 como servidor de metadatos (MDS) 2 Dell EMC PowerEdge R740 como servidor de almacenamiento de objetos (OSS)
Procesadores	Servidor IML: Dos Intel Xeon Gold 5118 @ 2.3 GHz Servidores MDS y OSS: Intel Xeon Gold 6136 doble a 3,0 GHz
Memoria	Servidor IML: 12 RDIMM DDR4 de 8 GB y 2666 MT/s Servidores MDS y OSS: 24 RDIMM DDR4 de 16 GiB y 2666 MT/s
Controladoras de almacenamiento externo	2 HBA SAS Dell de 12 Gb/s (en cada MDS) 4 HBA SAS Dell de 12 Gb/s (en cada OSS)
Gabinetes de almacenamiento de objetos	4 ME4084 con un total de 336 HDD SAS NL de 8 TB a 7200 rpm
Gabinete de almacenamiento de metadatos	1 ME4024 con 24 SSD SAS de 960 GB. Admite hasta 4,68 B de inodos
Controladoras RAID	Controladoras RAID SAS dúplex en los gabinetes ME4084 y ME4024
Sistema operativo	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Versión del BIOS	1.4.5
Versión de Intel Omni-Path IFS	10.8.0.0
Versión del sistema de archivos de Lustre	2.10.4
Versión del IML	4.0.7.0

Los datos de prueba se eligieron de uno de los genomas de platino de Illumina. ERR194161 se procesó con Illumina HiSeq 2000 presentado por Illumina y se puede obtener en EMBL-EBI. El identificador de ADN de este individuo es NA12878. La descripción de los datos del sitio web enlazado muestra que esta muestra tiene una >profundidad de cobertura de 30x.

Evaluación del rendimiento

Rendimiento de una sola muestra y múltiples nodos

En la Figura 1, se resume el tiempo de ejecución en varios números de muestras y nodos de computación con 50 veces más datos de secuenciación del genoma completo (WGS). Las pruebas que se realizan aquí están diseñadas para demostrar el rendimiento en el nivel del servidor, no para comparaciones en componentes individuales. Los puntos de datos de la figura 1 se calculan en función de la cantidad total de muestras, una muestra por nodo de computación (eje X en la figura) que se procesan simultáneamente. Los detalles de la información sobre los oleoductos de BWA-GATK pueden obtenerse en el sitio web del Instituto Broad (3). La cantidad máxima de nodos de computación utilizados para las pruebas es de 64 C6420. C6420 con Lustre ME4 muestra un mejor comportamiento de escalamiento que Lustre MD3.

 
Figura 1 Comparaciones de rendimiento entre Lustre MD3 y Lustre ME4

Rendimiento de múltiples nodos de muestra múltiple

Una manera típica de ejecutar la canalización de NGS es ejecutar varias muestras en un nodo de procesamiento y usar varios nodos de procesamiento para maximizar el rendimiento del proceso de datos de NGS. La cantidad de nodos de computación utilizados para las pruebas corresponde a 64 nodos de computación C6420 y la cantidad de muestras por nodo es de cinco muestras. Se procesan hasta 320 muestras simultáneamente para estimar la cantidad máxima de genomas por día sin que se produzca una falla en el trabajo.
Como se muestra en la Figura 2, un solo nodo de computación C6420 puede procesar 3,24 de 50 genomas humanos completos por día cuando se procesan 5 muestras simultáneamente. Para cada muestra, se asignan 7 núcleos y 30 GB de memoria. 

 
Figura 2 Pruebas de rendimiento con hasta 64 C6420 y Lustre ME4

320 genomas humanos completos de 50x se pueden procesar con 64 nodos de computación C6420 en 40 horas.  En otras palabras, el rendimiento de la configuración de prueba resume 194 genomas por día para el genoma humano completo con una profundidad de cobertura de 50x.

Conclusión

Dado que el tamaño de los datos de WGS ha crecido constantemente. El tamaño promedio actual de WGS es de 50 veces. Esto es 5 veces más grande que un WGS típico hace 4 años, cuando comenzamos a comparar el pipeline BWA-GATT. El aumento de los datos no afecta la capacidad del lado del almacenamiento, ya que la mayoría de las aplicaciones en la canalización también están limitadas por la velocidad de reloj de la CPU. Por lo tanto, con el aumento del tamaño de los datos, la canalización se ejecuta durante más tiempo en lugar de generar más escrituras.
Sin embargo, se genera una mayor cantidad de archivos temporales durante el proceso debido a que hay más datos que se deben paralelizar, y esta mayor cantidad de archivos temporales abiertos al mismo tiempo agota el límite de archivos abiertos en un sistema operativo Linux. Una de las aplicaciones no se completa silenciosamente al alcanzar el límite de la cantidad de archivos abiertos. Una solución sencilla es aumentar el límite a >150K. 
No obstante, la solución Ready con Lustre ME4 como espacio desde cero tiene una mejor capacidad de rendimiento que la versión anterior. Ahora, con 64 nodos, Ready Solution marca un poder de procesamiento de 194 genomas por día para una WGS 50 veces mayor.

Recursos 

1. Un estudio de herramientas para el análisis de variantes de datos de secuenciación del genoma de próxima generación. Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l. : Brief Bioinform, 2014 Mar, Vol. 15 (2). 10.1093/bib/bbs086.
2. Dell EMC Ready Solution para HPC Lustre Storage.  (Artículo ya no disponible como referencia, extraído por el equipo de HPC)
3. Kit de herramientas de análisis genómico. https://software.broadinstitute.org/gatk/