Dell EMC Ready Solution for HPC Life Sciences: Pruebas de rendimiento de la canalización BWA-GATK con CPU Cascade Lake y actualización lustre ME4

Dell EMC Ready Solution para almacenamiento Lustre
Cantidad de nodos	1 Dell EMC PowerEdge R640 como administrador integrado para Lustre (IML) 2 Dell EMC PowerEdge R740 como servidor de metadatos (MDS) 2 Dell EMC PowerEdge R740 como servidor de almacenamiento de objetos (SO)
Procesadores	Servidor IML: Dos servidores Intel Xeon Gold 5118 a 2,3 GHz MDS y OSS: Intel Xeon Gold 6136 doble a 3,00 GHz
Memoria	Servidor IML: 12 servidores RDIMM DDR4 MDS y OSS de 8 GB y 2666 MT/s: 24 RDIMM DDR4 de 16 GiB y 2666 MT/s
Controladoras de almacenamiento externo	2 HBA SAS de Dell de 12 Gb/s (en cada MDS) 4 HBA SAS de Dell de 12 Gb/s (en cada SO)
Gabinetes de almacenamiento de objetos	4 ME4084 con un total de 336 discos duros SAS NL de 8 TB a 7200 r/min
Gabinete de almacenamiento de metadatos	1 ME4024 con 24 SSD SAS de 960 GB. Admite hasta 4,68 inodos B
Controladoras RAID	Controladoras RAID SAS dúplex en los gabinetes ME4084 y ME4024
Sistema operativo	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Versión del BIOS	1.4.5
Versión de IFS Intel Omni-Path	10.8.0.0
Versión del sistema de archivos lustre	2.10.4
Versión de IML	4.0.7.0

Los datos de prueba se eligieron de uno de los genomas Platinum de Illumina. ERR194161 se procesó con Illumina HiSeq 2000 enviada por Illumina y se puede obtener de EMBL-EBI. El identificador de ADN de esta persona es NA12878. La descripción de los datos del sitio web vinculado muestra que esta muestra tiene una >cobertura de 30 veces mayor.

Evaluación del rendimiento

Rendimiento de múltiples nodos de muestra única

En la figura 1, se resume el tiempo de ejecución en diversas muestras y nodos de procesamiento con 50 datos de secuenciación del genoma completo (DDRS). Las pruebas realizadas aquí están diseñadas para demostrar el rendimiento en el nivel del servidor, no para comparaciones en componentes individuales. Los puntos de datos de la Figura 1 se calculan en función de la cantidad total de muestras, una muestra por nodo de procesamiento (eje X en la figura) que se procesan simultáneamente. Los detalles de la información de la canalización de BWA-GATK se pueden obtener en el sitio web del Broad Institute (3). La cantidad máxima de nodos de procesamiento utilizados para las pruebas es de 64 C6420. Los C6420 con Lustre ME4 muestran un mejor comportamiento de escalamiento que Lustre MD3.

 
Figura 1 Comparaciones de rendimiento entre Lustre MD3 y Lustre ME4

Rendimiento de múltiples nodos de muestra

Una forma típica de ejecutar la canalización de NGS es ejecutar varias muestras en un nodo de procesamiento y usar múltiples nodos de procesamiento para maximizar el rendimiento del proceso de datos de NGS. La cantidad de nodos de procesamiento utilizados para las pruebas es de 64 nodos de procesamiento C6420 y la cantidad de muestras por nodo es de cinco muestras. Se procesan hasta 320 muestras simultáneamente para calcular la cantidad máxima de genomas por día sin una falla de trabajo.
Como se muestra en la figura 2, un solo nodo de procesamiento C6420 puede procesar 3,24 de 50 genomas humanos completos por día cuando se procesan 5 muestras simultáneamente. Para cada muestra, se asignan 7 núcleos y 30 GB de memoria. 

 
Figura 2 Pruebas de rendimiento con hasta 64 C6420 y Lustre ME4

Se pueden procesar 320 de 50 genomas humanos completos con 64 nodos de procesamiento C6420 en 40 horas.  En otras palabras, el rendimiento de la configuración de la prueba se resume como 194 genomas por día para todo el genoma humano con una cobertura de 50 veces mayor.

Conclusión

A medida que el tamaño de los datos de LOS DATOS ha estado creciendo constantemente. El tamaño promedio actual de LANES es 50 veces mayor. Esto es 5 veces más grande que un CURSO TÍPICO hace 4 años, cuando comenzamos a realizar un análisis comparativo de la canalización BWA-GATK. Los datos en aumento no afectan la capacidad del lado del almacenamiento, ya que la mayoría de las aplicaciones en la canalización también están limitadas por la velocidad de reloj de la CPU. Por lo tanto, con el tamaño creciente de los datos, la canalización se ejecuta más tiempo en lugar de generar más escrituras.
Sin embargo, hay una mayor cantidad de archivos temporales que se generan durante el proceso debido a que es necesario paralelizar más datos, y esta mayor cantidad de archivos temporales abiertos al mismo tiempo agota el límite de archivos abiertos en un sistema operativo Linux. Una de las aplicaciones no se completa silenciosamente alcanzando el límite de la cantidad de archivos abiertos. Una solución simple es aumentar el límite a >150 000. 
Sin embargo, Ready Solution con Lustre ME4 como espacio cero tiene una mejor capacidad de rendimiento que la versión anterior. Ahora, Ready Solution de 64 nodos marca 194 genomas por día de poder de procesamiento para 50x DDRS.

Recursos 

1. Una encuesta de herramientas para el análisis de variantes de los datos de secuenciación del genoma de última generación. Pabinger S, Draj A, Fischer M, Snajder R, Sperk M, Efremova M, Utcchler B, Speicher MR, Zschoplay J, Trajanoski Z. 2, s.l. : Breve bioinforma, 2014 de marzo de 2015, vol. 15 (2). 10.1093/bbs086.
2. Dell EMC Ready Solution for HPC Lustre Storage.  (El artículo ya no está disponible para su referencia, extraído por el equipo de HPC)
3. Kit de herramientas de análisis del genoma. https://software.broadinstitute.org/gatk/