适用于 HPC 生命科学的 Dell EMC Ready 解决方案：使用 Cascade Lake CPU 和 Lustre ME4 刷新的 BWA-GATK 管道吞吐量测试

适用于 Lustre 存储的 Dell EMC 就绪型解决方案
节点数量	1 个 Dell EMC PowerEdge R640 作为 Integrated Manager for Lustre （IML） 2 个 Dell EMC PowerEdge R740 作为元数据服务器 （MDS） 2 个 Dell EMC PowerEdge R740 作为对象存储服务器 （OSS）
处理器	IML 服务器：双英特尔至强 Gold 5118 @ 2.3 GHz MDS 和 OSS 服务器：双英特尔至强 Gold 6136 ，3.00 GHz
内存	IML 服务器：12 个 8 GB 2,666 MT/s DDR4 RDIMM MDS 和 OSS 服务器：24 个 16 GiB 2,666 MT/s DDR4 RDIMM
外部存储 控制器	2 个 Dell 12 Gb/s SAS HBA（在每个 MDS 上） 4 个 Dell 12 Gb/s SAS HBA（在每个 OSS 上）
对象存储 机柜	4 个 ME4084，总共 336 个 8 TB NL 7.2K rpm SAS HDD
元数据存储 机柜	1 个 ME4024，带 24 个 960 GB SAS SSD。支持多达 4.68 B 索引节点
RAID 控制器	ME4084 和 ME4024 机柜中的双工 SAS RAID 控制器
操作系统	CentOS 7.5 x86_64 Red Hat Enterprise Linux （RHEL） 7.5 x86_64
BIOS版本	1.4.5
Intel Omni-Path IFS 版本	10.8.0.0
Lustre 文件系统 版本	2.10.4
IML 版本	4.0.7.0

测试数据是从一个 Illumina 的白金基因组中选择的。ERR194161由 Illumina 提交的 Illumina HiSeq 2000 处理，可从 EMBL-EBI 获取。此个人的 DNA 标识符NA12878。链接网站中的数据描述显示，此样本的覆盖深度是该示例 >的 30 倍。

性能评估

单个示例多个节点性能

在 图 1 中，汇总了具有 50 倍全基因组测序 （WGS） 数据的各种样本和计算节点的运行时间。此处执行的测试旨在展示服务器级别的性能，而不是针对各个组件进行比较。图 1 中的数据点基于样本总数计算，每个计算节点（图中的 X 轴）一个样本同时处理。可从 Broad Institute 网站 （3） 获取 BWA-GATK 管道信息的详细信息。用于测试的最大计算节点数为 64 个 C6420。采用 Lustre ME4 的 C6420 的扩展行为优于 Lustre MD3。


图 1 Lustre MD3 和 Lustre ME4 之间的性能比较

多个示例多个节点性能

运行 NGS 管道的一种典型方式是在计算节点上运行多个样本，并使用多个计算节点来最大限度提高 NGS 数据过程的吞吐量。用于测试的计算节点数是 C6420 计算节点中的 64 个，每个节点的样本数是五个样本。最多同时处理 320 个样本，以估计每天的最大基因组数量，而不会出现作业失败。
如图 2 所示，当同时处理 5 个样本时，单个 C6420 计算节点每天可以处理 50 个完整人类基因组中的 3.24 个。对于每个样本，将分配 7 个核心和 30 GB 内存。 

 
图 2 最高可配 64 个 C6420 和 Lustre ME4

的吞吐量测试在 40 小时内可使用 64 个 C6420 计算节点处理 50 倍全人类基因组中的 320 个。  换言之，测试配置的性能汇总为全人类基因组 每天 194 个基因组 ，覆盖深度为 50 倍。

结论

随着 WGS 的数据大小不断增长。WGS 的当前平均大小为 50 倍。这比 4 年前开始基准测试 BWA-GATK 管道时的典型 WGS 大 5 倍。不断增加的数据不会对存储端容量造成压力，因为管道中的大多数应用程序也受 CPU 时钟速率的约束。因此，随着数据大小的增加，管道运行时间更长，而不是生成更多写入。
但是，由于需要并行处理的数据越多，在此过程中生成的临时文件数量越多，同时打开的临时文件数量越多，Linux 操作系统中的打开文件限制就越多。其中一个应用程序通过达到打开文件数量的限制以静默方式无法完成。简单的解决方案是将限制 >增加到 15 万。
尽管如此，采用 Lustre ME4 作为暂存空间的就绪型解决方案具有比之前版本更好的吞吐量容量。现在，64 个节点就绪型解决方案可为 50 倍 WGS 提供每天 194 个基因组处理能力。

资源 

1.一项针对新一代基因组测序数据的变体分析工具的调查。Pabinger S、Dander A、Fischer M、Snajder R、Sperk M、Efremova M、Krabichler B、Speicher MR、Zschocke J、Trajanoski Z. 2、s.l.: 简要 Bioinform，2014 年 3 月，第 15 卷 （2）。10.1093/bib/bbs086。
2.适用于 HPC Lustre 存储的 Dell EMC 就绪型解决方案。  （文章不再可供参考，由 HPC 团队提取）
3.基因组分析工具包。https://software.broadinstitute.org/gatk/