「Dell EMC Ready Solution for HPC Life Sciences：Cascade Lake CPUとLustre ME4 Refreshを使用したBWA-GAKパイプラインスループット テスト」

Summary: 記事としてのアーカイブは、オンラインでホストされなくなったHPCドキュメントに基づいており、KBの期待値を満たすように記事を編集することはできません Dell EMC Ready Solution for HPC Life Sciences: Cascade Lake CPUとLustre ME4 Refreshを使用したBWA-GAKパイプラインスループット テスト」 ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Dell EMC Ready Solutions for HPC Life Sciencesの64コンピューティング ノード構成では、1日あたり194個のゲノムを処理できます(50倍のカバレッジ深度)。

概要

バリアント呼び出しこのハイパーリンクをクリックすると、デル・テクノロジーズ以外のWebサイトにアクセスします。 は、シーケンスデータからバリアントを特定するプロセスです。このプロセスは、個々のゲノムまたはトランスクリプトームの特定の位置に一塩基多型(SNP)、挿入および欠失(インデル)、および/または構造変異(SV)があるかどうかを判断するのに役立ちます。ゲノム変異を同定する主な目的は、ヒトの疾患との関連性です。すべてのヒト疾患が遺伝的変異と関連しているわけではありませんが、変異呼び出しは、遺伝的変異によって引き起こされる特定の疾患に取り組んでいる遺伝学者にとって貴重なガイドラインを提供することができます。BWA-GATKは、ヒトNGSデータから生殖細胞系および体細胞変異を特定するために設計された次世代シーケンシング(NGS)計算ツールの1つです。バリアント識別ツールはいくつかあり、完璧に機能するツールは1つもないことを理解しています(1)。ただし、Dell EMC Ready Solutions for HPC Life Sciencesが複雑で大規模なNGSワークロードをどの程度処理できるかを実証するために、ベンチマーキング ツールとして最も人気のあるツールの1つであるGATKを選択しました。
このブログの目的は、Dell EMC Ready Solutions for HPC Lustre Storage(ME4シリーズの更新)(2)を使用したBWA-GATKパイプライン ベンチマークにおけるインテル® Xeon® Gold 6248プロセッサーに関する貴重なパフォーマンス情報を提供することです。Xeon® Gold 6248 CPUは、ハイパー スレッディングを使用する場合、20個の物理コアまたは40個の論理コアを備えています。テスト クラスターの構成を表1にまとめます。

表1：テスト済みのコンピューティング ノード構成
 
Dell EMC PowerEdge C6420
CPU Xeon® Gold 6248 20コア 2.5 GHz x 2(Cascade Lake)
RAM 12 x 16GB (2933 MTps)
OS RHEL 7.6
内部接続 インテル®Omni-Path
BIOSシステム プロファイル 最適化されたパフォーマンス
論理プロセッサー Disabled
仮想化テクノロジー Disabled
BWA 0.7.15からR1140
Samtools(サムツール) 1.6
ガトク 3.6-0-G89B7209

テスト対象のコンピューティング ノードは、Intel® Omni-Pathを介してDell EMC Ready Solutions for HPC Lustre Storageに接続されました。ストレージの構成の概要を表2.
に示します。表2 ソリューションのハードウェアおよびソフトウェアの仕様
 
Dell EMC Ready Solution for Lustre Storage
ノードの数 1 x Lustre(IML)向けIntegrated ManagerとしてのDell EMC PowerEdge R640
2 x メタデータ サーバー(MDS)としてのDell EMC PowerEdge R740
2 x オブジェクト ストレージ サーバー(OSS)としてのDell EMC PowerEdge R740
プロセッサ IMLサーバー：デュアル インテル Xeon Gold 5118 @ 2.3 GHz
MDSおよびOSSサーバー: デュアル インテルXeon Gold 6136 @ 3.00 GHz
メモリー IMLサーバー：12 x 8 GB 2,666 MT/秒DDR4 RDIMM
MDSおよびOSSサーバー: 24 x 16 GiB 2,666 MT/s DDR4 RDIMM
外部ストレージ
コントローラー		 2 x Dell 12 Gb/s SAS HBA(各MDS上)
4 x Dell 12 Gb/s SAS HBA(各OSS上)
オブジェクト ストレージ
エンクロージャ		 4 x ME4084、合計336 x 8TB NL 7.2K RPM SAS HDD
メタデータ ストレージ
エンクロージャ		 1x ME4024（960GB SAS SSDを24台搭載）。最大4.68 B inodeをサポート
RAIDコントローラ ME4084およびME4024エンクロージャ内のデュプレックスSAS RAIDコントローラー
オペレーティングシステム CentOS 7.5 x86_64
Red Hat Enterprise Linux (RHEL) 7.5 x86_64
BIOSのバージョン 1.4.5
インテルOmni-Path
IFSバージョン		 10.8.0.0
Lustreファイル システム
バージョン		 2.10.4
IMLバージョン 4.0.7.0

テストデータは、イルミナのプラチナゲノムの1つから選択されました。ERR194161は、Illuminaから提出されたIllumina HiSeq 2000で処理され、EMBL-EBIから入手できます。この個人のDNA識別子はNA12878です。リンク先のWebサイトからのデータの説明は、このサンプルのカバレッジが >30倍であることを示しています。

パフォーマンスの評価

単一サンプル複数ノードのパフォーマンス

図1は、50倍の全ゲノム シーケンス(WGS)データを持つさまざまな数のサンプルとコンピューティング ノードでのランタイムをまとめたものです。ここで実行されるテストは、個々のコンポーネントの比較ではなく、サーバー レベルでのパフォーマンスを実証するように設計されています。図 1 のデータ ポイントは、コンピューティング ノード (図の X 軸) ごとに 1 つのサンプルが同時に処理されるサンプルの合計数に基づいて計算されます。BWA-GATKパイプライン情報の詳細は、Broad InstituteのWebサイト(3)から入手できます。テストに使用されるコンピューティング ノードの最大数は、64個のC6420です。Lustre ME4を搭載したC6420は、Lustre MD3よりも優れたスケーリング動作を示します。

Lustre MD3とLustre ME4のパフォーマンス比較
図1 Lustre MD3とLustre ME4のパフォーマンス比較

複数ノードのパフォーマンスの複数サンプル

NGSパイプラインを実行する一般的な方法は、コンピュートノードで複数のサンプルを実行し、複数のコンピュートノードを使用してNGSデータプロセスのスループットを最大化することです。テストに使用されるコンピューティング ノードの数は、C6420コンピューティング ノードのうち64個で、ノードあたりのサンプル数は5サンプルです。ジョブを失敗させることなく、最大320個のサンプルを同時に処理し、1日あたりの最大ゲノム数を推定します
図2に示すように、5つのサンプルを同時に処理する場合、1つのC6420コンピューティング ノードで1日あたり50xの全ヒトゲノムのうち3.24個を処理できます。各サンプルには、7コアと30 GBのメモリが割り当てられています。 

 最大64台のC6420とLustre ME4を使用したスループット テスト
図2 最大64台のC6420とLustre ME4を使用したスループット テスト

50倍の全ヒトゲノムのうち320個を、64個のC6420コンピューティング ノードで40時間で処理できます。  言い換えれば、テスト構成のパフォーマンスは、50倍のカバレッジ深度を持つヒトゲノム全体で 1日あたり194のゲノム として要約されます。

結論

WGSのデータサイズは常に増加しているためです。WGS の現在の平均サイズは 50 倍です。これは、BWA-GATK パイプラインのベンチマークを開始した 4 年前の一般的な WGS の 5 倍です。パイプライン内のほとんどのアプリケーションもCPUクロック スピードによって制限されるため、データの増加によってストレージ側の容量に負担がかかることはありません。したがって、データ サイズが大きくなると、より多くの書き込みが生成されるのではなく、パイプラインの実行時間が長くなります
ただし、並列処理する必要があるデータが増えるため、プロセス中に生成される一時ファイルの数が多くなり、同時に開かれる一時ファイルの数が増えると、Linuxオペレーティング システムで開いているファイルの制限を使い果たしてしまいます。アプリケーションの1つが、開いているファイル数の上限に達し、サイレントに完了できません。簡単な解決策は、制限を >150Kに増やすことです。
それにもかかわらず、Lustre ME4をスクラッチ スペースとして使用するReady Solutionは、以前のバージョンよりもスループット容量が向上しています。現在、64ノードのReady Solutionは、50x WGSで1日あたり194ゲノムの処理能力をマークしています。

リソース 

1.次世代ゲノム解読データのバリアント解析ツールの検討Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l.が使用するJava Runtime Environmentへのパスを定義します。Brief Bioinform、2014年3月号、Vol.15(2)。10.1093/bib/bbs086.
2.Dell EMC Ready Solution for HPC Lustre Storage  (HPCチームが引用した記事を参照できなくなりました
3.ゲノム解析ツールキット。https://software.broadinstitute.org/gatk/このハイパーリンクをクリックすると、デル・テクノロジーズ以外のWebサイトにアクセスします。

Cause

記事としてのアーカイブは、オンラインでホストされなくなったHPCドキュメントに基づいており、KBの期待値を満たすように記事を編集することはできません

Resolution

記事としてのアーカイブは、オンラインでホストされなくなったHPCドキュメントに基づいており、KBの期待値を満たすように記事を編集することはできません

Affected Products

Dell EMC Ready Solution Resources, PowerEdge C6420, Dell EMC PowerVault ME4024, Dell EMC PowerVault ME4084, Red Hat Enterprise Linux Version 7
Article Properties
Article Number: 000176939
Article Type: Solution
Last Modified: 25 Sept 2025
Version:  7
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.