HPC Life Sciences를 위한 Dell EMC Ready Solution BWA-GATK Pipeline throughput tests with Cascade Lake CPU and Lustre ME4 Refresh(영문)

Dell EMC Ready Solution for Lustre Storage
노드 수	IML(Integrated Manager for Lustre)용 Dell EMC PowerEdge R640 1개 MDS (Metadata Server)용 Dell EMC PowerEdge R740 2개 OSS(Object Storage Server)용 Dell EMC PowerEdge R740 2개
프로세서	IML 서버: 듀얼 인텔 제온 Gold 5118 @ 2.3GHz MDS 및 OSS 서버: 듀얼 인텔 제온 Gold 6136 @ 3.00GHz
메모리	IML 서버: 8GB, 2,666MT/s DDR4 RDIMM 12개, MDS 및 OSS 서버: 16GiB 2,666MT/s DDR4 RDIMM 24개
외장형 스토리지 컨트롤러	Dell 12Gb/s SAS HBA 2개(각 MDS에 있음) Dell 12Gb/s SAS HBA 4개(각 OSS에 있음)
오브젝트 스토리지 인클로저	ME4084 4개(총 8TB NL 7.2K rpm SAS HDD 336개 포함)
메타데이터 스토리지 인클로저	ME4024 1개(960GB SAS SSD 24개 포함) 최대 4.68B inode 지원
RAID 컨트롤러	ME4084 및 ME4024 인클로저의 듀플렉스 SAS RAID 컨트롤러
운영 체제	CentOS 7.5 x86_64 RHEL(Red Hat Enterprise Linux) 7.5 x86_64
BIOS 버전	1.4.5
인텔 Omni-Path IFS 버전	10.8.0.0
Lustre 파일 시스템 버전	2.10.4
IML 버전	4.0.7.0

테스트 데이터는 Illumina의 백금 게놈 중 하나에서 선택되었습니다. ERR194161는 Illumina가 제출한 Illumina HiSeq 2000으로 처리되었으며 EMBL-EBI에서 얻을 수 있습니다. 이 개체의 DNA 식별자는 NA12878입니다. 링크된 웹 사이트의 데이터에 대한 설명은 이 샘플 >의 적용 범위 깊이가 30배임을 보여줍니다.

성능 평가

단일 샘플 다중 노드 성능

그림 1에는 50x WGS(Whole Genome Sequencing) 데이터가 포함된 다양한 샘플 및 컴퓨팅 노드의 런타임이 요약되어 있습니다. 여기서 수행하는 테스트는 개별 구성 요소를 비교하기 위한 것이 아니라 서버 수준에서의 성능을 입증하기 위해 고안되었습니다. 그림 1의 데이터 포인트는 동시에 처리되는 컴퓨팅 노드(그림의 X축)당 하나의 샘플인 총 샘플 수를 기준으로 계산됩니다. BWA-GATK 파이프라인 정보에 대한 자세한 내용은 Broad Institute 웹 사이트(3)에서 얻을 수 있습니다. 테스트에 사용되는 최대 컴퓨팅 노드 수는 64x C6420입니다. Lustre ME4가 장착된 C6420은 Lustre MD3보다 더 나은 확장 동작을 보여줍니다.

 
그림 1 Lustre MD3와 Lustre ME4의 성능 비교

다중 샘플 다중 노드 성능

NGS 파이프라인을 실행하는 일반적인 방법은 컴퓨팅 노드에서 여러 샘플을 실행하고 여러 컴퓨팅 노드를 사용하여 NGS 데이터 프로세스의 처리량을 극대화하는 것입니다. 테스트에 사용된 컴퓨팅 노드 수는 C6420 컴퓨팅 노드 중 64개이며 노드당 샘플 수는 5개 샘플입니다. 최대 320개의 샘플을 동시에 처리하여 작업 실패 없이 하루 최대 게놈 수를 추정합니다.
그림 2에서 볼 수 있듯이 단일 C6420 컴퓨팅 노드는 5개의 샘플을 동시에 처리할 때 하루에 50배의 전체 인간 게놈 중 3.24개를 처리할 수 있습니다. 각 샘플에 대해 7개의 코어와 30GB 메모리가 할당됩니다. 

 
그림 2 최대 64개의 C6420 및 Lustre ME4

를 사용한 처리량 테스트C6420 컴퓨팅 노드 64개에서 40시간 내에 50x 전체 인간 게놈 중 320개를 처리할 수 있습니다.  즉, 테스트 구성의 성능은 전체 인간 게놈에 대해 하루에 194개의 게놈 으로 요약되며 적용 범위는 50배입니다.

결론

WGS의 데이터 크기는 지속적으로 증가하고 있습니다. WGS의 현재 평균 크기는 50배입니다. 이는 BWA-GATK 파이프라인을 벤치마킹하기 시작한 4년 전 일반적인 WGS보다 5배 더 큰 것입니다. 파이프라인에 있는 대부분의 애플리케이션이 CPU 클록 속도에 의해서도 제한되기 때문에 데이터가 증가하더라도 스토리지 측 용량에 부담을 주지 않습니다. 따라서 데이터 크기가 증가하면 파이프라인이 더 많은 쓰기를 생성하지 않고 더 오래 실행됩니다.
그러나 병렬화해야 하는 데이터가 많기 때문에 프로세스 중에 더 많은 수의 임시 파일이 생성되며, 동시에 열리는 임시 파일의 수가 증가하면 Linux 운영 체제에서 열린 파일 제한이 소진됩니다. 응용 프로그램 중 하나가 열린 파일 수의 제한에 도달하여 자동으로 완료되지 않습니다. 간단한 해결책은 제한을 150K로 >늘리는 것입니다. 
그럼에도 불구하고 Lustre ME4를 스크래치 공간으로 사용하는 Ready Solution은 이전 버전보다 처리 용량이 더 큽니다. 현재 64개 노드의 Ready Solution은 50x WGS에 대해 하루 194개의 게놈 처리 성능을 제공합니다.

자료 

1. 차세대 게놈 염기 서열 데이터의 변이 분석을 위한 툴에 대한 설문조사입니다. Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l. : Brief Bioinform, 2014년 3월, Vol. 15 (2). 10.1093/턱받이/bbs086.
2. Dell EMC Ready Solution for HPC Lustre Storage  (더 이상 참조할 수 없는 문서, HPC 팀에서 작성)
3. 게놈 분석 툴킷. https://software.broadinstitute.org/gatk/