Gotowe rozwiązanie Dell EMC Ready Solution do wykorzystania HPC w naukach przyrodniczych: testy przepływności potoku BWA-GATK z procesorem Cascade Lake i odświeżaniem Lustre ME4

Gotowe rozwiązanie Dell EMC Ready Solution dla pamięci masowej Lustre
Liczba węzłów	1 serwer Dell EMC PowerEdge R640 jako zintegrowany menedżer narzędzia Lustre (IML) 2 serwery Dell EMC PowerEdge R740 jako serwer metadanych (MDS) 2 serwery Dell EMC PowerEdge R740 jako serwer pamięci obiektowej (OSS)
Procesory	Serwer IML: Dwa procesory Intel Xeon Gold 5118 @ 2,3 GHz Serwery MDS i OSS: dwa procesory Intel Xeon Gold 6136 przy 3,00 GHz
Pamięć	Serwer IML: 12 x 8 GB modułów RDIMM DDR4 2666 MT/s, MDS i OSS: 24 moduły RDIMM 16 GiB, DDR4, 2666 MT/s
Zewnętrzne kontrolery pamięci masowej	2 karty Dell SAS HBA 12 Gb/s (w każdym systemie MDS) 4 kontrolery Dell 12 Gb/s SAS HBA (w każdym systemie operacyjnym)
Obudowy do przechowywania obiektów	4 obudowy ME4084 o łącznej liczbie 336 dysków twardych NL, 8 TB, 7,2 tys. obr./min
Obudowa pamięci masowej na metadane	1 obudowa ME4024 o 24 dyskach SSD SAS, 960 GB. Obsługa do 4,68 B i-węzłów
Kontrolery RAID	Kontrolery duplex SAS RAID w obudowach ME4084 i ME4024
System operacyjny	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Wersja systemu BIOS	1.4.5
Wersja Intel Omni-Path IFS	10.8.0.0
Wersja systemu plików Lustre	2.10.4
Wersja IML	4.0.7.0

Dane testowe zostały wybrane z jednego z Platinum Genomes firmy Illumina. ERR194161 został przetworzony za pomocą Illumina HiSeq 2000 przesłanego przez Illumina i można go uzyskać od EMBL-EBI. Identyfikator DNA tej osoby to NA12878. Z opisu danych z podlinkowanej strony internetowej wynika, że ta próbka ma 30-krotną >głębokość pokrycia.

Ocena wydajności

Wydajność pojedynczej próbki, wielu węzłów

Na rysunku 1 podsumowano czas pracy w różnej liczbie próbek i węzłów obliczeniowych z 50-krotnymi danymi sekwencjonowania całego genomu (WGS). Przeprowadzane tutaj testy mają na celu zademonstrowanie wydajności na poziomie serwera, a nie porównania poszczególnych komponentów. Punkty danych na rysunku 1 są obliczane na podstawie całkowitej liczby próbek, jedna próbka na węzeł obliczeniowy (oś X na rysunku), które są przetwarzane współbieżnie. Szczegółowe informacje na temat rurociągu BWA-GATK można uzyskać na stronie internetowej Broad Institute (3). Maksymalna liczba węzłów obliczeniowych używanych do testów to 64x C6420. C6420s z Lustre ME4 wykazują lepsze zachowanie skalowania niż Lustre MD3.

 
Rysunek 1 Porównanie wydajności pomiędzy Lustre MD3 i Lustre ME4

Wydajność wielu próbek i wielu węzłów

Typowym sposobem uruchamiania potoku NGS jest uruchomienie wielu próbek w węźle obliczeniowym i użycie wielu węzłów obliczeniowych w celu zmaksymalizowania przepływności przetwarzania danych NGS. Liczba węzłów obliczeniowych używanych do testów to 64 węzły obliczeniowe C6420, a liczba próbek na węzeł to pięć próbek. Jednocześnie przetwarzanych jest do 320 próbek, aby oszacować maksymalną liczbę genomów dziennie bez niepowodzenia zadania.
Jak pokazano na rysunku 2, pojedynczy węzeł obliczeniowy C6420 może przetwarzać 3,24 z 50 razy całych genomów ludzkich dziennie, gdy jednocześnie przetwarzanych jest 5 próbek. Dla każdej próbki przydzielanych jest 7 rdzeni i 30 GB pamięci. 

 
Rysunek 2 Testy przepustowości z maksymalnie 64 procesorami C6420 i Lustre ME4

320 z 50 całych genomów ludzkich można przetworzyć za pomocą 64 węzłów obliczeniowych C6420 w ciągu 40 godzin.  Innymi słowy, wydajność konfiguracji testowej podsumowuje się jako 194 genomy dziennie dla całego ludzkiego genomu z 50-krotną głębokością pokrycia.

Wnioski

Ponieważ rozmiar danych WGS stale rośnie. Obecny średni rozmiar WGS wynosi 50x. Jest to 5 razy więcej niż typowy WGS 4 lata temu, kiedy zaczęliśmy porównywać potok BWA-GATK. Rosnąca ilość danych nie obciąża pojemności po stronie pamięci masowej, ponieważ większość aplikacji w potoku jest również ograniczona szybkością zegara procesora. W związku z tym wraz ze wzrostem rozmiaru danych potok działa dłużej, zamiast generować więcej zapisów.
Jednak w trakcie procesu generowana jest większa liczba plików tymczasowych, ponieważ więcej danych musi być zrównoleglonych, a ta zwiększona liczba otwartych plików tymczasowych w tym samym czasie wyczerpuje limit otwartych plików w systemie operacyjnym Linux. Jedna z aplikacji po cichu kończy pracę po przekroczeniu limitu liczby otwartych plików. Prostym rozwiązaniem jest zwiększenie limitu do >150K. 
Niemniej jednak Ready Solution z Lustre ME4 jako przestrzenią do magazynowania ma lepszą przepustowość niż poprzednia wersja. Teraz 64 węzły Ready Solution oznaczają 194 genomy dziennie o mocy obliczeniowej 50x WGS.

Resources 

1. Przegląd narzędzi do analizy wariantów danych sekwencjonowania genomu nowej generacji. Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l. : Brief Bioinform, marzec 2014, tom 15 (2). 10.1093/bib/bbs086.
2. Dell EMC Ready Solution for HPC Lustre Storage.  (Artykuł nie jest już dostępny, został usunięty przez zespół HPC)
3. Zestaw narzędzi do analizy genomu. https://software.broadinstitute.org/gatk/