Rozwiązanie Dell EMC Ready dla nauk przyrodniczych HPC: Testy przepustowości potoku BWA-GATK z procesorem Cascade Lake i odświeżanym rozwiązaniem Lustre ME4

Rozwiązanie Dell EMC Ready dla pamięci masowej Lustre
Liczba węzłów	1x Dell EMC PowerEdge R640 jako integrated manager lustre (IML) 2x Dell EMC PowerEdge R740 jako serwer metadanych (MDS) 2x Dell EMC PowerEdge R740 jako serwer pamięci masowej obiektów (OSS)
Procesory	Serwer IML: Dwa procesory Intel Xeon Gold 5118 z mds 2,3 GHz i serwerami OSS: Dwa procesory Intel Xeon Gold 6136, 3,00 GHz
Pamięć	Serwer IML: 12 serwerów MDS i OSS DDR4 RDIMM 8 GB 2666 MT/s: 24 moduły RDIMM DDR4 16 GB 2 666 MT/s
Zewnętrzne kontrolery pamięci masowej	2 karty HBA SAS 12 Gb/s firmy Dell (w każdym MDS) 4 karty HBA SAS 12 Gb/s firmy Dell (w każdym systemie operacyjnym)
Obudowy do przechowywania obiektów	4 dyski twarde ME4084 z łącznie 336 dyskami twardymi SAS 336 x 8 TB NL 7,2 tys. obr./min
Obudowa pamięci masowej metadanych	1 dysk ME4024 z 24 dyskami SSD SAS 960 GB. Obsługa do 4,68 B wędów
Kontrolery RAID	Dwukierunkowe kontrolery SAS RAID w obudowach ME4084 i ME4024
System operacyjny	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Wersja systemu BIOS	1.4.5
Wersja Intel Omni-Path IFS	10.8.0.0
Wersja systemu plików Lustre	2.10.4
Wersja IML	4.0.7.0

Dane testowe zostały wybrane z jednego z genomów Illumina Platinum. ERR194161 została przetworzona przy użyciu oprogramowania Illumina HiSeq 2000 przekazanego przez firmę Illumina i można ją pobrać z EMBL-EBI. Identyfikator DNA tej osoby jest NA12878. Opis danych z powiązanej witryny internetowej pokazuje, że ten przykład ma >30-ową głębokość zasięgu.

Ocena wydajności

Wydajność jednego przykładu wielu węzłów

Na rysunku 1 podsumowano czas wykonywania w różnych próbkach i węzłach obliczeniowych z 50x sekwencjonowania pełnego genomu (WGS). Testy wykonywane tutaj mają na celu wykazanie wydajności na poziomie serwera, a nie dla porównania poszczególnych komponentów. Punkty danych na rysunku 1 są obliczane na podstawie łącznej liczby próbek, jednej próby na węzeł obliczeniowy (oś X na rysunku), które są przetwarzane jednocześnie. Szczegółowe informacje o potoku BWA-GATK można uzyskać w witrynie internetowej Broad Institute (3). Maksymalna liczba węzłów obliczeniowych używanych w testach to 64x C6420s. C6420s z Lustre ME4 wykazuje lepsze działanie skalowania niż Lustre MD3.

 
Rysunek 1. Porównanie wydajności lustre MD3 i Lustre ME4

Wydajność wielu przykładowych węzłów

Typowym sposobem uruchomienia potoku NGS jest uruchomienie wielu próbek w węźle obliczeniowym i użycie wielu węzłów obliczeniowych w celu zmaksymalizowania przepustowości procesu danych NGS. Liczba węzłów obliczeniowych używanych w testach to 64 węzłów obliczeniowych C6420, a liczba próbek na węzeł wynosi pięć próbek. Nawet 320 próbek jest przetwarzanych jednocześnie w celu oszacowania maksymalnej liczby genomów dziennie bez niepowodzenia zadania.
Jak pokazano na rysunku 2, pojedynczy węzeł obliczeniowy C6420 może przetwarzać 3,24 z 50x genomów całego człowieka dziennie, gdy jednocześnie przetwarzanych jest 5 próbek. Dla każdego przykładu przydzielane jest 7 rdzeni i 30 GB pamięci. 

 
Rysunek 2. Testy przepustowości z maks. 64 C6420 i Lustre ME4

320 z 50 genomów całego człowieka można przetwarzać przy użyciu 64 węzłów obliczeniowych C6420 w 40 godzin.  Innymi słowy, wydajność konfiguracji testowej podsumowuje 194 genomy dziennie dla całego genomu ludzkiego z 50-ową głębokością zasięgu.

Wnioski

Ponieważ rozmiar danych w ramach WGS stale rośnie. Bieżący średni rozmiar WGS to 50x. Jest to 5-krotnie większa wartość niż standardowo 4 lata temu, kiedy rozpoczynaliśmy test porównawczy potoku BWA-GATK. Coraz większe dane nie obciążają pojemności pamięci masowej, ponieważ większość aplikacji w potoku jest również powiązana z szybkością zegara procesora. W związku z tym przy rosnącym rozmiarze danych potok działa dłużej, zamiast generować więcej zapisów.
Jednak w trakcie procesu generowana jest większa liczba plików tymczasowych ze względu na konieczność równoległości większej ilości danych, a ta zwiększona liczba otwartych plików tymczasowych w tym samym czasie wyczerpuje otwarty limit plików w systemie operacyjnym Linux. Jedna z aplikacji w trybie cichym nie została ukończona przez osiągnięcie limitu liczby otwartych plików. Prostym rozwiązaniem jest zwiększenie limitu do >150 tys. obr./min. 
Mimo to rozwiązanie Ready Solution z Lustre ME4 jako przestrzenią do zarysowania ma lepszą przepustowość niż w poprzedniej wersji. Rozwiązanie Ready Solution dla 64 węzłów zapewnia moc przetwarzania 194 genomów dziennie dla 50x WGS.

Resources 

1. Ankieta narzędzi do analizy wariantów danych sekwencjonowania genomu nowej generacji. Pabilla S, Dander A,Hibilla M, Snajder R, Sperk M, Emc M, Nabyty B, Speicher MR, Zschocke J, Trajanoski Z. 2, s.l. : Krótki opis systemu BIOINFORM, 2014 marca, wew. 15 (2). 10.1093/bib/bbs086.
2. Rozwiązanie Dell EMC Ready dla pamięci masowej HPC Lustre.  (Artykuł nie jest już dostępny do użytku referencyjnego, pobierany przez zespół HPC)
3. Zestaw narzędzi do analizy genomu. https://software.broadinstitute.org/gatk/