Article Number: 000128808
Ten blog zawiera informacje na temat najważniejszych funkcji rozwiązań Dell EMC Ready Dla pamięci masowej HPC BeeGFS, które zostały niedawno opublikowane. Jest to trzeci blog z serii dotyczący rozwiązania BeeGFS High Performance Storage. Pierwszy wpis na blogu informuje o wprowadzeniu rozwiązania. W drugim blogu opisano skalowalność rozwiązań Dell EMC Ready dla pamięci masowej HPC BeeGFS. Zawiera szczegółowe informacje na temat podstawowych konfiguracji, elastycznych, skalowalnych konfiguracji i rzeczywistej wydajności odczytu/zapisu sekwencyjnego różnych konfiguracji, wskazując, że skalowalność jest liniowa w odniesieniu do liczby serwerów w rozwiązaniu. Bieżący blog podkreśli wykorzystanie "StorageBench", wbudowanego testu porównawczego celów pamięci masowej BeeGFS.
BeeGFS to system plików typu open source, który można pobrać z www.beegfs.io. Jest to równoległy system plików, który dystrybuuje dane między wieloma celami pamięci masowej. Jest to pamięć masowa zdefiniowana programowo, która oddzieli logiczny system plików od podstawowego sprzętu pamięci masowej, co pozwala użytkownikowi określić sposób i miejsce przechowywania danych. Oprogramowanie systemu plików zawiera funkcje dla przedsiębiorstw, takie jak wysoka dostępność, egzekwowanie limitów i listy kontroli dostępu. Najważniejsze cechy BeeGFS to łatwość obsługi, skalowalność i elastyczność. Łatwość obsługi wynika z faktu, że wszystkie komponenty po stronie serwera są demonami przestrzeni użytkownika, podczas gdy klient jest modułem jądra, który nie wymaga żadnych poprawek w samym jądrze. Wszystkie komponenty BeeGFS można instalować i aktualizować bez ponownego uruchamiania serwera. W ten sposób można dodać klientów i serwery do istniejącego systemu bez przestojów. Po dodaniu serwerów i dysków wydajność i pojemność systemu plików można skalować bardziej w blogu, do który łącze prowadzi tutaj. BeeGFS obsługuje wiele dystrybucji systemu Linux i jest przeznaczony do pracy z lokalnym systemem plików zgodnym z POSIX. BeeGFS obsługuje również uruchamianie wielu wystąpień danej usługi na tym samym serwerze.
Rozwiązania Dell EMC Ready dla pamięci masowej HPC BeeGFS wykorzystują wszystkie kluczowe funkcje systemu plików BeeGFS i zostały zaprojektowane z kątem wysokiej wydajności. Rozwiązanie wykorzystuje serwery PowerEdge R740xd do przechowywania i obsługi/przetwarzania metadanych i danych. Każdy serwer PowerEdge R740xd ma dyski SSD Intel P4600 NVMe 24x1,6 TB, które są uznawane za drugi duży krok w technologii napędów, a pierwszymi są dyski SSD. W środowiskach HPC zarysowania często mogą być czynnikiem ograniczającym. Może być zbyt mały lub zbyt wolny. Rozwiązania Dell EMC Ready dla pamięci masowej HPC BeeGFS są przeznaczone do stosowania jako zarysowanie i służą do przechowywania w zarysowaniach przy użyciu systemu plików BeeGFS.
BeeGFS zawiera dwa wbudowane narzędzia do testów porównawczych, które mogą pomóc w charakterystyki lub ocenie sieci lub pamięci masowej NetBench i StorageBench . Gdy tryb NetBench jest włączony, serwery odrzucają odebrane żądania zapisu zamiast zapisywania danych. Podobnie, w przypadku żądań odczytu, zamiast odczytu z podstawowego systemu plików, do klientów zostaną wysłane tylko bufory pamięci. Tryb NetBench jest przeznaczony do testowania przepustowości przesyłania strumieniowego sieci niezależnie od dysków bazowych. Z drugiej strony storagebench służy do pomiaru przepustowości przesyłania strumieniowego podstawowego systemu plików niezależnie od wydajności sieci. StorageBench to test porównawczy pamięci masowej, który nie korzysta z sieci. Polecenie storage-bench po prostu wysyła żądanie do celów pamięci masowej, aby rozpocząć zapis/odczyt danych. W ten sposób eliminujemy wpływ sieci. Dane wyjściowe uzyskiwane z poziomu ładu pamięci masowej to najlepsza wydajność, jaką system może osiągnąć, jeśli wydajność sieci jest idealna. Ten blog ilustruje sposób, w jaki storagebench można porównać wydajność różnych celów pamięci masowej, a tym samym zidentyfikować uszkodzone lub nieprawidłowo skonfigurowane cele.
StorageBench nie korzysta z zamontowanego systemu plików. Po uruchomieniu storagebench jest tylko jeden cel na plik. Storagebench tworzy katalog na każdym urządzeniu docelowym pamięci masowej w systemie, w którym pliki testowe są tworzone równą liczbie wątków testowych. Dane są przesyłane strumieniowo bezpośrednio do tego, aby pokazać niską przepustowość dostępną dla każdego obiektu docelowego pamięci masowej. Bez jakiejkolwiek komunikacji sieciej nie można przeprowadzić symulacji przepięć plików. Wyniki testu porównawczego pamięci masowej są więc raczej porównywalne z we/wy klienta z wyłączonym przepięciem. Po uruchomieniu rzeczywistych testów porównawczych plik zostanie rozłożony przez 4 cele pamięci masowej, jeśli zostanie przyjęty domyślny wzór przepiętości.
W celu przetestowania różnych celów pamięci masowej użyto małych i średnich konfiguracji opisanych w blogu na temat skalowalności rozwiązania pamięci masowej Dell EMC BeeGFS. Obie konfiguracje mają taką samą liczbę celów metadanych skonfigurowanych w macierzy RAID 1. Różnią się one w przypadku konfiguracji RAID celów pamięci masowej. Podczas gdy mała konfiguracja ma pamięć masową, cele skonfigurowane w macierzy RAID 0 z 6 dysków, w konfiguracji średniej skonfigurowano cele pamięci masowej w macierzy RAID 10 z 6 dysków. Wartości docelowe pamięci masowej skonfigurowane w konfiguracji dla małych i średnich urządzeń są opisane poniżej:
| Tabela 1 Konfiguracja stanowiska testowego | ||
|---|---|---|
| Konfiguracja | Średni — RAID 10 dla celów pamięci masowej | Małe — RAID 0 dla celów pamięci masowej |
| Liczba celów metadanych | 6 | 6 |
| Liczba instancji usługi metadanych | 6 | 6 |
| Liczba serwerów pamięci masowej | 5 | 2 |
| Liczba celów w zakresie pamięci masowej | 22 | 10 |
| Liczba usług pamięci masowej na serwer | 4 | 4 |
| Liczba usług pamięci masowej na strefę NUMA | 2 | 2 |
| Liczba celów na instancję usługi pamięci masowej | 2 | 2 |
Uwaga: Powyższa konfiguracja nośnika jest przeznaczona tylko do testowania przepustowości celów pamięci masowej skonfigurowanych w różnych konfiguracjach RAID za pomocą narzędzia StorageBench.
Test porównawczy pamięci masowej jest uruchamiany i monitorowany za pomocą narzędzia Beegfs-ctl. Pakiet beegfs-utils zapewnia narzędzie wiersza poleceń beegfs-ctl, którego można użyć do uruchomienia testu porównawczego celów pamięci masowej. W poniższym przykładzie rozpoczyna się test porównawczy zapisu na wszystkich celach wszystkich serwerów pamięci masowej BeeGFS o rozmiarze bloku we/wy 512 KB, przy użyciu 16 wątków na cel, z których każdy będzie zapisywał 200 Gb danych we własnym pliku.
[root@stor1 ~]# beegfs-ctl --storagebench --alllogicets --write --blocksize=512K --size=200G --threads=16
Uruchomiono test pamięci masowej zapisu.
Stan można sprawdzić za pomocą argumentu --status beegfs-ctl.
Stan testu porównawczego serwera:
uruchamianie: 10
"Uruchamianie: Dane wyjściowe 10" wskazują, że w systemie skonfigurowano łącznie 10 celów pamięci masowej.
Aby sprawdzić stan testu porównawczego/wyniki wszystkich celów, można wykonać następujące polecenie:
[root@stor1 ~]# beegfs-ctl --storagebench --alletsets --status
server benchmark status:
Finished: Wyniki testu porównawczego 10
zapisu:
minimalna przepustowość: 4692435 identyfikator węzła KiB/s: stor1-numa0-2 [identyfikator: 6], targetID: Maks. przepustowość 50
: 5368537 Identyfikator węzła KiB/s: meta-stor-numa1-2 [identyfikator: 2], targetID: Przepustowość 48
średnia: Zagregowana przepustowość 4907091 KiB/s
: 49070915 KiB/s
Dodanie pełnej informacji do powyższego polecenia powoduje wyświetlenie listy wszystkich obiektów docelowych i ich odpowiedniej przepustowości.
[root@meta-stor ~]# beegfs-ctl --storagebench --allets --status --verbose
Server benchmark status:
Finished: Wyniki testu porównawczego 10
zapisu:
minimalna przepustowość: 4692435 identyfikator węzła KiB/s: stor1-numa0-2 [identyfikator: 6], targetID: Maks. przepustowość 6
: 5368537 Identyfikator węzła KiB/s: meta-stor-numa1-2 [identyfikator: 2], targetID: Przepustowość 2
średnia: Zagregowana przepustowość 4907091 KiB/s
:
49070915 List of all targets:
1 5368477 KiB/s nodeID: meta-stor-numa1-1 [identyfikator: 1]
2 5368537 KiB/s nodeID: meta-stor-numa1-2 [identyfikator: 2]
3 4706368 KiB/s nodeID: stor1-numa0-1 [identyfikator: 3]
4 4896077 Identyfikator węzła KiB/s: stor1-numa1-1 [identyfikator: 4]
5 4872876 Identyfikator węzła KiB/s: stor1-numa1-2 [identyfikator: 5]
6 4692435 Identyfikator węzła KiB/s: stor1-numa0-2 [identyfikator: 6]
7 4879054 Identyfikator węzła KiB/s: stor2-numa1-2 [identyfikator: 7]
8 4864737 KiB/s nodeID: stor2-numa1-1 [identyfikator: 8]
9 4696152 Identyfikator węzła KiB/s: stor2-numa0-1 [identyfikator: 9]
10 4726202 KiB/s nodeID: stor2-numa0-2 [identyfikator: 10]
Średnia przepustowość na cel pamięci masowej skonfigurowany w macierzy RAID 0 to 5,02 GB/s.
W poniższym przykładzie rozpoczyna się test porównawczy zapisu na wszystkich celach wszystkich serwerów pamięci masowej BeeGFS o rozmiarze bloku we/wy 512 KB, przy użyciu 16 wątków na cel, z których każdy będzie zapisywał 200 Gb danych we własnym pliku.
[root@node001 ~]# beegfs-ctl --storagebench --alllogicets --write --blocksize=512K --size=200G --threads=16
Uruchomiono test pamięci masowej zapisu.
Stan można sprawdzić za pomocą argumentu --status beegfs-ctl.
Stan testu porównawczego serwera:
uruchamianie: 22
Dodanie pełnej informacji do powyższego polecenia powoduje wyświetlenie listy wszystkich obiektów docelowych i ich odpowiedniej przepustowości.
[root@node001 ~]# beegfs-ctl --storagebench --allets --status --verbose
Server benchmark status:
Finished: Wyniki testu porównawczego 22
zapisu:
minimalna przepustowość: 2705987 Identyfikator węzła KiB/s: node006-numa0-1 [identyfikator: 19], targetID: 1
maksymalna przepustowość: 3364311 Identyfikator węzła KiB/s: node001-numa1-1 [identyfikator: 1], targetID: 1
Średnia przepustowość: 3212845 Zagregowana przepustowość KiB/s
: 70682603 KiB/sLista wszystkich celów:
1 3364311 Identyfikator węzła KiB/s: node001-numa1-1 [ID: 1]
2 3361591 Identyfikator węzła KiB/s: node001-numa1-2 [identyfikator: 2]
3 3309530 Identyfikator węzła KiB/s: node002-numa0-1 [identyfikator: 3]
4 3312840 KiB/s nodeID: node002-numa0-2 [identyfikator: 4]
5 3332095 KiB/s nodeID: node002-numa1-1 [identyfikator: 5]
6 3323319 Identyfikator węzła KiB/s: node002-numa1-2 [identyfikator: 6]
7 3313000 KiB/s nodeID: node003-numa0-1 [identyfikator: 7]
8 3321214 Identyfikator węzła KiB/s: node003-numa0-2 [identyfikator: 8]
9 3335072 Identyfikator węzła KiB/s: node003-numa1-1 [identyfikator: 9]
10 3339743 Identyfikator węzła KiB/s: node003-numa1-2 [identyfikator: 10]
11 3302175 KiB/s nodeID: node004-numa0-1 [identyfikator: 11]
12 3309474 KiB/s nodeID: node004-numa0-2 [identyfikator: 12]
13 3329879 Identyfikator węzła KiB/s: node004-numa1-1 [identyfikator: 13]
14 3328291 Identyfikator węzła KiB/s: node004-numa1-2 [identyfikator: 14]
15 3306132 Identyfikator węzła KiB/s: node005-numa0-1 [identyfikator: 15]
16 3307096 Identyfikator węzła KiB/s: node005-numa0-2 [identyfikator: 16]
17 3318436 KiB/s nodeID: node005-numa1-1 [identyfikator: 17]
18 3329684 KiB/s nodeID: node005-numa1-2 [identyfikator: 18]
19 2705987 KiB/s nodeID: node006-numa0-1 [identyfikator: 19]
20 2716438 KiB/s nodeID: node006-numa0-2 [identyfikator: 20]
21 2707970 Identyfikator węzła KiB/s: node006-numa1-1 [identyfikator: 21]
22 2708326 KiB/s nodeID: node006-numa1-2 [identyfikator: 22]
Średnia przepustowość na cel pamięci masowej wynosi 3,29 GB/s.
Z wyników testów porównawczych StorageBench przeprowadzonych na dwóch różnych konfiguracjach BeeGFS, jednej z celami pamięci masowej skonfigurowanymi w macierzy RAID 0, a drugiej z celami pamięci masowej skonfigurowanymi w macierzy RAID 10, widać, że wydajność zapisu jest lepsza w przypadku celów pamięci masowej skonfigurowanych w macierzy RAID 0, a nie w macierzy RAID 10. Kiedy polecenie dd było używane do zapisu pliku 10G z rozmiarem bloku 1M i "oflag=direct", średnia wynosiła około 5,1 GB/s dla małego systemu skonfigurowanego w macierzy RAID 0, podczas gdy średnia przepustowość wynosiła około 3,4 GB/s w przypadku średniego systemu skonfigurowanego w macierzy RAID 10, co jest porównywalne z wynikami uzyskanymi za pomocą narzędzia storagebench.
[root@node001 ~]# beegfs-ctl --storagebench --allets --status --verbose
Server benchmark status:
Finished: Wyniki testu porównawczego 33
odczytu:
minimalna przepustowość: 2830479 Identyfikator węzła KiB/s: node003-numa1-2 [identyfikator: 14], targetID: Maks. przepustowość 14
: 3025500 KiB/s nodeID: node005-numa0-1 [identyfikator: 22], targetID: Przepustowość 22
. generacji: Łączna przepustowość 2917836 KiB/s
:
96288596 List of all targets:
1 2950039 KiB/s nodeID: node001-numa1-1 [identyfikator: 1]
2 2956121 Identyfikator węzła KiB/s: node001-numa1-2 [identyfikator: 2]
3 2954473 KiB/s nodeID: node001-numa1-3 [identyfikator: 3]
4 2957658 Identyfikator węzła KiB/s: node002-numa0-1 [identyfikator: 4]
5 2947109 KiB/s nodeID: node002-numa0-2 [identyfikator: 5]
6 2969886 Identyfikator węzła KiB/s: node002-numa0-3 [identyfikator: 6]
7 2892578 KiB/s nodeID: node002-numa1-1 [identyfikator: 7]
8 2886899 Identyfikator węzła KiB/s: node002-numa1-2 [identyfikator: 8]
9 2888972 Identyfikator węzła KiB/s: node002-numa1-3 [identyfikator: 9]
10 2861995 Identyfikator węzła KiB/s: node003-numa0-1 [identyfikator: 10]
11 2874314 KiB/s nodeID: node003-numa0-2 [identyfikator: 11]
12 2879096 Identyfikator węzła KiB/s: node003-numa0-3 [identyfikator: 12]
13 2832635 KiB/s nodeID: node003-numa1-1 [identyfikator: 13]
14 2830479 KiB/s nodeID: node003-numa1-2 [identyfikator: 14]
15 2830971 KiB/s nodeID: node003-numa1-3 [identyfikator: 15]
16 2986890 KiB/s nodeID: node004-numa0-1 [identyfikator: 16]
17 2979197 KiB/s nodeID: node004-numa0-2 [identyfikator: 17]
18 2983958 KiB/s nodeID: node004-numa0-3 [identyfikator: 18]
19 2897974 Identyfikator węzła KiB/s: node004-numa1-1 [identyfikator: 19]
20 2900880 KiB/s nodeID: node004-numa1-2 [identyfikator: 20]
21 2904036 KiB/s nodeID: node004-numa1-3 [identyfikator: 21]
22 3025500 KiB/s nodeID: node005-numa0-1 [identyfikator: 22]
23 3021558 Identyfikator węzła KiB/s: node005-numa0-2 [identyfikator: 23]
24 3017387 Identyfikator węzła KiB/s: node005-numa0-3 [identyfikator: 24]
25 2921480 Identyfikator węzła KiB/s: node005-numa1-1 [identyfikator: 25]
26 2930226 Identyfikator węzła KiB/s: node005-numa1-2 [identyfikator: 26]
27 2930548 Identyfikator węzła KiB/s: node005-numa1-3 [identyfikator: 27]
28 2900018 KiB/s nodeID: node006-numa0-1 [identyfikator: 28]
29 2898520 KiB/s nodeID: node006-numa0-2 [identyfikator: 29]
30 2907113 KiB/s nodeID: node006-numa0-3 [identyfikator: 30]
31 2855079 KiB/s nodeID: node006-numa1-1 [identyfikator: 31]
32 2853527 Identyfikator węzła KiB/s: node006-numa1-2 [identyfikator: 32]
33 2861480 KiB/s nodeID: node006-numa1-3 [identyfikator: 33]
Z powyższych danych wyjściowych wynika, że wszystkie cele pamięci masowej działają równomiernie i nie ma uszkodzonych celów w systemie.
PowerSwitch S3048-ON, Mellanox SB7800 Series, PowerEdge R640, PowerEdge R740XD
03 Oct 2023
5
Solution