Article Number: 000128808
Tento blog se zabývá nejdůležitějšími funkcemi řešení Dell EMC Ready Solutions pro úložiště HPC BeeGFS , které byly nedávno představeny. Toto je třetí blog v řadě, který se týká vysoce výkonného úložného řešení BeeGFS. První blog ohlásil vydání řešení. Druhý blog se zabývá škálovatelností řešení Dell EMC Ready pro úložiště HPC BeeGFS. Poskytla podrobnosti o základních konfiguracích, flexibilních škálovatelných konfiguracích a skutečném měřeném výkonu sekvenčního čtení/zápisu různých konfigurací, které dokládají, že škálovatelnost je lineární s ohledem na počet serverů v řešení. Aktuální blog upozorňuje na použití srovnávacího testu cílů vestavěného úložiště BeeGFS "StorageBench".
BeeGFS je open source souborový systém, který lze stáhnout ze www.beegfs.io. Jedná se o paralelní souborový systém, který distribuuje data na více cílů úložiště. Jde o softwarově definované úložiště, které odděluje logický souborový systém od základního hardwaru úložiště a umožňuje uživateli definovat, jak a kde jsou data uložena. Software systému souborů obsahuje podnikové funkce, jako je vysoká dostupnost, vynucení kvót a seznamy řízení přístupu. Hlavní funkce softwaru BeeGFS jsou snadné použití, škálovatelnost a flexibilita. Jeho snadné používání pochází ze skutečnosti, že všechny komponenty na straně serveru jsou démony v uživatelském prostoru, zatímco klient je modul jádra, který nevyžaduje žádné opravy samotného jádra. Všechny součásti systému BeeGFS lze nainstalovat a aktualizovat bez restartování serveru. Takže můžeme do stávajícího systému přidat klienty a servery bez jakýchkoli prostojů. Přidáním serverů a jednotek lze výkon a kapacitu souborového systému rozšířit více v blogu, na který odkazujeme zde. Systém BeeGFS podporuje více distribucí systému Linux a je navržen tak, aby fungoval s jakýmkoli místním souborovým systémem kompatibilním se systémem POSIX. Funkce BeeGFS také podporuje spuštění několika instancí dané služby na stejném serveru.
Řešení Dell EMC Ready Solutions pro úložiště HPC BeeGFS využívají všechny klíčové funkce souborového systému BeeGFS a jsou navržena pro vysoký výkon. Řešení využívá servery PowerEdge R740xd k ukládání a vyřízení metadat a dat a zpracování. Každý server PowerEdge R740xd má 24 disků SSD Intel P4600 NVMe o rychlosti 1,6 TB, které jsou považovány za druhý zásadní posun v technologii disků, přičemž první jsou disky SSD. V prostředí superpočítači může být stírací prostor často omezujícím faktorem. Může být příliš malý nebo příliš pomalý. Řešení Dell EMC Ready Solutions pro úložiště HPC BeeGFS jsou navržena k použití jako scratch solution a slouží k poškrábání pomocí souborového systému BeeGFS.
Řešení BeeGFS obsahuje dva vestavěné srovnávací nástroje, které mohou pomoci charakterizovat nebo vyhodnotit síť nebo úložiště NetBench a StorageBench . Je-li povolen režim NetBench, servery namísto zápisu dat zahodí přijaté požadavky na zápis. Obdobně platí, že v případě požadavků na čtení budou klientům namísto čtení z základního souborového systému odeslány pouze vyrovnávací paměti. Režim NetBench je určen k testování propustnosti streamování sítě nezávisle na základních discích. Na druhou stranu má nástroj StorageBench měřit propustnost streamování základního souborového systému nezávisle na výkonu sítě. StorageBench je srovnávací test cílů úložiště, který nevyužívá síť. Příkaz storage-bench jednoduše odešle požadavek na cíle úložiště, aby začal psát/číst data. Tím eliminujeme dopad sítě. Výstup z řady úložišť je nejlepší výkon, kterého může systém dosáhnout, pokud je výkon sítě ideální. Tento blog ilustruje, jak lze software StorageBench použít k porovnání výkonu různých cílů úložiště a tudíž k identifikaci vadných nebo špatně nakonfigurovaných cílů.
Systém StorageBench nepoužívá připojený souborový systém. Při spuštění nástroje StorageBench je k dispozici pouze jeden cíl na soubor. Nástroj Storagebench vytvoří adresář na každém cílovém úložišti v systému, kde jsou testovací soubory vytvořeny stejně jako počet testovacích vláken. Data jsou streamována přímo do tohoto úložiště, aby byla u každého cílového úložiště dostupná propustnost nízké úrovně. Bez jakékoli síťové komunikace nelze simulovat prokládání souborů. Výsledky srovnávacích testů úložiště jsou tedy poměrně srovnatelné s IO klienta s deaktivovaným prokládáním. Při spuštění skutečných srovnávacích testů se soubor prokládání přes 4 cíle úložiště, pokud je přijata výchozí sekvence prokládání.
Pro účely testování různých cílů úložiště byly použity malé a střední konfigurace popsané v blogu o škálovatelnosti úložného řešení Dell EMC BeeGFS. Obě konfigurace mají stejný počet cílů metadat nakonfigurovaných v poli RAID 1. Liší se v konfiguraci RAID cílů úložiště. Zatímco malá konfigurace obsahuje úložiště, cíle konfigurované v poli RAID 0 se 6 disky, střední konfigurace má cíle úložiště konfigurované v poli RAID 10 se 6 disky. Cíle úložiště nakonfigurované v nastavení Small a Medium jsou uvedeny níže:
| Tabulka 1 Konfigurace testbedu | ||
|---|---|---|
| Konfigurace | Střední – RAID 10 pro cíle úložišť | Small – RAID 0 pro cíle úložišť |
| Počet cílů metadat | 6 | 6 |
| Počet instancí služby metadat | 6 | 6 |
| Počet úložných serverů | 5 | 2 |
| Počet cílů úložiště | 22 | 10 |
| Počet úložných služeb na server | 4 | 4 |
| Počet služeb úložiště podle zóny NUMA | 2 | 2 |
| Počet cílů pro každou instanci služby úložiště | 2 | 2 |
Poznámka: Výše uvedená konfigurace nastavení média je instalovaná pouze za účelem testování propustnosti cílů úložiště konfigurovaných v různých konfiguracích RAID pomocí nástroje StorageBench.
Srovnávací test úložiště se spouští a monitoruje pomocí nástroje beegfs-ctl. Balíček beegfs-utils poskytuje nástroj příkazového řádku beegfs-ctl, který lze použít ke spuštění srovnávacích testů cílů úložiště. V následujícím příkladu se spustí srovnávací test zápisu na všech cílech všech úložných serverů BeeGFS s velikostí bloku IO 512 kB, s využitím 16 vláken na cíl, z nichž každá zapíše 200 Gb dat do vlastního souboru.
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Stav můžete dotázat pomocí argumentu --status parametru beegfs-ctl.
Stav srovnávacího testu serveru:
Spuštěno: 10
"Running: (Spuštěno: 10" výstup znamená, že v systému je nakonfigurováno celkem 10 cílů úložiště.
Chcete-li zjistit stav/výsledky srovnávacího testu všech cílů, lze spustit následující příkaz:
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Stav srovnávacího testu serveru:
Dokončeno: 10
výsledků srovnávacího testu zápisu:
Minimální propustnost: 4692435 KiB/s nodeID: stor1-numa0-2 [ID: 6], targetID: Maximální propustnost 50
: 5368537 KiB/s nodeID: meta-stor-numa1-2 [ID: 2], targetID: Průměrná propustnost 48
: 4907091 agregovaná propustnost KiB/s
: 49070915 KIB/s
Pokud k výše uvedenému příkazu přidáte podrobné příkazy, zobrazí se seznam všech cílů a jejich příslušná propustnost.
[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose stav srovnávacího
testu serveru:
Finished: 10
výsledků srovnávacího testu zápisu:
Minimální propustnost: 4692435 KiB/s nodeID: stor1-numa0-2 [ID: 6], targetID:
Maximální propustnost: 5368537 KiB/s nodeID: meta-stor-numa1-2 [ID: 2], targetID: 2
Průměrná propustnost: 4907091 agregovaná propustnost KiB/s
: 49070915 KiB/s
Seznam všech cílů:
1 5368477 KiB/s nodeID: meta-stor-numa1-1 [ID: 1]
2 5368537 KiB/s nodeID: meta-stor-numa1-2 [ID: 2]
3 4706368 KiB/s nodeID: stor1-numa0-1 [ID: 3]
4 4896077 KiB/s nodeID: stor1-numa1-1 [ID: 4]
5 4872876 KiB/s nodeID: stor1-numa1-2 [ID: 5]
6 4692435 KiB/s nodeID: stor1-numa0-2 [ID: 6]
7 4879054 KiB/s nodeID: stor2-numa1-2 [ID: 7]
8 4864737 KiB/s nodeID: stor2-numa1-1 [ID: 8]
9 4696152 KiB/s nodeID: stor2-numa0-1 [ID: 9]
10 4726202 KiB/s nodeID: stor2-numa0-2 [ID: 10]
Průměrná propustnost na cíl úložiště konfigurovaná v poli RAID 0 je 5,02 GB/s.
V následujícím příkladu se spustí srovnávací test zápisu na všech cílech všech úložných serverů BeeGFS s velikostí bloku IO 512 kB, s využitím 16 vláken na cíl, z nichž každá zapíše 200 Gb dat do vlastního souboru.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Stav můžete dotázat pomocí argumentu --status parametru beegfs-ctl.
Stav srovnávacího testu serveru:
Spuštěno: 22
Pokud k výše uvedenému příkazu přidáte podrobné příkazy, zobrazí se seznam všech cílů a jejich příslušná propustnost.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
stav srovnávacího testu serveru:
dokončeno: 22
Výsledky srovnávacího testu zápisu:
Minimální propustnost: 2705987 KiB/s nodeID: node006-numa0-1 [ID: 19], targetID: 1
maximální propustnost: 3364311 KiB/s nodeID: node001-numa1-1 [ID: 1], targetID: 1
Průměrná propustnost: 3212845 agregovaná propustnost KiB/s
: 70682603 KiB/sSeznam všech cílů:
1 3364311 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 3361591 KiB/s nodeID: node001-numa1-2 [ID: 2]
3 3309530 KiB/s nodeID: node002-numa0-1 [ID: 3]
4 3312840 KiB/s nodeID: node002-numa0-2 [ID: 4]
5 3332095 KiB/s nodeID: node002-numa1-1 [ID: 5]
6 3323319 KiB/s nodeID: node002-numa1-2 [ID: 6]
7 3313000 KiB/s nodeID: node003-numa0-1 [ID: 7]
8 3321214 KiB/s nodeID: node003-numa0-2 [ID: 8]
9 3335072 KiB/s nodeID: node003-numa1-1 [ID: 9]
10 3339743 KiB/s nodeID: node003-numa1-2 [ID: 10]
11 3302175 KiB/s nodeID: node004-numa0-1 [ID: 11]
12 3309474 KiB/s nodeID: node004-numa0-2 [ID: 12]
13 3329879 KiB/s nodeID: node004-numa1-1 [ID: 13]
14 3328291 KiB/s nodeID: node004-numa1-2 [ID: 14]
15 3306132 KiB/s nodeID: node005-numa0-1 [ID: 15]
16 3307096 KiB/s nodeID: node005-numa0-2 [ID: 16]
17 3318436 KiB/s nodeID: node005-numa1-1 [ID: 17]
18 3329684 KiB/s nodeID: node005-numa1-2 [ID: 18]
19 2705987 KiB/s nodeID: node006-numa0-1 [ID: 19]
20 2716438 KiB/s nodeID: node006-numa0-2 [ID: 20]
21 2707970 KiB/s nodeID: node006-numa1-1 [ID: 21]
22 2708326 KiB/s nodeID: node006-numa1-2 [ID: 22]
Průměrná propustnost na cíl úložiště je 3,29 GB/s.
Z výstupu srovnávacích testů StorageBench provedených na dvou různých nastaveních BeeGFS, jednom s cíli úložiště konfigurovaných v poli RAID 0 a další s cíli úložiště konfigurovaných v poli RAID 10, je zřejmé, že výkon zápisu je lepší díky cílům úložiště konfigurovaných v poli RAID 0, nikoli v poli RAID 10. Když byl příkaz dd použit k zápisu souboru 10G s velikostí bloku 1M a "oflag=direct", měl průměr pro malý systém konfigurovaný v poli RAID 0 přibližně 5,1 Gbit/s, zatímco průměrná propustnost byla přibližně 3,4 Gbit/s pro střední systém konfigurovaný v poli RAID 10, což je srovnatelné s výsledky získanými pomocí nástroje storagebench.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
stav srovnávacího testu serveru:
dokončeno: 33
Výsledky srovnávacího testu čtení:
Minimální propustnost: 2830479 KiB/s nodeID: node003-numa1-2 [ID: 14], targetID: 14
Maximální propustnost: 3025500 KiB/s nodeID: node005-numa0-1 [ID: 22], targetID: 22
Průměrná propustnost: 2917836 agregovaná propustnost KiB/s
: 96288596 KiB/s
Seznam všech cílů:
1 2950039 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 2956121 KiB/s nodeID: node001-numa1-2 [ID: 2]
3 2954473 KiB/s nodeID: node001-numa1-3 [ID: 3]
4 2957658 KiB/s nodeID: node002-numa0-1 [ID: 4]
5 2947109 KiB/s nodeID: node002-numa0-2 [ID: 5]
6 2969886 KiB/s nodeID: node002-numa0-3 [ID: 6]
7 2892578 KiB/s nodeID: node002-numa1-1 [ID: 7]
8 2886899 KiB/s nodeID: node002-numa1-2 [ID: 8]
9 2888972 KiB/s nodeID: node002-numa1-3 [ID: 9]
10 2861995 KiB/s nodeID: node003-numa0-1 [ID: 10]
11 2874314 KiB/s nodeID: node003-numa0-2 [ID: 11]
12 2879096 KiB/s nodeID: node003-numa0-3 [ID: 12]
13 2832635 KiB/s nodeID: node003-numa1-1 [ID: 13]
14 2830479 KiB/s nodeID: node003-numa1-2 [ID: 14]
15 2830971 KiB/s nodeID: node003-numa1-3 [ID: 15]
16 2986890 KiB/s nodeID: node004-numa0-1 [ID: 16]
17 2979197 KiB/s nodeID: node004-numa0-2 [ID: 17]
18 2983958 KiB/s nodeID: node004-numa0-3 [ID: 18]
19 2897974 KiB/s nodeID: node004-numa1-1 [ID: 19]
20 2900880 KiB/s nodeID: node004-numa1-2 [ID: 20]
21 2904036 KiB/s nodeID: node004-numa1-3 [ID: 21]
22 3025500 KiB/s nodeID: node005-numa0-1 [ID: 22]
23 3021558 KiB/s nodeID: node005-numa0-2 [ID: 23]
24 3017387 KiB/s nodeID: node005-numa0-3 [ID: 24]
25 2921480 KiB/s nodeID: node005-numa1-1 [ID: 25]
26 2930226 KiB/s nodeID: node005-numa1-2 [ID: 26]
27 2930548 KiB/s nodeID: node005-numa1-3 [ID: 27]
28 2900018 KiB/s nodeID: node006-numa0-1 [ID: 28]
29 2898520 KiB/s nodeID: node006-numa0-2 [ID: 29]
30 2907113 KiB/s nodeID: node006-numa0-3 [ID: 30]
31 2855079 KiB/s nodeID: node006-numa1-1 [ID: 31]
32 2853527 KiB/s nodeID: node006-numa1-2 [ID: 32]
33 2861480 KiB/s nodeID: node006-numa1-3 [ID: 33]
Z výše uvedeného výstupu je zřejmé, že všechny cíle úložiště pracují jednotně a v systému nejsou žádné vadné cíle.
PowerSwitch S3048-ON, Mellanox SB7800 Series, PowerEdge R640, PowerEdge R740XD
03 Oct 2023
5
Solution