Article Number: 000128808
Bu blogda, yakın zamanda duyurulan HPC BeeGFS Depolaması için Dell EMC Ready Çözümlerinin önemli özellikleri açıklanmaktadır. Bu, Serinin BeeGFS Yüksek Performanslı Depolama Çözümü ile ilgili üçüncü blogudür. İlk blog, çözümün yayında olduğunu duyurdu. İkinci blogda HPC BeeGFS Depolaması için Dell EMC Ready Çözümlerinin Ölçeklendirilebilirliği ele alınmıştır. Temel yapılandırmalar, esnek ölçeklendirilebilir yapılandırmalar ve çeşitli yapılandırmaların gerçek ölçülebilir sıralı okuma/yazma performansı ile ilgili ayrıntılar sağlanmıştır ve bu performans, çözümdeki sunucu sayısına göre ölçeklenebilirlik açısından doğrusaldır. Mevcut blogda, Yerleşik depolama hedeflerinden BeeGFS'nin "StorageBench" kullanımı vurgulanır.
BeeGFS, sistemden indirilebilen açık kaynaklı bir dosya www.beegfs.io. Verileri birden fazla depolama hedefine dağıtan paralel bir dosya sistemidir. Mantıksal dosya sistemini temel depolama donanımından ayırın ve kullanıcının verilerin depolandığı yeri ve nasıl olduğunu tanımlamasına izin veren yazılım tanımlı bir depolamadır. Dosya sistemi yazılımı; Yüksek Kullanılabilirlik, Kota zorlama ve Erişim Denetimi Listeleri gibi kurumsal özellikleri içerir. BeeGFS'nin temel özellikleri kullanım kolaylığı, ölçeklenebilirlik ve esnekliktir. Kullanım kolaylığı, tüm sunucu tarafındaki bileşenlerin kullanıcı alanı daemon'ları olması, istemci ise çekirdeğin kendisine herhangi bir yama gerektirmeden bir çekirdek modülü olmasıdır. Tüm BeeGFS bileşenleri, sunucu yeniden başlatılamadan kurulup güncelleştirilebilir. Böylece, herhangi bir kesinti süresi olmadan mevcut sisteme istemci ve sunucu eklenebilir. Sunucular ve sürücüler eklenip dosya sisteminin performansı ve kapasitesi burada bağlantısı yapılan blogda daha fazla ölçeklendirebilirsiniz. BeeGFS, birden fazla Linux dağıtımı destekler ve POSIX uyumlu herhangi bir yerel dosya sistemiyle çalışacak şekilde tasarlanmıştır. BeeGFS ayrıca aynı sunucuda belirli bir servisin birden çok örneğini çalıştırmayı da destekler.
HPC BeeGFS Depolaması için Dell EMC Ready Çözümleri, BeeGFS dosya sisteminin tüm önemli özelliklerinden yararlanır ve yüksek Performans için tasarlanmıştır. Çözüm, meta verileri ve verileri depolamak ve depolamak/işlemek için PowerEdge R740xd sunucularını kullanır. Her Bir PowerEdge R740xd sunucusu, sürücü teknolojisinde ikinci büyük sıçrama olarak kabul edilir ve SSD'ler ilk olarak 24x 1,6 TB Intel P4600 NVMe SSD'ye sahip. HPC ortamlarında, karalama alanı genellikle sınırlayıcı bir faktör olabilir. Çok küçük veya çok yavaş olabilir. HPC BeeGFS Depolaması için Dell EMC Ready Çözümleri, karalama çözümü olarak kullanılacak şekilde tasarlanmıştır ve BeeGFS dosya sistemini kullanarak karalama depolamaya hizmet eder.
BeeGFS, sırasıyla ağ veya depolama NetBench ve StorageBench'i karakterize etme veya değerlendirmeye yardımcı olabilecek iki yerleşik karşılaştırma araçları içerir. NetBench modu etkinleştirildiğinde sunucular, verileri yazmak yerine alınan yazma isteklerini yok eder. Benzer şekilde, okuma isteği olması durumunda, temel dosya sistemi tarafından okumak yerine yalnızca bellek arabellekleri istemcilere gönderilir. NetBench modu, temel disklerden bağımsız olarak ağ akışı aktarım hızını test etmek için tasarlanmıştır. Diğer yandan StorageBench, ağ performansından bağımsız olarak temel dosya sisteminin akış aktarım hızını ölçmeye yöneliktir. StorageBench, ağı kullanmaz bir depolama hedefleri karşılaştırmalı testidir. Storage-bench komutu, verileri yazmaya/okumaya başlatmak için isteği depolama hedeflere gönderir. Bunu yaparken anın etkisini ortadan kaldırmış durumdadır. Depolama tezgahından elde ettiğimiz çıktı, ağ performansı ideal ise sistemin başarması gereken en iyi performans. Bu blogda StorageBench'in farklı depolama hedeflerini karşılaştırmak ve böylece arızalı veya yanlış yapılandırılmış hedefleri tanımlamak için nasıl kullanılabilir olduğu gösterilmektedir.
StorageBench, bağlı dosya sistemini kullanmaz. StorageBench'i çalıştırsak dosya başına yalnızca bir hedef bulunur. Storagebench, test dosyalarının test iş parçacığı sayısına eşit şekilde oluşturulduğu sistemdeki her depolama hedefi üzerinde bir dizin oluşturur. Veriler, her bir depolama hedefi için düşük seviyeli aktarım hızını görüntülemek üzere doğrudan bu veri akışına gelir. Ağ iletişimi olmadan dosya şeritleme simülasyonu sağlandıktan sonra. Bu nedenle depolama karşılaştırmalı testi sonuçları, şeritleme devre dışı bırakılmış istemci G/Ç'leri ile oldukça benzerdir. Gerçek karşılaştırmalı testleri çalıştırıldığında, varsayılan şeritleme modeli benimsenmişse dosya 4 depolama hedefi boyunca şeritlenir.
Farklı depolama hedeflerini test etmek amacıyla Dell EMC BeeGFS Depolama Çözümü ölçeklendirilebilirliği blog'larında açıklanan küçük ve orta yapılandırmalar kullanıldı. Her iki yapılandırma da RAID 1'de yapılandırılan aynı sayıda meta veri hedefine sahiptir. Bunlar, depolama hedeflerini RAID yapılandırmasından farklıdır. Küçük kurulumda depolama bulunurken, 6 sürücülü RAID 0'da yapılandırılan hedefler, orta yapılandırmada 6 sürücülü RAID 10'da yapılandırılmış depolama hedefleri bulunur. Küçük ve Orta kurulumda yapılandırılan depolama hedefleri aşağıda yer almaktadır:
| Tablo 1 TestBed Yapılandırması | ||
|---|---|---|
| Yapılandırma | Orta - Depolama Hedefleri için RAID 10 | Küçük - Depolama Hedefleri için RAID 0 |
| Meta veri hedefi sayısı | 6 | 6 |
| Meta veri hizmeti örneği sayısı | 6 | 6 |
| Depolama Sunucusu Sayısı | 5 | 2 |
| Depolama Hedefi Sayısı | 22 | 10 |
| Sunucu başına depolama hizmeti sayısı | 4 | 4 |
| NUMA bölgesi başına depolama hizmeti sayısı | 2 | 2 |
| Depolama hizmeti örneği başına hedef sayısı | 2 | 2 |
Not: Orta kurulumun yukarıdaki yapılandırması yalnızca StorageBench aracını kullanarak farklı RAID yapılandırmalarında yapılandırılan depolama hedeflerini test etmek içindir.
Depolama karşılaştırmalı testi başlatılır ve beegfs-ctl aracıyla izleyin. beegfs-utils paketi, depolama hedefleri karşılaştırmasını çalıştırmak için kullanılan beegfs-ctl komut satırı aracını sağlar. Aşağıdaki örnekte, her bir hedef için 16 iş parçacığı kullanılarak 512 KB GÇ blok boyutuna sahip tüm BeeGFS depolama sunucularının tüm hedeflerinde, her birini kendi dosyasına 200 GB veri yazarak bir yazma karşılaştırması başlar.
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Durumu beegfs-ctl'nin --status bağımsız değişkeniyle sorgu edebilirsiniz.
Sunucu karşılaştırmalı değerlendirme durumu:
Çalışıyor: 10
"Running:" (Çalışıyor): 10 inç çıktı, sistemde yapılandırılmış toplam 10 depolama hedefi olduğunu gösterir.
Tüm hedeflerin karşılaştırmalı test durumunu/sonuçlarını sorgulamak için aşağıdaki komut yürütülür:
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status Server benchmark status:Finished: ([root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Server benchmark status:
Finished: 10 Yazma
karşılaştırmalı testi sonuçları:
Minimum performans: 4692435 KiB/s düğüm kimliği: stor1-numa0-2 [Kimlik: 6], hedef kimliği: 50 Maks
. aktarım hızı: 5368537 KiB/s düğüm Kimliği: meta-stor-numa1-2 [Kimlik: 2], hedef kimliği: 48
Ortalama aktarım hızı: 4907091 KiB/s Toplam
aktarım hızı: 49070915 KiB/s
Yukarıdaki komuta ayrıntılı bilgi eklemek, tüm hedeflerin listesini ve bunların ilgili aktarım hızını gösteriyor.
[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:Finished: ([root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --ayrıntılı Sunucu karşılaştırmalı testi durumu:
Bitti: 10 Yazma
karşılaştırmalı testi sonuçları:
Minimum performans: 4692435 KiB/s düğüm kimliği: stor1-numa0-2 [Kimlik: 6], hedef kimliği: 6 Maks
. aktarım hızı: 5368537 KiB/s düğüm Kimliği: meta-stor-numa1-2 [Kimlik: 2], hedef kimliği: 2 Ortalama
aktarım hızı: 4907091 KiB/s Toplam
aktarım hızı: 49070915 KiB/sn
Tüm hedeflerin Listesi:
1 5368477 KiB/s düğüm Kimliği: meta-stor-numa1-1 [KIMLIK: 1]
2 5368537 KiB/s düğüm Kimliği: meta-stor-numa1-2 [Kimlik: 2]
3 4706368 KiB/s düğüm Kimliği: stor1-numa0-1 [KIMLIK: 3]
4 4896077 KiB/s düğüm Kimliği: stor1-numa1-1 [KIMLIK: 4]
5 4872876 KiB/s düğüm Kimliği: stor1-numa1-2 [Kimlik: 5]
6 4692435 KiB/s düğüm Kimliği: stor1-numa0-2 [Kimlik: 6]
7 4879054 KiB/s düğüm Kimliği: stor2-numa1-2 [KIMLIK: 7]
8 4864737 KiB/s düğüm Kimliği: stor2-numa1-1 [KIMLIK: 8]
9 4696152 KiB/s düğüm Kimliği: stor2-numa0-1 [KIMLIK: 9]
10 4726202 KiB/s düğüm Kimliği: stor2-numa0-2 [Kimlik: 10]
RAID 0'da yapılandırılan depolama hedefi başına ortalama aktarım hızı 5,02 GB/sn'dir.
Aşağıdaki örnekte, her bir hedef için 16 iş parçacığı kullanılarak 512 KB GÇ blok boyutuna sahip tüm BeeGFS depolama sunucularının tüm hedeflerinde, her birini kendi dosyasına 200 GB veri yazarak bir yazma karşılaştırması başlar.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Durumu beegfs-ctl'nin --status bağımsız değişkeniyle sorgu edebilirsiniz.
Sunucu karşılaştırmalı değerlendirme durumu:
Çalışıyor: 22
Yukarıdaki komuta ayrıntılı bilgi eklemek, tüm hedeflerin listesini ve bunların ilgili aktarım hızını gösteriyor.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:Finished: ([root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --ayrıntılı Sunucu karşılaştırma durumu:Bitti:
22 Yazma
karşılaştırmalı testi sonuçları:
Minimum performans: 2705987 KiB/s düğüm Kimliği: node006-numa0-1 [KIMLIK: 19], hedef kimliği: 1 Maks
. aktarım hızı: 3364311 KiB/s düğüm Kimliği: node001-numa1-1 [Kimlik: 1], hedef kimliği: 1
Ortalama aktarım hızı: 3212845 KiB/s Toplam
aktarım hızı: 70682603 KiB/sTüm hedeflerin listesi:
1 3364311 KiB/sn düğüm Kimliği: node001-numa1-1 [KIMLIK: 1]
2 3361591 KiB/s düğüm Kimliği: node001-numa1-2 [KIMLIK: 2]
3 3309530 KiB/s düğüm Kimliği: node002-numa0-1 [KIMLIK: 3]
4 3312840 KiB/s düğüm Kimliği: node002-numa0-2 [Kimlik: 4]
5 3332095 KiB/s düğüm Kimliği: node002-numa1-1 [KIMLIK: 5]
6 3323319 KiB/sn düğüm Kimliği: node002-numa1-2 [KIMLIK: 6]
7 3313000 KiB/sn düğüm Kimliği: node003-numa0-1 [Kimlik: 7]
8 3321214 KiB/s düğüm Kimliği: node003-numa0-2 [KIMLIK: 8]
9 3335072 KiB/sn düğüm Kimliği: node003-numa1-1 [ID: 9]
10 3339743 KiB/sn düğüm Kimliği: node003-numa1-2 [Kimlik: 10]
11 3302175 KiB/sn düğüm Kimliği: node004-numa0-1 [Kimlik: 11]
12 3309474 KiB/s düğüm Kimliği: node004-numa0-2 [Kimlik: 12]
13 3329879 KiB/s düğüm Kimliği: node004-numa1-1 [KIMLIK: 13]
14 3328291 KiB/s düğüm Kimliği: node004-numa1-2 [Kimlik: 14]
15 3306132 KiB/s düğüm Kimliği: node005-numa0-1 [KIMLIK: 15]
16 3307096 KiB/sn düğüm Kimliği: node005-numa0-2 [Kimlik: 16]
17 3318436 KiB/sn düğüm Kimliği: node005-numa1-1 [KIMLIK: 17]
18 3329684 KiB/s düğüm Kimliği: node005-numa1-2 [Kimlik: 18]
19 2705987 KiB/s düğüm Kimliği: node006-numa0-1 [Kimlik: 19]
20 2716438 KiB/s düğüm Kimliği: node006-numa0-2 [Kimlik: 20]
21 2707970 KiB/sn düğüm Kimliği: node006-numa1-1 [KIMLIK: 21]
22 2708326 KiB/sn düğüm Kimliği: node006-numa1-2 [Kimlik: 22]
Depolama hedefi başına ortalama aktarım hızı 3,29 GB/sn'dir.
Biri RAID 0'da, diğeri ISE RAID 10'da yapılandırılmış Depolama Hedefleri ile yapılandırılmış depolama hedefleri olan iki farklı BeeGFS kurulumunda yapılan StorageBench karşılaştırmalı testlerinden, yazma performansının RAID 10 yerine RAID 0'da yapılandırılan depolama hedefleriyle daha iyi olduğu aşikardır. dd komutu, 1M blok boyutuna ve "oflag=direct" boyutuna sahip bir 10G dosyası oluşturmak için kullanıldığında, RAID 0'da yapılandırılan küçük sistem için ortalama 5,1 GB/sn'dir. RAID 10'da yapılandırılan orta sistem için ortalama aktarım hızı yaklaşık 3,4 GB/sn'dir. Bu, storagebench aracı kullanılarak elde edilen sonuçlarla benzerdir.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:Finished: ([root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --ayrıntılı Sunucu karşılaştırma durumu:Bitti:
33 Okuma
karşılaştırmalı testi sonuçları:
Minimum performans: 2830479 KiB/s düğüm Kimliği: node003-numa1-2 [KIMLIK: 14], hedef kimliği: 14 Maks
. aktarım hızı: 3025500 KiB/sn düğüm Kimliği: node005-numa0-1 [KIMLIK: 22], hedef kimliği: 22 Ortalama
aktarım hızı: 2917836 KiB/sn Toplam
aktarım hızı: 96288596 KiB/sn
Tüm hedeflerin listesi:
1 2950039 KiB/s düğüm Kimliği: node001-numa1-1 [KIMLIK: 1]
2 2956121 KiB/s düğüm Kimliği: node001-numa1-2 [KIMLIK: 2]
3 2954473 KiB/s düğüm Kimliği: node001-numa1-3 [KIMLIK: 3]
4 2957658 KiB/s düğüm Kimliği: node002-numa0-1 [KIMLIK: 4]
5 2947109 KiB/s düğüm Kimliği: node002-numa0-2 [KIMLIK: 5]
6 2969886 KiB/s düğüm Kimliği: node002-numa0-3 [Kimlik: 6]
7 2892578 KiB/s düğüm Kimliği: node002-numa1-1 [KIMLIK: 7]
8 2886899 KiB/sn düğüm Kimliği: node002-numa1-2 [KIMLIK: 8]
9 2888972 KiB/sn düğüm Kimliği: node002-numa1-3 [KIMLIK: 9]
10 2861995 KiB/sn düğüm Kimliği: node003-numa0-1 [Kimlik: 10]
11 2874314 KiB/sn düğüm Kimliği: node003-numa0-2 [Kimlik: 11]
12 2879096 KiB/s düğüm Kimliği: node003-numa0-3 [Kimlik: 12]
13 2832635 KiB/s düğüm Kimliği: node003-numa1-1 [Kimlik: 13]
14 2830479 KiB/s düğüm Kimliği: node003-numa1-2 [Kimlik: 14]
15 2830971 KiB/sn düğüm Kimliği: node003-numa1-3 [Kimlik: 15]
16 2986890 KiB/s düğüm Kimliği: node004-numa0-1 [KIMLIK: 16]
17 2979197 KiB/s düğüm Kimliği: node004-numa0-2 [Kimlik: 17]
18 2983958 KiB/s düğüm Kimliği: node004-numa0-3 [Kimlik: 18]
19 2897974 KiB/sn düğüm Kimliği: node004-numa1-1 [KIMLIK: 19]
20 2900880 KiB/s düğüm Kimliği: node004-numa1-2 [Kimlik: 20]
21 2904036 KiB/s düğüm Kimliği: node004-numa1-3 [Kimlik: 21]
22 3025500 KiB/sn düğüm Kimliği: node005-numa0-1 [Kimlik: 22]
23 3021558 KiB/s düğüm Kimliği: node005-numa0-2 [KIMLIK: 23]
24 3017387 KiB/s düğüm Kimliği: node005-numa0-3 [Kimlik: 24]
25 2921480 KiB/s düğüm Kimliği: node005-numa1-1 [KIMLIK: 25]
26 2930226 KiB/s düğüm Kimliği: node005-numa1-2 [Kimlik: 26]
27 2930548 KiB/s düğüm Kimliği: node005-numa1-3 [KIMLIK: 27]
28 2900018 KiB/s düğüm Kimliği: node006-numa0-1 [KIMLIK: 28]
29 2898520 KiB/s düğüm Kimliği: node006-numa0-2 [KIMLIK: 29]
30 2907113 KiB/s düğüm Kimliği: node006-numa0-3 [Kimlik: 30]
31 2855079 KiB/sn düğüm Kimliği: node006-numa1-1 [KIMLIK: 31]
32 2853527 KiB/s düğüm Kimliği: node006-numa1-2 [Kimlik: 32]
33 2861480 KiB/s düğüm Kimliği: node006-numa1-3 [Kimlik: 33]
Yukarıdaki çıktıdan, tüm depolama hedeflerinde aynı şekilde performans olduğu ve sistemde arızalı hedef olmadığından emin olunmalıdır.
PowerSwitch S3048-ON, Mellanox SB7800 Series, PowerEdge R640, PowerEdge R740XD
03 Oct 2023
5
Solution