PowerEdge: HPC BeeGFS Depolaması için Dell Ready Çözümlerinin Özellikleri

İçindekiler

1. Giriş
2. StorageBench - Farklı RAID yapılandırmalarının performansını karşılaştırmak için
   • StorageBench Yazma Karşılaştırması - RAID 0'da yapılandırılmış Depolama Hedefleri olan Küçük yapılandırmada
   • StorageBench Yazma Karşılaştırması - RAID 10'da yapılandırılmış Depolama Hedefleri ile Orta yapılandırmada
3. StorageBench - Arızalı veya yanlış yapılandırılmış depolama hedeflerini belirlemek için
4. Sonuç ve Gelecekteki Çalışmalar
    

Giriş

Bu blogda, kısa süre önce duyurulan HPC BeeGFS Depolaması için Dell Ready Çözümlerinin öne çıkan özellikleri ele alınmaktadır. Bu, BeeGFS Yüksek Performanslı Depolama Çözümü ile ilgili serinin üçüncü blogudur. İlk blog, çözümün piyasaya sürüldüğünü duyurdu. İkinci blogda HPC BeeGFS Depolaması için Dell Ready Çözümlerinin Ölçeklenebilirliği ele alındı. Temel yapılandırmalar, esnek ölçeklenebilir yapılandırmalar ve çeşitli yapılandırmaların ölçülen sıralı okuma/yazma performansı ile ilgili ayrıntılar sağlandı ve ölçeklenebilirliğin çözümdeki sunucu sayısına göre doğrusal olduğunu gösterdi. Mevcut blog, BeeGFS'nin entegre depolama hedefleri ölçütü olan "StorageBench"in kullanımını vurgulamaktadır.

BeeGFS, www.beegfs.io'dan indirilebilen açık kaynaklı bir dosya sistemidir. Verileri birden fazla depolama hedefine dağıtan paralel bir dosya sistemidir. Mantıksal dosya sistemini temel depolama donanımından ayırarak kullanıcının verilerin nasıl ve nerede depolanacağını tanımlamasına olanak tanıyan yazılım tanımlı bir depolamadır. Dosya sistemi yazılımı, Yüksek Kullanılabilirlik, Kota zorlama ve Erişim Denetim Listeleri gibi kurumsal özellikler içerir. BeeGFS'nin temel özellikleri kullanım kolaylığı, ölçeklenebilirliği ve esnekliğidir. Kullanım kolaylığı, tüm sunucu tarafı bileşenlerinin kullanıcı alanı arka plan programları olması ve istemcinin çekirdeğin kendisinde herhangi bir yama gerektirmeyen bir çekirdek modülü olmasından kaynaklanmaktadır. Tüm BeeGFS bileşenleri, sunucuyu yeniden başlatmadan yüklenebilir ve güncellenebilir. Böylece herhangi bir kesinti olmadan mevcut sisteme istemciler ve sunucular ekleyebiliriz. Sunucular ve sürücüler ekleyerek, dosya sisteminin performansı ve kapasitesi burada bağlantısı verilen blogda daha fazla artırılabilir. BeeGFS, birden fazla Linux dağıtımını destekler ve POSIX uyumlu tüm yerel dosya sistemleriyle çalışacak şekilde tasarlanmıştır. BeeGFS, belirli bir hizmetin birden fazla örneğinin aynı sunucuda çalıştırılmasını da destekler.

HPC BeeGFS Depolaması için Dell Ready Çözümleri, BeeGFS dosya sisteminin tüm temel özelliklerinden yararlanır ve yüksek Performans için tasarlanmıştır. Çözüm, meta verileri ve verileri depolama ve sunma ve/veya işleme için PowerEdge R740xd sunucularını kullanır. Her PowerEdge R740xd sunucusunda 24 adet 1,6 TB Intel P4600 NVMe SSD bulunur ve bunlar sürücü teknolojisindeki ikinci büyük sıçrama olarak kabul edilir; SSD'ler ilk sıradadır. HPC ortamlarında çizik alanı genellikle sınırlayıcı bir faktör olabilir. Çok küçük veya çok yavaş olabilir. HPC BeeGFS Depolaması için Dell EMC Ready Çözümleri, karalama çözümü olarak kullanılmak üzere tasarlanmıştır ve BeeGFS dosya sistemini kullanarak karalama depolaması sunar.

BeeGFS, sırasıyla ağ veya depolamayı karakterize etmeye veya değerlendirmeye yardımcı olabilecek iki entegre kıyaslama aracı içerir: NetBench ve StorageBench . NetBench modu etkinleştirildiğinde, sunucular verileri yazmak yerine alınan yazma isteklerini atar. Benzer şekilde, okuma istekleri durumunda, temel dosya sisteminden okumak yerine, istemcilere yalnızca bellek arabellekleri gönderilir. NetBench modu, temel alınan disklerden bağımsız olarak ağ akış verimini test etmek için tasarlanmıştır. Öte yandan, StorageBench, ağ performansından bağımsız olarak temel dosya sisteminin akış verimini ölçmek için tasarlanmıştır. StorageBench, ağı kullanmayan bir depolama hedefleri karşılaştırmasıdır. storage-bench komutu, veri yazmaya/okumaya başlamak için isteği depolama hedeflerine gönderir. Bunu yaparken, ağın etkisini ortadan kaldırıyoruz. Storage bench'ten aldığımız çıktı, ağ performansının ideal olması durumunda sistemin elde edebileceği en iyi performanstır. Bu blog, farklı depolama hedeflerinin performansını karşılaştırmak ve böylece hatalı veya yanlış yapılandırılmış hedefleri belirlemek için StorageBench'in nasıl kullanılabileceğini gösterir.

StorageBench - Farklı RAID yapılandırmalarının performansını karşılaştırmak için

StorageBench bağlı dosya sistemini kullanmaz. StorageBench'i çalıştırdığımızda dosya başına yalnızca bir hedef var. Storagebench, sistemdeki her depolama hedefinde, test dosyalarının oluşturulduğu bir dizini test iş parçacığı sayısına eşit olarak oluşturur. Her depolama hedefi için kullanılabilir düşük düzeyli aktarım hızını göstermek için veriler doğrudan bu hedefe aktarılır. Herhangi bir ağ iletişimi olmadan, dosya şeritleme simüle edilemez. Bu nedenle depolama karşılaştırmalı testi sonuçları, şeritlemenin devre dışı bırakıldığı istemci GÇ ile karşılaştırılabilir. Karşılaştırmalı testler çalıştırıldığında, varsayılan şeritleme düzeni benimsenirse dosya dört depolama hedefi arasında şeritlenir. 

Farklı depolama hedeflerini test etmek amacıyla, Dell BeeGFS Depolama Çözümünün Ölçeklenebilirliği hakkındaki blogda açıklanan küçük ve orta ölçekli yapılandırmalar kullanıldı. Her iki yapılandırma da RAID 1'de yapılandırılmış aynı sayıda meta veri hedefine sahiptir. Depolama hedeflerinin RAID yapılandırmasında farklılık gösterirler. Küçük kurulum, 6 sürücülü RAID 0'da yapılandırılmış depolama hedeflerine sahipken, orta yapılandırmada altı sürücülü RAID 10'da yapılandırılmış depolama hedefleri bulunur. Küçük ve Orta kurulumda yapılandırılan depolama hedefleri aşağıda tablo halinde verilmiştir:

Not: Orta kurulumun yukarıdaki yapılandırması yalnızca StorageBench aracı kullanılarak farklı RAID yapılandırmalarında yapılandırılan depolama hedeflerinin aktarım hızını test etme amacına yöneliktir.

StorageBench Yazma Karşılaştırması - RAID 0'da yapılandırılmış Depolama Hedefleri olan Küçük yapılandırmada

Depolama karşılaştırması, beegfs-ctl aracıyla başlatılır ve izlenir. beegfs-utils paketi, depolama hedefleri karşılaştırmasını çalıştırmak için kullanılabilen beegfs-ctl komut satırı aracını sağlar. Aşağıdaki örnek, her biri kendi dosyasına 200 GB veri yazacak olan hedef başına 16 iş parçacığı kullanarak 512 KB GÇ blok boyutuna sahip tüm BeeGFS depolama sunucularının tüm hedeflerinde bir yazma karşılaştırmalı testi başlatır.

[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
You can query the status with the --status argument of beegfs-ctl.
Server benchmark status:
Running:     10

"Koşu: 10" çıkış, sistemde yapılandırılmış toplam 10 depolama hedefi olduğunu gösterir.
 
Tüm hedeflerin kıyaslama durumunu/sonuçlarını sorgulamak için aşağıdaki komut çalıştırılabilir:

[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Server benchmark status:
Finished:    10
Write benchmark results:
Min throughput:            4692435  KiB/s   nodeID: stor1-numa0-2 [ID: 6], targetID: 50
Max throughput:            5368537  KiB/s   nodeID: meta-stor-numa1-2 [ID: 2], targetID: 48
Avg throughput:            4907091  KiB/s
Aggregate throughput:     49070915  KiB/s

Yukarıdaki komuta ayrıntılı bilgi eklemek, tüm hedeflerin listesini ve ilgili aktarım hızını gösterir.

[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished:    10
Write benchmark results:
Min throughput:            4692435  KiB/s   nodeID: stor1-numa0-2 [ID: 6], targetID: 6
Max throughput:            5368537  KiB/s   nodeID: meta-stor-numa1-2 [ID: 2], targetID: 2
Avg throughput:            4907091  KiB/s
Aggregate throughput:     49070915  KiB/s
List of all targets:
1  5368477  KiB/s   nodeID: meta-stor-numa1-1 [ID: 1]
2  5368537  KiB/s   nodeID: meta-stor-numa1-2 [ID: 2]
3  4706368  KiB/s   nodeID: stor1-numa0-1 [ID: 3]
4  4896077  KiB/s   nodeID: stor1-numa1-1 [ID: 4]
5  4872876  KiB/s   nodeID: stor1-numa1-2 [ID: 5]
6  4692435  KiB/s   nodeID: stor1-numa0-2 [ID: 6]
7  4879054  KiB/s   nodeID: stor2-numa1-2 [ID: 7]
8  4864737  KiB/s   nodeID: stor2-numa1-1 [ID: 8]
9  4696152  KiB/s   nodeID: stor2-numa0-1 [ID: 9]
10 4726202  KiB/s   nodeID: stor2-numa0-2 [ID: 10]

Çıktıdan çıkarım:

RAID 0'da yapılandırılan depolama hedefi başına ortalama aktarım hızı 5,02 GB/sn'dir.  

StorageBench Yazma Karşılaştırması - RAID 10'da yapılandırılmış Depolama Hedefleri ile Orta yapılandırmada

Aşağıdaki örnek, her biri kendi dosyasına 200 GB veri yazan hedef başına 16 iş parçacığı kullanarak 512 KB GÇ blok boyutuna sahip tüm BeeGFS depolama sunucularının tüm hedeflerinde bir yazma karşılaştırmalı testi başlatır.

[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
You can query the status with the --status argument of beegfs-ctl.
Server benchmark status:
Running:     22

Yukarıdaki komuta ayrıntılı bilgi eklemek, tüm hedeflerin listesini ve ilgili aktarım hızını gösterir.

[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished:    22
Write benchmark results:
Min throughput:            2705987  KiB/s   nodeID: node006-numa0-1 [ID: 19], targetID: 1
Max throughput:            3364311  KiB/s   nodeID: node001-numa1-1 [ID: 1], targetID: 1
Avg throughput:            3212845  KiB/s
Aggregate throughput:     70682603  KiB/s

List of all targets:
1                          3364311  KiB/s   nodeID: node001-numa1-1 [ID: 1]
2                          3361591  KiB/s   nodeID: node001-numa1-2 [ID: 2]
3                          3309530  KiB/s   nodeID: node002-numa0-1 [ID: 3]
4                          3312840  KiB/s   nodeID: node002-numa0-2 [ID: 4]
5                          3332095  KiB/s   nodeID: node002-numa1-1 [ID: 5]
6                          3323319  KiB/s   nodeID: node002-numa1-2 [ID: 6]
7                          3313000  KiB/s   nodeID: node003-numa0-1 [ID: 7]
8                          3321214  KiB/s   nodeID: node003-numa0-2 [ID: 8]
9                          3335072  KiB/s   nodeID: node003-numa1-1 [ID: 9]
10                         3339743  KiB/s   nodeID: node003-numa1-2 [ID: 10]
11                         3302175  KiB/s   nodeID: node004-numa0-1 [ID: 11]
12                         3309474  KiB/s   nodeID: node004-numa0-2 [ID: 12]
13                         3329879  KiB/s   nodeID: node004-numa1-1 [ID: 13]
14                         3328291  KiB/s   nodeID: node004-numa1-2 [ID: 14]
15                         3306132  KiB/s   nodeID: node005-numa0-1 [ID: 15]
16                         3307096  KiB/s   nodeID: node005-numa0-2 [ID: 16]
17                         3318436  KiB/s   nodeID: node005-numa1-1 [ID: 17]
18                         3329684  KiB/s   nodeID: node005-numa1-2 [ID: 18]
19                         2705987  KiB/s   nodeID: node006-numa0-1 [ID: 19]
20                         2716438  KiB/s   nodeID: node006-numa0-2 [ID: 20]
21                         2707970  KiB/s   nodeID: node006-numa1-1 [ID: 21]
22                         2708326  KiB/s   nodeID: node006-numa1-2 [ID: 22]

Çıktıdan çıkarım:

Depolama hedefi başına ortalama aktarım hızı 3,29 GB/sn'dir.

Biri RAID 0'da ve diğeri RAID 10'da yapılandırılmış Depolama Hedefleri ile iki farklı BeeGFS kurulumunda yapılan StorageBench karşılaştırmalı testinin çıktılarından, RAID 10 yerine RAID 0'da yapılandırılan depolama hedefleriyle yazma performansının daha iyi olduğu açıkça görülmektedir. 1M blok boyutuna sahip bir 10G dosyası yazmak için dd komutu kullanıldığında ve "oflag=direct" kullanıldığında, RAID 0'da yapılandırılan küçük sistem için ortalama 5,1 GB/sn iken, RAID 10'da yapılandırılan orta sistem için ortalama verim yaklaşık 3,4 GB/sn idi. Bu, storagebench aracı kullanılarak elde edilen sonuçlarla karşılaştırılabilir. 

StorageBench - Arızalı veya yanlış yapılandırılmış depolama hedeflerini belirlemek için

StorageBench, sistemde yanlış yapılandırılmış veya kusurlu depolama hedefleri olup olmadığını anlamak için duyuru blogunda açıklanan orta yapılandırmada çalıştırılmıştır.

[root@node001 ~]#  beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished:    33
Read benchmark results:
Min throughput:            2830479  KiB/s   nodeID: node003-numa1-2 [ID: 14], targetID: 14
Max throughput:            3025500  KiB/s   nodeID: node005-numa0-1 [ID: 22], targetID: 22
Avg throughput:            2917836  KiB/s
Aggregate throughput:     96288596  KiB/s
List of all targets:
1                    2950039  KiB/s   nodeID: node001-numa1-1 [ID: 1]
2                    2956121  KiB/s   nodeID: node001-numa1-2 [ID: 2]
3                    2954473  KiB/s   nodeID: node001-numa1-3 [ID: 3]
4                    2957658  KiB/s   nodeID: node002-numa0-1 [ID: 4]
5                    2947109  KiB/s   nodeID: node002-numa0-2 [ID: 5]
6                    2969886  KiB/s   nodeID: node002-numa0-3 [ID: 6]
7                    2892578  KiB/s   nodeID: node002-numa1-1 [ID: 7]
8                    2886899  KiB/s   nodeID: node002-numa1-2 [ID: 8]
9                    2888972  KiB/s   nodeID: node002-numa1-3 [ID: 9]
10                   2861995  KiB/s   nodeID: node003-numa0-1 [ID: 10]
11                   2874314  KiB/s   nodeID: node003-numa0-2 [ID: 11]
12                   2879096  KiB/s   nodeID: node003-numa0-3 [ID: 12]
13                   2832635  KiB/s   nodeID: node003-numa1-1 [ID: 13]
14                   2830479  KiB/s   nodeID: node003-numa1-2 [ID: 14]
15                   2830971  KiB/s   nodeID: node003-numa1-3 [ID: 15]
16                   2986890  KiB/s   nodeID: node004-numa0-1 [ID: 16]
17                   2979197  KiB/s   nodeID: node004-numa0-2 [ID: 17]
18                   2983958  KiB/s   nodeID: node004-numa0-3 [ID: 18]
19                   2897974  KiB/s   nodeID: node004-numa1-1 [ID: 19]
20                   2900880  KiB/s   nodeID: node004-numa1-2 [ID: 20]
21                   2904036  KiB/s   nodeID: node004-numa1-3 [ID: 21]
22                   3025500  KiB/s   nodeID: node005-numa0-1 [ID: 22]
23                   3021558  KiB/s   nodeID: node005-numa0-2 [ID: 23]
24                   3017387  KiB/s   nodeID: node005-numa0-3 [ID: 24]
25                   2921480  KiB/s   nodeID: node005-numa1-1 [ID: 25]
26                   2930226  KiB/s   nodeID: node005-numa1-2 [ID: 26]
27                   2930548  KiB/s   nodeID: node005-numa1-3 [ID: 27]
28                   2900018  KiB/s   nodeID: node006-numa0-1 [ID: 28]
29                   2898520  KiB/s   nodeID: node006-numa0-2 [ID: 29]
30                   2907113  KiB/s   nodeID: node006-numa0-3 [ID: 30]
31                   2855079  KiB/s   nodeID: node006-numa1-1 [ID: 31]
32                   2853527  KiB/s   nodeID: node006-numa1-2 [ID: 32]
33                   2861480  KiB/s   nodeID: node006-numa1-3 [ID: 33]

Yukarıdaki çıktıdan, tüm depolama hedeflerinin aynı şekilde çalıştığı ve sistemde kusurlu hedef olmadığı açıktır.

Sonuç ve Gelecekteki Çalışmalar

Bu blogda BeeGFS'nin temel özellikleri ele alınmış ve farklı RAID yapılandırmalarının performansını değerlendirmek veya karşılaştırmak ve ayrıca depolama hedeflerinden herhangi birinin arızalı veya yanlış yapılandırılmış olup olmadığını belirlemek için depolama tezgahı karşılaştırmasının kullanışlılığı açıklanmıştır. Sonraki adımların bir parçası olarak, daha sonra meta veri performansı ve IOR performansı ile tasarım konuları, ayarlama ve yapılandırma hakkında ek ayrıntılar içeren bir teknik inceleme yayınlayacağız. 

Referanslar

1) HPC BeeGFS Depolama PowerEdge için Dell EMC Ready Çözümleri: HPC BeeGFS Yüksek Performanslı Depolama
için Dell Ready Çözümleri2) HPC BeeGFS Depolama PowerEdge için Dell Ready Çözümlerinin Ölçeklenebilirliği: HPC BeeGFS Depolaması
için Dell Ready Çözümlerinin Ölçeklenebilirliği3) BeeGFS Belgeleri: 
https://www.beegfs.io/wiki/4) Aynı alt ağda iki arabirim nasıl bağlanır: 
https://access.redhat.com/solutions/305645) Harici Bellek kullanarak PCI Express Doğrudan Bellek Erişimi Referans Tasarımı: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760