PowerEdge: HPC BeeGFS Depolaması İçin Dell Ready Solutions'ın Ölçeklendirilebilirliği

İçindekiler

1. Giriş
2. Temel Yapılandırmalar
3. BeeGFS Kullanılabilir Alan Hesaplaması
4. Ölçeklendirilebilir Yapılandırmalar
5. Performans Karakterizasyonu
6. Sonuç ve Gelecekteki Çalışmalar
    

Giriş

Bu blogda, kısa süre önce duyurulan HPC BeeGFS Depolaması için Dell Ready Solutions'ın ölçeklendirilebilirliği ele alınmaktadır. BeeGFS mimarisi; yönetim hizmeti, meta veri hizmeti, depolama hizmeti ve istemci hizmeti olmak üzere dört ana hizmetten oluşur. BeeGFS söz konusu olduğunda, roller ve donanım sıkı bir şekilde entegre edilmediğinden, tümü dahil olmak üzere bu dört ana hizmetin herhangi bir kombinasyonunu aynı sunucuda çalıştırmak mümkündür. Bir "Hiper Yakınsanmış Çözüm"de, dört hizmetin tümü aynı sunucuda çalışır. İstemci uygulamaları genellikle kaynakları tükettiğinden ve bu durum, depolama hizmetlerinin performansını etkileyebileceğinden, bu yapılandırma performans açısından kritik ortamlar için önerilmez. Dell çözümü, yüksek performanslı, ölçeklendirilebilir bir depolama çözümü sağlamak için ayrılmış depolama sunucuları ve çift amaçlı bir meta veri ve depolama sunucusu kullanır. Mevcut bir sisteme ek depolama sunucuları ekleyerek sistemi ölçeklendirmek mümkündür. Bu blogda, farklı sayıda depolama sunucusuna sahip yapılandırmalar ve bu yapılandırmalardan beklenebilecek performans hakkında bilgi veriyoruz.

Temel Yapılandırmalar

Yüksek performanslı bir geçici dosya sistemi sağlamak için tasarlanan BeeGFS Depolama Çözümü, şu donanım bileşenlerini kullanır:

• Yönetim Sunucusu
  • R640, Çift Intel Xeon Gold 5218 2,3 GHz, 16 çekirdek, 96 GB (12x 8 GB 2666 MT/sn RDIMM), 6 x 15k RPM 300 GB SAS, H740P
• Meta Veri ve Depolama Sunucuları
  • R740xd, 2,90 GHz'de 2x Intel Xeon Platinum 8268 CPU, 24 çekirdek, 384 GB (12x 32 GB 2933 MT/sn RDIMM)
  • İşletim sistemi için RAID 1'de 2x 240 GB M.2 SATA SSD bulunan BOSS kartı
  • 24x, Intel 1,6 TB, NVMe, Karma Kullanımlı Express Flash, 2,5 SFF Sürücü, Yazılım RAID

Yönetim sunucusu, BeeGFS izleme hizmetini çalıştırır. Meta veri sunucusu, Meta Veri Hedeflerini (MDT'ler) barındırmak için NUMA 0 bölgesindeki 12 sürücüyü kullanır ve NUMA 1 bölgesindeki kalan 12 sürücü, Depolama Hedeflerini (ST'ler) barındırır. BeeGFS meta verileri için depolama kapasitesi gereksinimleri küçük olduğundan özel bir meta veri sunucusu kullanılmaz. Meta veriler ve depolama hedefleri ve hizmetleri, ayrı NUMA düğümlerinde izole edilir; böylece iş yüklerinde önemli bir ayrım sağlanır. Yapılandırmada kullanılan depolama sunucularında, sunucu başına toplam altı adet olmak üzere NUMA bölgesi başına üç depolama hizmeti çalışır. Daha fazla ayrıntı için bkz. duyuru blogu. Şekil 1'de, Dell EMC HPC ve Yapay Zeka İnovasyon Laboratuvarında test edilip doğrulanan iki temel yapılandırma gösterilmektedir.

Şekil 1: Temel Yapılandırmalar

Küçük yapılandırma, üç adet R740xd sunucudan oluşur. 15 depolama hedefi vardır. Orta düzey yapılandırma, altı adet R740xd sunucuya ve 33 depolama hedefine sahiptir. Kullanıcı, "Küçük" veya "Orta Düzey" bir yapılandırmayla başlayabilir ve sırasıyla depolama alanını ve genel performansı veya dosya sayısını ve meta veri performansını artırmak için gerektiğinde depolama veya meta veri sunucuları ekleyebilir. Tablo 1'de, Dell HPC ve Yapay Zeka İnovasyon Laboratuvarında kapsamlı bir şekilde test edilip doğrulanmış temel yapılandırmalar için performans verileri gösterilmektedir.

Tablo 1: Temel Yapılandırmaların Kapasite ve Performans Ayrıntıları

BeeGFS Kullanılabilir Alan Hesaplaması

Tahmini kullanılabilir alan, aşağıdaki formül kullanılarak TiB cinsinden hesaplanır (çoğu aracın kullanılabilir alanı ikili birimler olarak gösterildiğinden):

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

Yukarıdaki formülde 0,99, dosya sisteminden kaynaklanan %1'lik bir ek yük olduğu varsayımıyla ulaşılan faktördür. Depolamaya yönelik sürücü sayısına ulaşmak için MDS'den 12 sürücü de dahil edilir. Bunun nedeni, MDS'de NUMA 0 bölgesindeki 12 sürücünün meta veriler için ve NUMA 1 bölgesindeki 12 sürücünün ise depolama için kullanılmasıdır. Formüldeki son faktör olan 10^12/2^40 kullanılabilir alanı TB'den TiB'ye dönüştürmek için kullanılır.

Ölçeklendirilebilir Yapılandırmalar

BeeGFS Yüksek Performanslı Depolama Çözümü esnek olacak şekilde tasarlanmıştır ve aşağıda gösterildiği gibi ek sunucular eklenerek performans ve/veya kapasite kolayca ve sorunsuz bir şekilde ölçeklendirilebilir:

Şekil 2: Ölçeklendirilmiş Yapılandırma Örnekleri 

Yığının meta veri bölümü, bu blogda açıklanan yukarıdaki tüm yapılandırmalar için aynı kalır. Bunun nedeni, BeeGFS meta verileri için depolama kapasitesi gereksinimlerinin genellikle toplam depolama kapasitesinin %0,5 ila %1'i olmasıdır. Öte yandan, esasen bu, dosya sistemindeki dizin ve dosya sayısına bağlıdır. Genel bir kural olarak kullanıcı, depolamaya göre meta veri kapasitesi oranı %1'in altına düştüğünde ek bir meta veri sunucusu ekleyebilir. Tablo 2, BeeGFS Depolama Çözümünün farklı esnek yapılandırmaları için performans verilerini göstermektedir.

 

Tablo 2: Ölçeklendirilmiş Yapılandırmaların Kapasite ve Performans Ayrıntıları

Performans Karakterizasyonu

Çeşitli yapılandırmaların performansı, depolama havuzları oluşturularak test edilmiştir. Küçük yapılandırmanın 15 depolama hedefi vardır ve her ek depolama sunucusu, ekstra altı depolama hedefi ekler. Bu nedenle çeşitli yapılandırmaların performansını test etmek amacıyla 15 ila 39 depolama hedefinden depolama havuzları oluşturuldu (küçük, küçük+1, küçük+2, orta, orta+1 için altılık artışlar). Bu havuzların her biri için IOzone karşılaştırmasının her biri bir ila 1024 iş parçacığı ile (ikili artışla) üç yinelemesi çalıştırıldı. Benimsenen test metodolojisi, duyuru blogunda açıklananla aynıdır. Şekil 3 ve 4, ölçeklendirilebilir yapılandırmaların sırasıyla yazma ve okuma performansını gösterir ve her bir yapılandırmanın en yüksek performansı hazır referans için vurgulanır:


 
Şekil 3:  Ölçeklendirilebilir Yapılandırmaların Yazma Performansı.


Şekil 4:  Ölçeklendirilebilir Yapılandırmaların Okuma Performansı.

Not:

Bahsedilen depolama havuzu, yalnızca farklı yapılandırmaların performansını açıkça karakterize etmek amacıyla oluşturulmuştur. Duyuru blogunda detaylı olarak verilen ortam yapılandırmasının performans değerlendirmesi yapılırken 33 hedefin tamamı yalnızca "Varsayılan Havuz"daydı. Aşağıda verilen beegfs-ctl --liststoragepools komutunun çıktısı, depolama hedeflerinin atanmasını gösterir:

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

Sonuç ve Gelecekteki Çalışmalar

Bu blogda, HPC BeeGFS Depolaması için Dell Ready Solutions'ın ölçeklendirilebilirliği ele alındı ve çeşitli yapılandırmalar için sıralı okuma ve yazma aktarım hızına yönelik performans vurgulandı. BeeGFS ek özelliklerini ele alacak ve BeeGFS yerleşik depolama hedefleri karşılaştırması olan "StorageBench" kullanımını ön plana çıkaran bu blog serisinin 3. Bölümü için bizi takip etmeye devam edin. Sonraki adımların bir parçası olarak, daha sonra meta veri performansı, IOR N-1 performans değerlendirmesi ve tasarım konuları, ayarlama ve yapılandırma hakkında ek ayrıntılar içeren bir teknik inceleme yayınlayacağız. 

Referanslar

[1] HPC BeeGFS Depolaması için Dell Ready Solutions (İngilizce):  https://www.dell.com/support/article/sln319381/
[2] BeeGFS Belgeleri:  https://www.beegfs.io/wiki/
[3] Aynı alt ağ üzerinde iki arayüzü bağlama:  https://access.redhat.com/solutions/30564
[4] Harici Bellek Kullanan PCI Express Doğrudan Bellek Erişimi Referans Tasarımı: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760