HPC PixStor Depolaması için Dell EMC Ready Çözümü - Kapasite Genişletme (İngilizce)

Yok

İçindekiler

1. Giriş
   1. Çözüm Mimarisi
   2. Çözüm Bileşenleri
2. Performans Karakterizasyonu
   1. Sıralı IOzone Performance N istemcileri - N dosyaları
   2. Sıralı IOR Performance N istemcileri 1 dosyaya
   3. Rastgele küçük bloklar IOzone Performance N istemcileri için N dosyaları
   4. Boş dosyaları kullanarak MDtest ile meta veri performansı
   5. 4 KiB dosyası kullanarak MDtest ile meta veri performansı
3. Sonuç ve Gelecekteki Çalışmalar

 

---

Giriş

Günümüzün HPC ortamları, NFS, SMB ve diğerleri gibi çeşitli standart protokoller aracılığıyla sık sık yüksek kapasite ve dağıtılmış erişim gerektiren çok hızlı depolamaya yönelik talepleri artırmıştır. Bu yüksek talepli HPC gereksinimleri genellikle tek bir dosyaya eş zamanlı erişim sağlayan Paralel Dosya Sistemleri veya birden çok düğümden gelen bir dosya kümesi kapsamına alınarak verileri çeşitli sunucularda çok verimli ve güvenli bir şekilde birden fazla LUN'a dağıtır.

 

---

Çözüm Mimarisi

Bu blog, çözümün kapasitesini artırmak için PowerVault ME484 EBOD dizilerinin kullanıldığında HPC ortamları için sürekli bir Paralel Dosya Sistemi (PFS) çözümüdür. HPC PixStor Depolaması için DellEMC Ready Çözümü. Şekil 1 mevcut PowerVault ME4084 depolama dizilerinin kapasite genişletme SAS eklerini gösteren referans mimarisini sunar.
PixStor çözümü, gelişmiş analiz, basitleştirilmiş yönetim ve izleme, verimli dosya arama, gelişmiş ağ geçidi özellikleri ve daha birçok diğer Arcastream yazılım bileşenlerinin yanı sıra PFS bileşeni olarak da bilinen yaygın Genel Paralel Dosya Sistemini içerir.


Şekil 1: Referans Mimarisi.

 

---

Çözüm Bileşenleri

Bu çözümün, cascade Lake CPU'lar gibi en yeni Intel Xeon 2. nesil Ölçeklendirilebilir Xeon CPU'lar ile piyasaya sürülmesi planlanmaktadır ve bazı sunucular, mevcut olan en hızlı RAM'i (2933 MT/sn) kullanmalıdır. Ancak mevcut donanımın performansı karakterize etmek için çözümün atılması üzerine çalışması nedeniyle Intel Xeon 1. nesil Ölçeklendirilebilir Xeon CPU'lara sahip sunucular. Skylake işlemciler ve bazı durumlarda bu sistemi karakterize etmek için daha yavaş RAM kullanıldı. Çözümün darboğazı DellEMC PowerVault ME40x4 dizileri SAS denetleyicilerinde olduğundan, Skylake CPU'ları ve RAM'i, öngörülebilir Cascade Lake CPU'ları ve daha hızlı RAM ile değiştirildiğinde önemli bir performans ayrımının beklenilmez. Ayrıca çözüm, sistemi karakterize etmek için RHEL 7.7 ve OFED 4.7'yi destekleyen PixStor'un (5.1.1.4) en son sürümüne güncelleştirildi.

Daha önce açıklanan durum nedeniyle Tablo 1, çözüm için ana bileşenlerin listesine sahiptir ancak tutarsızlıklar kullanıma açıldığında, ilk açıklama sütununda sürüm süresinde kullanılan bileşenler bulunur ve bu nedenle müşteriler için kullanılabilir ve son sütun çözümün performansını karakterize etmek için aslında kullanılan bileşenlerdir. Veri (12 TB NLS) ve meta veriler (960 GB SSD) için listelenen sürücüler, performans karakterizasyon için kullanılan sürücülerdir ve daha hızlı sürücüler daha iyi Rastgele IP'ler sağlar ve meta veri oluşturma/kaldırma işlemleri geliştirebilir.

Son olarak, tamlık için, çevrimiçi olarak sunulan DellEMC PowerVault ME4 destek matrisinde numaralandırıldığı şekilde desteklenen sürücülere dayalı olarak olası veri HDD'leri ve meta veri SSD'leri listesi dahil edildi.

Tablo 1 Serbest bırakma sırasında kullanılan bileşenler ve test yatağında kullanılanlar

Çözüm Bileşeni		Yayında	Test Yatağı
Dahili Bağlantı		Dell Networking S3048-ON Gigabit Ethernet
Veri Depolama Alt Sistemi		1 x ila 4 x Dell EMC PowerVault ME4084 1 x ila 4 x Dell EMC PowerVault ME484 (ME4084 başına bir adet) 80 – 12 TB 3,5 inç NL SAS3 HDD sürücü Seçenekleri 900 GB @15K, 1,2 TB @10K, 1,8 TB @10K, 2,4 TB @10K, 4 TB NLS, 8 TB NLS, 10 TB NLS, 12 TB NLS.     8 LUN, doğrusal 8+2 RAID 6, parça boyutu 512KiB. Meta Veri için 4x 1,92 TB SAS3 SSD – 2x RAID 1 (veya 4 - İsteğe Bağlı Yüksek İsteğe Bağlı Meta Veri Modülü kullanılıyorsa genel HDD yedekleri)
İsteğe Bağlı Yüksek İsteğe Bağlı Meta Veri Depolama Alt Sistemi		1 x ila 2 x Dell EMC PowerVault ME4024 (gerekirse 4x ME4024, Yalnızca büyük yapılandırma) 24x 960 GB 2,5 inç SSD SAS3 sürücü (Seçenekler 480 GB, 960 GB, 1,92 TB) 12 LUN, doğrusal RAID 1.
RAID Depolama Denetleyicileri		12 Gb/sn SAS
Yapılandırılan kapasite		Ham: 8064 TB (7334 TiB veya 7,16 PiB) 6144 GB (5588 TiB veya 5,46 PiB) Biçimli
İşlemci	Gateway	2x Intel Xeon Gold 6230 2.1G, 20C/40T, 10,4GT/sn, 27,5 M Önbellek, Turbo, HT (125 W) DDR4-2933	N/A
	Yüksek Talep Meta Verileri		3,0 GHz'de 2x Intel Xeon Gold 6136, 12 çekirdek
	Depolama Düğümü		3,0 GHz'de 2x Intel Xeon Gold 6136, 12 çekirdek
	Yönetim Düğümü	2x Intel Xeon Gold 5220 2.2G, 18C/36T, 10,4GT/sn, 24,75 M Önbellek, Turbo, HT (125 W) DDR4-2666	2,30 GHz'de 2x Intel Xeon Gold 5118, 12 çekirdek
Bellek	Gateway	12x 16GiB 2933 MT/sn RDIMM 'ler (192 GiB)	N/A
	Yüksek Talep Meta Verileri		24x 16GiB 2666 MT/sn RDIMM 'ler (384 GiB)
	Depolama Düğümü		24x 16GiB 2666 MT/sn RDIMM 'ler (384 GiB)
	Yönetim Düğümü	12x 16 GB DIMM, 2666 MT/sn (192GiB)	12x 8GiB 2666 MT/sn RDIMM 'ler (96 GiB)
İşletim Sistemi		Red Hat Enterprise Linux 7.6	Red Hat Enterprise Linux 7.7
Kernel sürümü		3.10.0-957.12.2.el7.x86_64	3.10.0-1062.9.1.el7.x86_64
PixStor Yazılımı		5.1.0.0	5.1.1.4
Spektrum Ölçeği (GPFS)		5.0.3	5.0.4-2
Yüksek Performanslı Ağ Bağlantısı		Mellanox ConnectX-5 Çift Bağlantı Noktalı InfiniBand EDR/100 GbE ve 10 GbE	Mellanox ConnectX-5 InfiniBand EDR
Yüksek Performanslı Anahtar		2x Mellanox SB7800 (HA – Yedekli)	1x Mellanox SB7700
OFED Sürümü		Mellanox OFED-4.6-1.0.1.0	Mellanox OFED-4.7-3.2.9
Yerel Diskler (İşletim Sistemi ve Analiz/izleme)		Yönetim düğümü dışındaki tüm sunucular İşletim sistemi için 3x 480 GB SSD SAS3 (RAID1 + HS) PERC H730P RAID denetleyicisi Yönetim Düğümü İşletim sistemi için 3x 480 GB SSD SAS3 (RAID1 + HS) PERC H740P RAID denetleyicisi	Yönetim düğümü dışındaki tüm sunucular İşletim sistemi için 2x 300 GB 15K SAS3 (RAID 1) PERC H330 RAID denetleyicisi Yönetim Düğümü İşletim Sistemi ve Analiz/izleme için 5x 300 GB 15K SAS3 (RAID 5) PERC H740P RAID denetleyicisi
Sistem Yönetimi		iDRAC 9 Enterprise + DellEMC OpenManage	iDRAC 9 Enterprise + DellEMC OpenManage

 

---

Performans Karakterizasyonu

Bu yeni Ready Solution'u (Hazır Çözüm) ifade etmek için isteğe bağlı Yüksek İsteğe Bağlı Meta Veri Modülü de dahil olmak üzere Tablo 1'in son sütununda belirtilen donanımı kullandık. Çözüm performansını değerlendirmek için aşağıdaki karşılaştırma testleri kullanıldı:

• IOzone N'den N'ye sıralı
• IOR N ila 1 sıralı
• IOzone rastgele
• MDtest (MDtest)

 Yukarıda listelenen tüm karşılaştırmalı testlerde, aşağıdaki Tablo 2'de açıklandığı gibi istemcilere yer verilmiştir. Test için kullanılabilir bilgi işlem düğümlerinin sayısı yalnızca 16'lı olduğu için daha fazla iş parçacığı gerekli olduğunda, bu iş parçacıkları bilgi işlem düğümlerine eşit olarak dağıtılmıştır (ör. 32 iş parçacığı = düğüm başına 2 iş parçacığı, düğüm başına 64 iş parçacığı = 4 iş parçacığı, düğüm başına 128 iş parçacığı = 8 iş parçacığı, düğüm başına 256 iş parçacığı =16 iş parçacığı, düğüm başına 512 iş parçacığı = 32 iş parçacığı, 1024 iş parçacığı = düğüm başına 64 iş parçacığı). Amaç, sınırlı sayıda bilgi işlem düğümüyle daha yüksek sayıda eş zamanlı istemciyi simüle etmektir. Karşılaştırmalı testlerin çok sayıda iş parçacığını desteklemesi nedeniyle, aşırı bağlam anahtarlama ve diğer ilgili yan etkilerin performans sonuçlarını etkilemesini önlemek için 1024'e kadar maksimum değer (her test için belirtilir) kullanıldı.

Tablo 2 İstemci Testi yatağı

İstemci düğümü sayısı	16
İstemci düğümü	C6320
İstemci düğümü başına işlemci	2 x Intel(R) Xeon(R) Gold E5-2697v4 18 Çekirdek @ 2,30 GHz
İstemci düğümü başına bellek	12 x 16GiB 2400 MT/sn RDIMM
BIOS	2.8.0
İşletim Sistemi Çekirdeği	3.10.0-957.10.1
GPFS sürümü	5.0.3

 

---

Sıralı IOzone Performance N istemcileri - N dosyaları

Sıralı N istemcilerinin N dosya performansı IOzone sürüm 3.487 ile ölçüldü. Yürütülen testler tek iş parçacığından 1024 iş parçacığına kadar çeşitlidir ve kapasite genişletilmiş çözümün (4x ME4084s + 4x ME484s) sonuçları büyük boyutlu çözüme (4x ME4084s) karşılık gelir. Önbelleğe alma efektleri, GPFS sayfa havuzunun 16GiB olarak ayarlanabilir olarak ayarlenip bu boyuttaki iki katı kadar büyük dosyalar kullanılarak en aza indirgendi. GPFS için ayarlanabilir özelliğin, takılı ve boş RAM miktarına bakılmaksızın verileri önbelleğe almada kullanılan maksimum bellek miktarını ayarlaması önemlidir. Ayrıca, önceki Dell EMC HPC çözümlerde büyük sıralı aktarımlar için blok boyutunun 1 MiB olduğu halde GPFS'nin 8 MiB blok ile biçimlendirilmesi ve bu nedenle optimum performans için karşılaştırmalı testte bu değerin kullanılması dikkati çekiyor. Bu, çok büyük görünebilir ve çok fazla alan harcamış olabilir ancak GPFS, bu durumu önlemek için alt blok tahsisini kullanır. Mevcut yapılandırmada, her blok 32 KiB'den 256 alt bloka ayrılmıştır.

Aşağıdaki komutlar yazmalar ve okumalar için karşılaştırmalı testi yürütmek için kullanıldı. Burada İş Parçacığı, kullanılan iş parçacığı sayısıyla (1 ila 1024 iki güçte artırılmış) değişkendi ve iş parçacığı listesi, her iş parçacığını 16 bilgi işlem düğümüne homojen bir şekilde yaymak için yuvarlak deneme kullanarak farklı bir düğüme tahsis edilen dosyadır.

./iozone -i0 -c -e -w -r 8M -s 128G -t $Threads -+n -+m ./threadlist
./iozone -i1 -c -e -w -r 8M -s 128G -t $Threads -+n -+m ./threadlist

Şekil 2:  N ile N Sıralı Performans


Sonuçlardan, kullanılan istemci sayısıyla performansın çok hızlı artarak ve ardından IOzone'nun izin vermekte olduğu maksimum iş parçacığı sayısına ulaşıncaya kadar sabit olan bir yaylaya ulaştığını ve bu nedenle büyük dosya sıralı performansının 1024 eş zamanlı istemciler için bile sabit olduğunu gözlemlrz. Hem okuma hem de yazma performansının sürücü sayısının iki katına çıkmasının avantajına dikkat edin. Maksimum okuma performansı, 8 iş parçacığından başlayarak depolama düğümlerinde kullanılan iki IB EDR bağlantının bant genişliğiyle sınırlıdır ve ME4 dizilerinde bazı ekstra performans kullanılabilir. Benzer şekilde maksimum yazma performansının 64 ve 128 iş parçacığında maksimum 16,7 GB/sn'den 20,4 GB/sn'ye ve ME4 dizilerin maksimum özelliklerine (22 GB/sn) daha yakın olduğunu fark edin.

Burada GPFS'nin tercih edilen çalışma modunun dağınık olduğunu ve çözümün bu modu kullanmak üzere biçimlendirildiğinden emin olmak önemlidir. Bu modda bloklar, işlemin başlangıcından sözde rastgele bir şekilde ayrılır ve her HDD'nin tüm yüzeyine veri yayır. Bariz dezavantajı daha küçük bir ilk maksimum performansken bu performans, dosya sisteminde ne kadar alan kullanıldığına bakılmaksızın oldukça sabittir. Bu durum, başlangıçta disk devrimi başına daha fazla veri (sektör) barındırabilir ve bu nedenle HDD'lerin sağlaylaylandığı en yüksek performansa sahip olan dış parçaları kullanan diğer paralel dosya sistemlerinden farklı olarak, sistem daha fazla alan kullandığından devrim başına daha az veri içeren iç parçalar kullanılır ve sonuç olarak performans azalması sağlanır.

 

---

Sıralı IOR Performance N istemcileri 1 dosyaya

Tek bir paylaşılan dosya performansına sıralı N istemcileri, OpenMPI v4.0.1 destekli IOR sürüm 3.3.0 ile ölçülür ve karşılaştırmalı testi 16 bilgi işlem düğümü üzerinden çalıştırın. Yürütülen testler, 512 iş parçacığına kadar bir iş parçacığından (1024 iş parçacığı için yeterli çekirdek olmadığı için) farklı olabilir ve sonuçlar kapasite genişletmesi olmadan çözümden farklı olur.
Önbelleğe alma efektleri, GPFS sayfa havuzunun 16GiB olarak ayarlanabilir olarak ayarlenip bu boyuttaki iki katı kadar büyük dosyalar kullanılarak en aza indirgendi. Bu karşılaştırmalı testlerde optimum performans için 8 MiB blok kullanıldı. Önceki performans testi bölümünde bu konularla ilgili daha eksiksiz bir açıklama bulunur.

Aşağıdaki komutlar yazmalar ve okumalar için karşılaştırmalı testi yürütmek için kullanıldı. Burada İş Parçacığı, kullanılan iş parçacığı sayısıyla (1 ila 1024 iki güçte artırılmış) değişkendir ve my_hosts.$Threads, her iş parçacığını farklı bir düğüme tahsis ederek bunları 16 bilgi işlem düğümüne homojen bir şekilde yaymak için yuvarlak deneme kullanarak karşılık gelen dosyadır.

mpirun --allow-run-as-root -np $Threads --hostfile my_hosts.$Threads --mca btl_openib_allow_ib 1 --mca pml ^ucx --oversubscribe --prefix /mmfs1/perftest/ompi /mmfs1/perftest/lanl_ior/bin/ior -a POSIX -v -i 1 -d 3 -e -k -o /mmfs1/perftest/tst.file -w -s 1 -t 8m -b 128G 

mpirun --allow-run-as-root -np $Threads --hostfile my_hosts.$Threads --mca btl_openib_allow_ib 1 --mca pml ^ucx --oversubscribe --prefix /mmfs1/perftest/ompi /mmfs1/perftest/lanl_ior/bin/ior -a POSIX -v -i 1 -d 3 -e -k -o /mmfs1/perftest/tst.file -r -s 1 -t 8m -b 128G

Şekil 3: N ila 1 Sıralı Performans

Sonuçlardan ek sürücülerin okuma ve yazma performansından faydalanarak tekrar gözlemlebilirsiniz. Kullanılan istemci sayısıyla performans tekrar çok hızlı bir şekilde artıyor ve okumalar için oldukça kararlı olan bir yaylaya ulaşır ve bu testte kullanılan maksimum iş parçacığı sayısına kadar yazar. Maksimum okuma performansının 16 iş parçacığında 24,8 GB/sn olduğunu ve darboğazın, ME4 dizilerinin hala bazı ekstra performansa sahip olduğu InfiniBand EDR arabirimi olduğunu fark edin. Bu noktadan sonra okuma performansı bu değerden yaylaya yaklaşık 23,8 GB/sn ulaşana kadar azaldı. Benzer şekilde, maksimum 19,3 yazma performansının 8 iş parçacığında ulaşıldığına ve bir yaylaya ulaşıldığına dikkat edin.
 

---

Rastgele küçük bloklar IOzone Performance N istemcileri için N dosyaları

N dosyalarına rastgele N istemcileri performansı, geleneksel Iozone yerine FIO sürüm 3.7 ile ölçüldü. Bir önceki blog'da listelenmiş olan amaç, ME4084 dizilerinin sağlandığı maksimum performansı araştırmak için daha büyük bir Kuyruk Derinliğinden yararlanmaktır (farklı ME4 çözümleri için önceki testler, ME4084 dizilerinin rastgele GÇ sınırlarına ulaşmak için GÇ basıncına ihtiyaç olduğunu göstermiştir).

1024 iş parçacığı için yeterli istemci çekirdeği mevcut değilken yürütülen testler tek iş parçacığından 512 iş parçacığına kadar çeşitlidir. Her iş parçacığı farklı bir dosya kullanıyor ve iş parçacıklarına istemci düğümlerde yuvarlak deneme atanmıştır. Bu karşılaştırmalı testlerde, küçük blok trafiğini taklit ve 16 kuyruk derinliğini kullanarak 4 KiB blok kullanıldı. Büyük boyutlu çözümün sonuçları ve kapasite genişletmesi karşılaştırılır.

Önbelleğe alma efektleri, GPFS sayfa havuzunun 16GiB olarak ayarlanabilir olarak ayarlenip bu boyutta iki kez kullanılmasıyla tekrar en aza indirgendi. İlk performans testi bölümünde bunun NEDEN GPFS'de etkili olduğu hakkında daha ayrıntılı bir açıklama bulunur.

 
Şekil 4:  N'den N'ye

Rastgele Performans Sonuçlardan, yazma performansının 29,1K IOps değerinden yüksek bir değerle başladığı ve 64 iş parçacığına kadar sürekli olarak 40.000 IOps'de bir yaylaya ulaşıldığı gözlemlmektedir. Diğer yandan okuma performansı 1,4K IOps'den başlar ve kullanılan istemci sayısıyla performansı neredeyse doğrusal olarak artırır (her bir veri noktası için iş parçacığı sayısının iki katı olduğunu unutmayın) ve bir yaylaya ulaşıyor gibi görünen 64 iş parçacığında maksimum 25,6K IOPS performansına ulaşır. Daha fazla iş parçacığının kullanımı, kaynak kaybını önlemek için 16 bilgi işlem düğümünden daha fazlasını gerektirir ve dizilerin performansı sürdürenin daha düşük görünür bir performansa sahip olması gerekir.

 

---

Boş dosyaları kullanarak MDtest ile meta veri performansı

Meta veri performansı, OpenMPI v4.0.1 tarafından desteklenen MDtest sürüm 3.3.0 ile ölçülürken 16 bilgi işlem düğümü üzerinden karşılaştırma gerçekleştirin. Yürütülen testler tek iş parçacığından 512 iş parçacığına kadar çeşitlidir. Karşılaştırmalı test yalnızca dosyalar için (dizin meta verisi yok), çözümün işlenebilir oluşturma, istatistik, okuma ve kaldırır sayısını elde etme ve sonuçların Büyük boyutlu çözümle kontrast oluşturması için kullanıldı.

Çözümü diğer Dell EMC HPC depolama çözümlerine ve önceki blog sonuçlarına göre doğru şekilde değerlendirmek için isteğe bağlı Yüksek İsteğe Bağlı Meta Veri Modülü kullanıldı ancak tek bir ME4024 dizisiyle birlikte, bu çalışmadaki büyük yapılandırmanın ve test edilenlerin iki ME4024s'e sahip olduğu belirlenmişti. Bu Yüksek TalepLi Meta Veri Modülü, dört adede kadar ME4024 dizisini destekleyene ve başka bir meta veri modülü eklemeden önce ME4024 dizi sayısını 4'e artırmanız önerilir. Ek ME4024 dizileri, sayılar çok yüksek olduğundan, bazı durumlarda CPU'lar darboğaz haline gelir ve performans doğrusal olarak artmadığı için Stat işlemleri (ve boş dosyalar için okumalar) hariç olmak üzere her ek diziyle birlikte Meta Veri performansını doğrusal olarak artırması beklenir.

Aşağıdaki komut, iş parçacığının kullanılan iş parçacığı sayısı (1 ila 512 iki güçte artırılmış) olan değişken olduğu karşılaştırmalı testi yürütmek için kullanılır ve my_hosts.$Threads, her bir iş parçacığını farklı bir düğüme tahsis ederek bunları 16 bilgi işlem düğümüne homojen bir şekilde yaymak için yuvarlak deneme kullanarak karşılık gelen dosyadır. Rastgele GÇ karşılaştırmalı testinde olduğu gibi, 1024 iş parçacığı için yeterli çekirdek olmadığı ve bağlam anahtarlamanın sonuçları etkileyip çözümün gerçek performansından daha düşük bir sayı raporla birlikte maksimum iş parçacığı sayısı 512 ile sınırlıdır.

mpirun --allow-run-as-root -np $Threads --hostfile my_hosts.$Threads --prefix /mmfs1/perftest/ompi --mca btl_openib_allow_ib 1 /mmfs1/perftest/lanl_ior/bin/mdtest -v -d /mmfs1/perftest/ -i 1 -b $Directories -z 1 -L -I 1024 -y -u -t -F

Performans sonuçları toplam IOPS sayısı, dizin başına dosya sayısı ve iş parçacığı sayısından etkilenebilir. Toplam dosya sayısını 2 MiB dosyası (2^21 = 2097152), dizin başına sabitleyen dosya sayısı 1024 ve dizin sayısı Tablo 3'te gösterildiği gibi değiştirilecek şekilde değişmeye karar verildi.

Tablo 3:  Dizindeki dosyaların MDtest Dağıtımı

İş Parçacığı sayısı	İş parçacığı başına dizin sayısı	Toplam dosya sayısı
1	2048	2,097,152
2	1024	2,097,152
4	512	2,097,152
8	256	2,097,152
16	128	2,097,152
32	64	2,097,152
64	32	2,097,152
128	16	2,097,152
256	8	2,097,152
512	4	2,097,152
1024	2	2,097,152

Şekil 5: Meta Veri Performansı - Boş Dosyalar

İlk olarak, seçilen ölçeğin temel 10 ile logarithmic olduğunu ve farkların çeşitli büyük siparişlere sahip işlemleri karşılaştırarak gerçekleştirilebileceğini fark edin; Aksi takdirde bazı işlemler normal grafikte 0'a yakın düz bir çizgi gibi görünür. Temel 2'ye sahip bir günlük grafiği daha uygun olabilir, çünkü iş parçacığı sayısı 2'ye göre artmıştır ancak grafik çok benzer görünür ve insanlar 10'un güçlerine bağlı olarak daha iyi numaraların ele alınarak hatırlanma eğilimindedir.
Sistem, sırasıyla yaklaşık 11 M op/sn ve 4,7 M op/sn ile 64 iş parçacığında en yüksek değerine ulaşan Stat ve Okuma işlemleriyle çok iyi sonuçlar alır. Çıkarma işlemleri 16 iş parçacığında maksimum 170,6K op/sn'ye ulaştı ve 222,1K op/sn ile 32 iş parçacığında en yüksek performansa ulaşan Oluşturma işlemleri. Stat and Read (Istatistik ve Okuma) işlemleri daha değişkendir ancak en yüksek değerine ulaştıklarında performans, İstatistikler için 3M op/sn'nin ve Okumalar için 2M op/sn'nin altına düşmez. Oluşturma ve Çıkarma işlemleri, bir yaylaya ulaşıldığında daha kararlıdır ve Çıkarma işlemi için 140.000 op/sn'nin üzerinde ve Oluşturma için 120.000 op/sn üzerinde kalır. Ek sürücülerin, boş dosyalarda beklendiği gibi meta veri işlemleri çoğunu etkilemediğini fark eder.
 

---

4 KiB dosyası kullanarak MDtest ile meta veri performansı

Bu test, boş dosyalar yerine 4KiB'ye sahip küçük dosyaların kullanıldığından önceki testle neredeyse aynıdır. 
Aşağıdaki komut, iş parçacığının kullanılan iş parçacığı sayısı (1 ila 512 iki güçte artırılmış) olan değişken olduğu karşılaştırmalı testi yürütmek için kullanılır ve my_hosts.$Threads, her bir iş parçacığını farklı bir düğüme tahsis ederek bunları 16 bilgi işlem düğümüne homojen bir şekilde yaymak için yuvarlak deneme kullanarak karşılık gelen dosyadır.

mpirun --allow-run-as-root -np $Threads --hostfile my_hosts.$Threads --prefix /mmfs1/perftest/ompi --mca btl_openib_allow_ib 1 /mmfs1/perftest/lanl_ior/bin/mdtest -v -d /mmfs1/perftest/ -i 1 -b $Directories -z 1 -L -I 1024 -y -u -t -F -w 4K -e 4K

Şekil 6:  Meta Veri Performansı - Küçük dosyalar (4K)

Sistem, sırasıyla 8,2 M op/sn ve 400K op/sn ile 256 iş parçacığında en yüksek değerine ulaşan Stat and Removal işlemleri için çok iyi sonuçlar alır. Okuma işlemleri maksimum 44,8K op/sn'ye ulaştı ve 512 iş parçacığında 68,1K op/sn ile en yüksek performansa ulaşan Oluşturma işlemleri. Stat and Removal işlemleri daha değişkendir ancak en yüksek değerine ulaştıklarında performans, İstatistikler için 3M op/sn'nin ve Kaldırma için 280.000 op/sn'nin altına düşmez. Oluşturma ve Okuma daha az değişkenlik sağlar ve iş parçacığı sayısı arttıkça artarak devam edin. Gözlemlenen gibi, kapasite genişletmelerin ek sürücüleri meta veri performansında yalnızca marjinal değişiklikler sağlar.
Bu numaralar tek bir ME4024'e sahip bir meta veri modülü için olduğundan, her ek ME4024 dizisi için performans artabilir ancak her bir işlem için doğrusal bir artış varsayamaz. Tüm dosya bu tür bir dosya için inode içine sığmadıkça, ME4084s üzerindeki veri hedefleri, 4K dosyaları saklamak için kullanılır ve performansı bir dereceye kadar sınırlar. Inode boyutu 4KiB olduğundan ve hala meta verileri depolaması gereken için yalnızca 3 KiB etrafındaki dosyalar içine sığacak ve bundan daha büyük dosyalar veri hedeflerini kullanmakta.
 

---

Sonuç ve Gelecekteki Çalışmalar

Genişletilmiş kapasiteye sahip çözüm, yalnızca rastgele erişimler için değil sıralı performans için bile performansı iyileştirdi. Dağınık modun rastgele erişim olarak davranması ve daha fazla diske sahip olması iyileştirmeye olanak tanır. Tablo 4'e genel olarak bakabilirsiniz. Bu performansın, boş dosya sistemindeki neredeyse tamamen dolu olana kadar sabit olması beklenir. Ayrıca, daha fazla depolama düğümü modülü eklenmiştir ve isteğe bağlı yüksek talepli meta veri modülünden benzer bir performans artışı beklenebilir. Bu çözüm, HPC müşterileri için çok sayıda Top 500 HPC kümesi tarafından kullanılan çok güvenilir bir paralel dosya sistemi sağlar. Buna ek olarak, olağanüstü arama özellikleri, gelişmiş izleme ve yönetim ve isteğe bağlı ağ geçitleri eklemek, NFS, SMB ve diğerleri gibi her yerde standart protokoller aracılığıyla gerektiği kadar çok istemciye dosya paylaşımına olanak sağlar.

Tablo 4  En Yüksek ve Sürekli Performans

	En Yüksek Performans		Sürekli Performans
	Yazmak	Read (Okuma)	Yazmak	Read (Okuma)
N dosyalarına büyük Sıralı N istemcileri	20,4 GB/sn	24,2 GB/sn	20,3 GB/sn	24 GB/sn
Tek paylaşımlı dosyaya büyük Sıralı N istemcileri	19,3 GB/sn	24,8 GB/sn	19,3 GB/sn	23,8 GB/sn
Rastgele Küçük, N istemcilerini N dosyalarına engeller	40 KIOps	25,6 KIOps	40,0 KIOps	19,3 KIOps
Meta Veriler Boş dosyalar oluşturma	169,4K IOps		123,5K IOps
Meta veri Stat boş dosyaları	11M IOps		3,2 M IOps
Meta Veri Okuma boş dosyaları	4,7 M IOps		2,4 M IOps
Meta Verileri Boş dosyaları kaldırma	170,6 K IOps		156,5K IOps
Meta Veri Oluşturma 4KiB dosyaları	68,1K IOps		68,1K IOps
Meta veri Stat 4KiB dosyaları	8,2 M IOps		3M IOps
Meta Veri Okuma 4KiB dosyaları	44,8 K IOps		44,8 K IOps
Meta Verileri Kaldırma 4KiB dosyaları	400.000 IOps		280 K IOps

Çözümün Cascade Lake CPU'lar ve daha hızlı RAM ile piyasaya sürülması amaçlanmaktadır. Sistem son yapılandırmaya sahipse bazı performans noktası kontrolleri yapılır. Ve veri hedefleri dahil olduğunda meta veri performansının ölçeğini daha iyi belgeleyen en az 2x ME4024s ve 4KiB dosyalarıyla isteğe bağlı Yüksek İsteğe Bağlı Meta Veri Modülünü test edin. Buna ek olarak, ağ geçidi düğümlerinin performansı, yeni bir blog veya teknik rapordaki nokta kontrollerinden elde edilmesiyle ilgili tüm sonuçlarla birlikte ölçülür ve bildirilir. Son olarak, daha da fazla kapasite sağlamak için daha fazla çözüm bileşeni test edilecek ve yayınlanacak şekilde planlanmaktadır.