PowerScale | L3 Önbellek ve Meta Veri Stratejilerini Anlama

L3 Önbelleğini Anlama:

L3 Önbellek: L3 önbellek, SSD'lerde bulunan ve birincil bellek önbelleğini (L1 ve L2) tamamlayan ikincil bir önbellek düzeyidir. Okuma gecikme süresini iyileştirmek için sık erişilen verileri ve meta verileri depolayan bir çıkarma önbelleği olarak çalışır. L3 önbellek, rastgele dosya erişimi içeren iş akışları için en faydalıdır. Arşiv serisi depolama düğümleri için yalnızca meta veri modunda çalışabilir. SSD'lerde mevcut verilerin bulunduğu bir düğüm havuzunda L3 önbelleğinin etkinleştirilmesi, SSD'lerin önbelleğe alma için kullanılabilmesi için sürücülerin bu verileri HDD'lere boşaltmasını gerektirir. L3 önbelleği devre dışı bırakmak genellikle daha hızlı bir işlemdir.

L3 Önbellekten Yararlanan İş Akışları: 

• • L3 önbellek, aşağıdaki özelliklere sahip iş akışları için faydalıdır:
  • Rastgele Dosya Erişimi: Dosyaların farklı, sıralı olmayan bölümlerinin sık sık okunmasını içeren iş yükleri, L3 önbellek ile gecikme süresinde önemli azalmalar görebilir.
  • Yüksek Okuma-Yazma Oranı: L3 önbellek öncelikle okumaları hızlandırdığı için, baskın bir okuma bileşenine sahip iş akışı en çok fayda sağlar.
  • Sık erişilen "sıcak" verilerin önbelleğe alınması: L3 önbellek, sık erişilen verileri otomatik olarak tanımlar ve depolar, böylece tekrarlanan erişim için performansı artırır.
  • Akış ve Eşzamanlı Dosya Erişimi (bir dereceye kadar): Rastgele erişim en fazla avantajı görse de, akış ve eşzamanlı erişime sahip iş akışları, L3 önbellekle bazı performans iyileştirmeleri de elde edebilir.

L3 Önbellek Ne Zaman Seçilmeli:

• • Birincil performans darboğazı hem veriler hem de meta veriler için rastgele okuma gecikme süresi olduğunda.
  • Daha fazla RAM maliyetine neden olmadan düğümlerin etkin bellek kapasitesini genişletmek.
  • Yakın zamanda L2'den çıkarılan verilerin ve meta verilerin önemli miktarda yeniden okunduğu görülen iş yükleri için.
  • Dosya sistemi geçişi için meta veri performansının kritik olduğu arşiv sınıfı düğümler için.
  • Önemli bir yapılandırma yükü olmadan daha basit, "ayarla ve unut" okuma performansı iyileştirmesi istendiğinde.
    Meta Veri Hızlandırma Ne Zaman Seçilmeli:
  • Meta veri işlemleri (aramalar, erişim, değişiklikler) birincil performans darboğazı olduğunda.
  • Yüksek hacimli meta veri okuma (meta veri okuma hızlandırma) veya hem okuma hem yazma (meta veri okuma/yazma hızlandırma) içeren iş yükleri için.
  • Temel veriler daha yavaş depolamada bulunsa bile hızlı meta veri erişiminin çok önemli olduğu sismik yorumlama gibi senaryolarda.
  • Meta verilerin nerede bulunduğu üzerinde ayrıntılı kontrol gerektiğinde.
  • Meta veri okuma avantajlarını yerel SSD'leri olmayan düğümlere genişletmek için gereklidir (GNA'yı diğer düğümlerde meta veri okuma hızlandırması ile kullanmak).
  • Giriş dizinleri, ağır dosya numaralandırma içeren iş akışları ve çok sayıda karşılaştırma gerektiren etkinlikler gibi iş yükleri genellikle yüksek meta veri okuma etkinliği sergiler. Bu gibi durumlarda, meta veri erişimini doğrudan hızlandırmak önemli performans artışına yol açabilir

Meta Veri Stratejilerini Anlamak:

Meta Veri Stratejisi: SSD'ler, verileri önbelleğe almak yerine öncelikli olarak meta veri işlemlerini depolayacak ve hızlandıracak şekilde yapılandırılabilir. Bu strateji, çok sayıda küçük dosya, sık dizin aramaları ve meta veri yoğunluklu iş altyapısı görevleri gibi yüksek hacimli meta veri erişimine sahip iş yükleri için yararlı olabilir. OneFS, meta veri okuma ve meta veri yazma dahil olmak üzere farklı meta veri SSD stratejilerini destekler.

Metadata-Read: SSD'ler öncelikle meta veri okuma işlemlerini hızlandırmak için kullanılır.

Metadata-Write: SSD'ler, meta veri yazma işlemlerini hızlandırmak için kullanılır. 

• Meta veri stratejisinin L3 önbelleğe göre avantajları:
• Meta veri hızlandırma , belirli veri kümeleri ve iş akışları için meta veri performansını artırmak için SSD'lerin nasıl kullanıldığı üzerinde daha hedefli ve ayrıntılı kontrol sunar. Öte yandan L3 önbellek, özellikle hem verilere hem de meta verilere tekrarlanan rastgele okuma erişimi olanlar olmak üzere daha geniş bir iş yükü yelpazesine fayda sağlayan daha genel bir önbelleğe alma katmanıdır. L3 önbellek, sık erişilen veriler için okuma performansını iyileştirmede mükemmel olsa da, özel bir meta veri stratejisi belirli avantajlar sunabilir: 
  • Geliştirilmiş Meta Veri Performansı: Meta veri işlemlerinin performans sorunu olduğu iş yükleri için (ör. açma, kapatma, yeniden adlandırma, çok sayıda dosyanın listelenmesi), SSD'leri meta verilere ayırmak gecikme süresini önemli ölçüde azaltabilir ve genel performansı iyileştirebilir.
  • Gelişmiş İş Motoru Performansı: Belirli OneFS iş motoru görevleri yoğun meta veri kullanır. Meta veri erişiminin hızlandırılması, bu işlerin daha hızlı tamamlanmasını sağlayabilir.
  • Meta Veri Ağırlıklı İş Yükleri için Öngörülebilir Performans: Tutarlı bir yüksek meta veri etkinliği düzenine sahip ortamlarda, ayrılmış bir meta veri stratejisi, çıkarma tabanlı önbelleğe kıyasla daha öngörülebilir ve sürdürülebilir performans geliştirmeleri sağlayabilir.
  • Bazı uygulamalar ve iş akışları, gerçek veri okuma ve yazma işlemlerine kıyasla orantısız şekilde yüksek sayıda meta veri işlemi oluşturur. Örnekler arasında dosya arşivleme, medya varlık yönetimi, elektronik tasarım otomasyonu (EDA), sık derlemelere sahip yazılım geliştirme ortamları ve çok sayıda küçük dosya erişimi ve analizi içeren genomik işlem hatları yer alır. Bu durumlarda, meta verilere erişme ve meta verileri işlemeyle ilişkili gecikme süresi önemli bir performans darboğazına dönüşebilir
  • Karmaşık dizin yapılarında gezinmeyi veya birçok dizinin içeriğini listelemeyi içeren işlemler, meta veri performansına büyük ölçüde bağımlıdır. Meta veri hızlandırma, sistemin inode bilgilerine ve dizin girişlerine hızlı bir şekilde erişebilmesini sağlar ve kapasite kısıtlamaları veya daha az sıklıkta erişim nedeniyle bu bilgileri çıkarmış olabilecek bir L3 önbelleğine bile güvenmeye kıyasla bu işlemleri önemli ölçüde hızlandırır
  • Yedekleme, Çoğaltma ve Geçiş: Bu veri yönetimi görevleri genellikle kapsamlı meta veri taraması ve işlemeyi içerir. Hızlandırma yoluyla daha hızlı meta veri erişimi, bu işleri tamamlamak için gereken süreyi önemli ölçüde azaltabilir, birincil iş yüklerinde kesintiyi en aza indirebilir ve operasyonel verimliliği artırabilir.
  • Arama ve Dizin Oluşturma: Kullanıcıların veya otomatik işlemlerin meta veri özniteliklerine (ör. ad, boyut, değişiklik tarihi) göre belirli dosyaları araması gerektiğinde, hızlandırılmış meta veri erişimi daha hızlı sorgu yürütülmesine olanak tanır. Bu, birden çok kümede verimli sorgulama ve veri keşfi için dosya sistemi meta verilerini dizine ekleyen MetadataIQ gibi çözümler için geçerlidir
• Meta Veriler ne zaman seçilmeli: 
  • Ağır Dizin tarama, Dosya veya veri arama işlemleri, İndeksleme.
  • Açma, kapatma, silme, dizin oluşturma (mkdir) gibi dosya işlemleri.
  • Arama, getattr ve erişim işlemleri.
  • Ana dizinler, özellikle çok sayıda nesne içerenler.
  • Ağır numaralandırma veya karşılaştırmalar içeren iş akışları.
  • Meta veri güncelliğinin kritik önem taşıdığı sismik veri yorumlama.
  • Meta veri hızlandırma, bu tür etkinlikler için önemli performans iyileştirmeleri sağlayarak aktarım hızını artırabilir ve gecikme süresini azaltabilir

Özet: Ne zaman seçilir

• • İş yükünüz dosya meta verilerine erişen veya dosya meta verilerini değiştiren işlemlere (özniteliklere göz atma, arama, dizin oluşturma, silme, değiştirme) karşı büyük ölçüde önyargılıysa bir Meta Veri Hızlandırma stratejisi (Meta Veri Okuma veya Meta Veri Okuma/Yazma) seçin.
  • İş yükünüz ağırlıklı olarak meta veri okuma yoğunluklu ise ve daha az SSD kapasitesi kullanmak istiyorsanız Meta Veri Okuma Hızlandırma'yı seçin.
  • İş yükünüz önemli miktarda meta veri yazma işlemi içeriyorsa, daha hızlı anlık görüntü silmeleri gerektiriyorsa veya EDA gibi flash üzerinde satır içi küçük dosyalardan yararlanan küçük bir dosya HPC iş yüküyse Meta Veri Okuma/Yazma Hızlandırmayı seçin. Yeterli SSD kapasitesine sahip olduğunuzdan emin olun.
  • Karma bir kümeniz (SSD'li ve SSD'siz düğümler) varsa ve küme genelinde SSD olmayan düğümlerde yer alan veriler için meta veri okumalarını hızlandırmanız gerekiyorsa GNA'yı göz önünde bulundurun. Bu, yayılmış meta veri yoğunluklu iş yükleri için geçerlidir.
    • Global namespace Acceleration (GNA): GNA, SSD'leri olmayan düğüm havuzlarının, bu SSD'lerde ekstra meta veri yansıtmaları depolayarak kümenin başka bir yerindeki SSD'lerden yararlanmasına izin veren daha eski bir mekanizmadır (tüm düğümlerde SSD olduğunda L3 önbellek ile değiştirilmesi amaçlanmaktadır). Bu, yalnızca HDD havuzlarında depolanan veriler için meta veri okuma işlemlerini hızlandırır. L3 önbellek ve GNA aynı kümede birlikte bulunabilir ancak genellikle farklı düğüm havuzlarında çalışır.
  • İş yükünüz önemli ölçüde rastgele okumalar içeriyorsa, büyük bir çalışma kümesi için genişletilmiş önbelleğe alma avantajlarından yararlanıyorsa veya düğümlerinizde SSD'ler olması koşuluyla iyileştirilmiş İş Motoru performansına ihtiyaç duyuyorsa L3 Önbelleği göz önünde bulundurun.

Araçlar ve komutlar:

• Performans İzleme: Küme durumunu, performans ölçümlerini ve kullanım tahminini izlemek için InsightIQ, CloudIQ ve MetadataIQ gibi araçları kullanın. InsightIQ, performans eğilimlerini izleyebilir, kalıpları belirleyebilir ve dosya analizi gerçekleştirebilir. Ayrıca bir kümenin maksimum kapasiteye ne zaman ulaştığını tahmin etmeye de yardımcı olabilir. CloudIQ, küme performansı hakkında öngörüler sağlar. MetadataIQ, kümeler arasında veri dizini oluşturmayı ve sorgulamayı kolaylaştırır ve veri yaşam döngüsü yönetimi ve veri dağılımını anlamak için kullanılabilir.
• isi_cache_stats yardımcı programı, L2 ve L3 önbellek için SSD'leri boyutlandırmayla ilgili çalışan veri kümesi boyutunu belirlemeye yardımcı olabilir. Genel bir kural, L2 kapasitesi + L3 kapasitesinin = çalışma kümesi boyutunun %150'si olması >gerektiğini belirtir.
• MetadataIQ (OneFS 9.10+): Kümeler arasında genel bir meta veri kataloğu oluşturmak ve dizinlemek için MetadataIQ'yu dağıtın ve yapılandırın. Veri dağıtımını, dosya sayılarını ve meta veri özniteliklerini görselleştirmek için Kibana panosunu kullanın. Bu, verilerinizin bileşimini ve meta verilerin nasıl büyüdüğünü anlamanıza yardımcı olur. Periyodik senkronizasyonlar meta veri veritabanını güncel tutar
• InsightIQ , toplam, sağlanan ve kullanılan kapasite dahil olmak üzere küme kapasitesi hakkında raporlar sağlayarak geçmiş eğilimlere göre depolama ihtiyaçlarını tahmin etmenize olanak tanır. İş yükü performansını, gecikme süresini, IOPS'yi ve aktarım hızını izleyerek veriler büyüdükçe olası performans sorunlarını tespit etmenize olanak tanır. InsightIQ'nun Dosya Sistemi Analizi raporları, dosya sayısını ve boyut dağılımını göstererek verilerinizin ölçeği ve bileşimi hakkında size bilgi verir ve bu da LIN sayısındaki artışla doğrudan ilişkilidir.