Data Domain: Data Domain dosya sistemi (DDFS) temiz/atık toplama (GC) aşamalarına genel bakış

Veri etki alanı dosya sistemi (DDFS), dosya sistemi tarafından kullanılan dosya sistemi alanından silindiğinde, yeniden kullanım için bir çok yaygın dosya sistemi uygulamalarından farklıdır. Bunun nedeni, Data Domain Restorer (DDR) ' in, silinen dosya tarafından başvurulan verilerin aynı zamanda diğer dosyalara karşı yinelenmesi ve bu nedenle verileri çıkarmak için güvenli olup olmadığı konusunda anında nasıl emin olmamasından kaynaklanmalıdır.

Temizlik (bazen çöp toplama/GC olarak da bilinir), bir DDR tarafından yapılan işlemdir:

• Diskteki hangi verilerin gereksiz olduğunu belirler (yani artık dosyalar veya anlık görüntüler gibi nesnelerin başvurduğu)
• Temel disk alanı yeniden kullanım için kullanılabilir hale getiren gereksiz verileri fiziksel olarak kaldırır (örn. yeni veri için)

Temiz/GC genellikle düzenli aralıklarla çalıştırılmak üzere zamanlanmıştır (varsayılan olarak, 6 ' dan Salı gününden başlar) ve şunlar olabilir:

• Uzun süre çalışıyor
• Hesaplama maliyetli

Ancak, veri etki alanı Restorer (yani, bu işlemi hızlandırmak için kısayol yoktur), verinin kaldırılacağına ve temiz/GC 'nin çalıştırılmasından başka bir yol olmadığına dikkat edin (ör. bu süreci hızlandırma kısayolu yoktur).

Bu makalede, şu konuda açıklandığı gibi temiz/GC açıklanmaktadır:

• Temizleyen genellikle çalıştırılan aşamalar
• Çeşitli DDOS sürümlerinde kullanılan farklı temiz algoritmalar

None

Her temizlemenin/GC 'nin çalıştırıldığı iki ana amaca dayanır. bunun nasıl yapıldığına ilişkin kısa bir genel bakış da bunun nasıl yapılacağını aşağıda bulabilirsiniz:

• Clean/GC, sistemde mevcut olan dosyalar, anlık görüntüler ve çoğaltma günlükleri gibi nesneleri arayan DDFS dosya sisteminin içeriğini numaralandırır
• Daha sonra bu nesneler tarafından etkin olarak referans gösterilen diskteki tüm fiziksel verileri belirler
• Etkin olarak referans verilen veriler ' canlı ' olarak kabul edilir ve DDR 'den çıkarılamaz. bu verilere başvuran nesneler zarar görmüşse (Bu veriler, bağlı olduğu temeldeki veriler artık diskte bulunmadığı için artık okunamaz)
• Herhangi bir nesne tarafından etkin olarak referans olmayan veriler ' ölü ' olarak kabul edilir ve bu veriler, sistemden güvenle çıkarılabilir
• Bir DDR 'deki tüm veriler, kapsayıcı olarak bilinen boyuttaki 4,5 MB nesnelere paketlenmiştir
• Numaralama için temiz/GC, hangi 4,5 MB 'Lık verilerin kullanılmayan verileri ve her bir sunucudaki ölü veri miktarını belirler.
• Varsayılan olarak temiz/GC, ' işleme ' için %8 ' den fazla ölü veri > içeren 4,5 MB 'Lık kapsayıcıları seçer

Bu, DDR 'de ölü verileri çıkarmalıdır. bunun nasıl yapıldığına ilişkin kısa bir açıklama aşağıdaki gibidir:

• İşlem için seçilen kapsayıcılar, iyi bir miktar geçersiz veri tutdıklarını onaylamak için yeniden denetlendi
• Canlı veriler Bu kaplardan çıkarılır ve dosya sisteminin sonunda yeni 4,5 MB kapsayıcılara yazılır
• Bu işlem tamamlandıktan sonra seçili kapsayıcılar (içerdikleri kullanılmayan veriler dahil), fiziksel olarak disk alanından alınan disk alanından silinir

Temizleme işlemi, bağlı olan toplam aşama sayımına sahip bir dizi ' aşama ' olarak bölünür:

• DDR 'de kullanılmakta olan DDOS sürümü (Bu nedenle, varsayılan olarak DDOS 'ın söz konusu sürümü tarafından kullanılan temiz algoritma)
• Sistemin yapılandırması/içeriği

Ancak genel olarak, ' ölü ' veri bulma ve ilgili kapsayıcıları seçme süreci, çok sayıda aşamaya yerleşti, ancak ölü verilerin çıkarılması ' Copy ' olarak bilinen tek bir aşamada gerçekleşir. Örneğin, DDOS 'ın belirli sürümleri, temiz aşamaları şu şekilde çalıştırabilir:

1. Ön numaralandırma-DDFS dosya sisteminin içeriğini numaralandırın
2. Birleştirme öncesi-dizin bilgilerinin en son kopyasının diske temizlendiğinden emin olmak için DDFS Dizin birleştirme işlemi gerçekleştirir
3. Ön filtre-DDFS dosya sisteminde Yinelenen veriler olup olmadığını ve Öyleyse bunu
4. Pre-Select-temizlik yoluyla hangi 4,5 MB kaplarının ' işlenmiş ' olduğunu belirleyin
5. Copy-seçili kaplardaki canlı verileri fiziksel olarak ayıklayın, bunu yeni kaplara yazın ve ardından seçili kapsayıcıları silin
6. Özet-yeniden oluşturma Özeti vektörleri (yeni verilerin en zorlu olması sırasında optimize olarak kullanılır)

Yukarıdaki örnek aşamalar, 1-4 ' ölü ' verisinin DDR 'de nerede bulunduğunu belirlemek için kullanılır (Bu belgenin geri kalanında ' numaralandırma aşamaları ' olarak ifade edilir). Aşama 5 (kopya) bu verileri fiziksel olarak çıkarmak için kullanılır.

Temiz/GC, kopyalama aşamasına ulaşana kadar sistemde hiçbir alan fiziksel olarak boşaltılmaz. Sonuç olarak, temizleme işlemi başlangıcı ve serbest çalışmaya başlama alanları arasında önemli bir gecikme olabilir (numaralandırma işleminin ilk çalışması için gereken işlemler nedeniyle). Bu nedenle sistemlerin temiz/GC başlatılmadan önce %100 ' i doldurmasına izin verilmemelidir.

Numaralandırma aşamaları, CPU kullanımı (genellikle CPU ile bağlanmış) açısından masraflı olarak eğilimlidir; kopyalama aşaması hem CPU hem de g/ç 'nin (genellikle CPU ve g/ç bağlı olduğu) açısından pahalıdır. Ancak Özetle şunları söylemek olasıdır:

• Numaralandırma aşamalarının toplam uzunluğu, DDR 'de numaralandırılması gereken veri miktarına bağlıdır
• Kopyalama aşamasının toplam uzunluğu, DDR 'de çıkarılması gereken geçersiz veri miktarına ve verilerin diskte ' parçalanmış ' olmasına bağlıdır (aşağıda tartışılmıştır)

Numaralandırma aşamalarının sayısı/işlevi, DDR 'de kullanılan DDOS 'nin serbest bırakılması üzerine bağlıdır.

DDoS 5,4 (ve öncesi)-tam temiz algoritma: 6 veya 10 aşama (yukarıda gösterildiği gibi) çalıştırır:

• DDFS dosya sisteminin içeriği yukarıdan aşağıya (yani dosya merkezli) numaralandırılır.
• DDFS, DDR 'de mevcut olan tüm dosyaları bulur ve bu dosya tarafından hangi verilerin başvurulduğunu belirlemek için her bir dosyayı sırayla tarar
• Bu, diskteki hangi verilerin "Live" olduğunu belirlemeye yönelik temiz/GC 'yi belirlemenizi sağlar

DDOS 5,5 (ve üzeri)-fiziksel temiz algoritma (PGC): 7 veya 12 aşama çalıştırır:

• DDFS 'nin içerikleri aşağıda (yani bireysel dosyaları artık taramıyor) numaralandırılır.
• DDFS, disk üzerindeki fiziksel verilere başvuran dosya sistemi meta verilerini bulur ve hangi verilerin referans olduğunu belirlemek için bu meta verileri tarar
• Bu, diskteki hangi verilerin "Live" olduğunu belirlemeye yönelik temiz/GC 'yi belirlemenizi sağlar
• Bu, "analiz" aşamasının eklenmesiyle sağlanır (dolayısıyla, tam temiz algoritmanın aşama sayısında artış)
• Ancak çoğu durumda, fiziksel temizlemenin toplam süresi, aynı sistem için tam temiz süreden (daha fazla bağımsız aşamalara sahip olsa da) daha kısa olması beklenir

DDOS 6,0 (ve üzeri)-kusursuz fiziksel temiz algoritma (PPGC):

• Bu, fiziksel temiz algoritmaya yönelik bir optimize etme ve aşağıda daha ayrıntılı bir şekilde ele alınmıştır

DDOS 'nın tam temiz algoritmadan fiziksel temiz algoritmaya geçiş olduğunu, tam temiz algoritmanın en üst tarafı nedeniyle, şu iki ile DDR 'ler için iyi ölçeklemediğine dikkat edin:

• Çok sayıda küçük dosya (içerik anahtarı olarak bir dosyanın numaralandırılma işleminden sonraki maliyetli/yavaş) geçirken bağlam anahtarı olarak.
• Yüksek çoğaltma oranı (birden çok dosya aynı fiziksel verilere başvurduğundan aynı veriler birden çok kez numaralandırıldı için)

DDOS 5,4 (veya daha önceki) 5,5 (veya daha yenisi) sürümüne yükseltildiğinde, DDR 'ler tam olarak fiziksel temiz algoritmalara otomatik olarak geçiş yapar. Bu durumun tek istisnası, DDFS dosya sisteminin içeriğinin fiziksel temiz etkinleştirilmeden önce ' sabitleme ' dosyaları için denetlenmesi gerektiği genişletilmiş saklama ile yapılandırılmış sistemlerdir. Bu işlem, bu belgenin kapsamının dışındadır. Bu, yükseltmenin ardından otomatik olarak çalışır ve bu kontrol, bu kontrol işleminin tamamlanmasından sonra el ile eyleme gerek olmadan etkinleştirilir.

Benzer DDR 'ler, DDOS 5. x 'den 6,0 (veya üzeri) yükseltildiğinde otomatik olarak fiziksel temiz algoritmalara geçiş yapar. Ancak, kusursuz fiziksel temiz algoritmanın, kullanılmadan önce dizinleri ' Index 2,0 ' biçiminde bulunmasını gerektirdiğini unutmayın. Unutmayın:

• ' Index 2,0 ' biçimi, DDOS 5,5 ile kullanılmaya başlanmıştır (Bu nedenle, 5,5 veya daha sonra oluşturulan tüm dosya sistemleri, dizin 2,0 olarak kullanılıyor olur)
• 5,4 veya öncesinde oluşturulan dosya sistemi başlangıçta Index 1,0 biçiminde dizinlere sahip olacaktır. DDOS 5,5 ' ye (veya daha yenisi) yükseltildikten sonra dizinler dizine dönüştürülecek 2,0 Format-dönüştürme işlemi her temizlenme işleminde yapılır ancak her temiz çalıştırma sırasında yalnızca ~ %1 ' i her silme işlemi sırasında dönüştürülür; böylece dizinleri 2,0 biçimine tam olarak dönüştürmek için iki yıla kadar (temiz çalışma, haftada bir) sürebilir

İlk olarak DDoS 5,4 (veya öncesi) çalıştıran DDR 'ler, daha sonra DDOS 5,5 ' ye (veya daha yenisi) yükseltildiyse, dizinleri dizin 2,0 biçimine bir kez "dizin yeniden oluşturma" ile dönüştürmeye zorlanabilir. Ancak, bir dizin yeniden oluşturma işleminin bir süre kapalı zaman aralığı gerektirdiğine dikkat edin. Bu işlem genellikle DDR 'deki veri boyutu/miktarına bağlı olarak 2-8 saat boyunca tamamlanır. Bir dizin yeniden oluşturma işlemini tartışmak için lütfen sözleşme sağlayan destek sağlayıcınızla iletişime geçin.

Yukarıda belirtildiği gibi, temiz/GC algoritmasından bağımsız olarak, temiz bir şekilde bir değişken sayısı gerektirebilir. tam temiz algoritmanın 6 veya 10 ' a kadar aşama kullanması gerekebilir. Bunun nedeni şunları içerir:

• DDFS başlatıldığında, Clean/GC tarafından kullanılması için sabit miktarda bellek ayırmıştır
• Bu bellek temizleme/GC içinde, numaralandırmanın sonuçlarını açıklamak için veri yapıları oluşturulur (ör. diskte canlı ve ölü verilerin bulunduğu yeri açıklayın)
• Bir DDR, görece küçük miktarda veri içerdiğinde DDFS dosya sisteminin tüm içeriği bu bellek alanında açıklanabilir
• Ancak, pek çok sistemde bu mümkün değildir ve DDFS dosya sisteminin içeriğinin tamamı numaralandırıldıktan sonra bu bellek alanı tükenebilir
• Sonuç olarak bu sistemler, gerekli temiz aşama sayısını artıran ' örnekleme ' işlemini gerçekleştirirler

Örnekleme kullanıldığında temiz/GC kullanılır:

• Tüm dosya sistemi boyunca numaralandırma için bir örnekleme geçişi gerçekleştirin. bu numaralandırmanın ' tamamlanmadı ' olmadığını unutmayın (yani dosya sisteminin her bir bölümü hakkında tam bilgi kaydetmez, bunun yerine dosya sisteminin her bir bölümüyle ilgili bilgileri de kaydetmez)
• Bu örnekleme bilgilerini kullanarak DDFS dosya sisteminin en çok hangi parçanın temiz/GC 'den yararlanabileceği konusunda fayda sağlayacakları belirleyin (ör. dosya sisteminin temizlenme alanında en iyi sonucu verecek)
• Dosya sisteminin, içeriğinin artık GC için ayrılmış bellek içinde tam olarak açıklanabildiği parça için ikinci bir tam numaralandırma gerçekleştirin

Gerekirse temiz/GC sırasında örnekleme otomatik olarak etkinleştirilir ancak bu nedenle şunlar neden olur:

• Clean/GC tarafından gerçekleştirilmesi gereken evreler sayısında bir artış
• Toplam temiz/GC süresinde karşılık gelen bir artış

DDOS 6,0 öncesi DDR 'ler temiz/GC sırasında örnekleme gerçekleştirir (görece küçük bir veri kümesi tutmadıkça). Bununla birlikte kusursuz fiziksel temiz algoritma, dosya sistemi içinde veri numaralandırılırken temiz/GC tarafından gerekli bellek miktarını azaltmak için çeşitli iyimleri içerir. Bu, DDOS 5. x üzerinde temiz/GC sırasında örnekleme gerçekleştiren birçok sistemin artık DDOS 6,0 ' de örnekleme gerektirmeyeceği anlamına gelmektedir. bu nedenle, temiz tarafından gerçekleştirilen aşama sayısını azaltır ve toplam temiz çalıştırma süresinde (yani temiz performans geliştirme) ilgili düşüşe neden olur.

Bir sistemin fiziksel Temizleme algoritmasından şu kadar farklı fiziksel temiz algoritmaya geçmiş olduğunu belirlemek için herhangi bir bilgi yoktur:

• Sistem, DDOS 5,5-5,7 üzerinde fiziksel temiz bir çalışma çalıştırırken, silme sırasında 12 aşama gerçekleştirmektedir
• DDOS 6,0 ' ye (veya daha yenisi) yükseltilmekte olan sistemin ardından temiz sırasında yalnızca 7 aşama gerçekleştirilir

DDOS 6,0 çalıştıran bir sistemin hala örnekleme yapması gerekiyorsa bu, temiz olduğunda otomatik olarak etkinleştirilir ve temiz sırasında 12 aşamadan çalışmaya döner.

Temiz algoritmadan bağımsız olarak, kopyalama aşaması (kullanılmayan veriler sistemden fiziksel olarak çıkarılmış olan veriler) işlevleri tüm sürümlerde benzer bir şekilde kullanıldı. Kopyalama aşamasının performansı genellikle şu genel bir ' a bağlıdır:

• Kaldırılmaları gereken ' ölü ' veri miktarı
• Bu ölü verinin ' parçalanma ' (yani disk üzerinden nasıl yayıldığı)

Yukarıdaki kopyada açıklandığı gibi, kullanılmayan verileri tutan 4,5 MB kapsayıcıları seçildiğinde, bu kapsayıcıların canlı verilerini çıkartarak ve bu canlı verileri yeni kaplara yazarak ve ardından başlangıçta seçilen kapsayıcıları silerek çalışır. Aşağıdaki örnekler, ölü verinin neden önemli olduğunu açıklamaktadır:

Örnek 1:

• kopyalama için 10 adet kapsayıcılar seçildi (45 MB toplam veri)
• Bu kapsayıcılar hiçbir canlı veri içermelerse (yani, tutdukları veriler tamamen başvurulmayan/yok)
• Sonuç olarak, bu kapsayıcıları diskte 45 MB fiziksel alanı serbest bırakmak için silinmiş olarak işaretlemeniz yeterli

Örnek 2:

• (450Mb'a kadar toplam veri) için 100 kapsayıcıları seçildi
• Bu kapsayıcıların her biri %90 canlı veri/%10 ' dan fazla kullanılmayan veri içerir
• Bu kapsayıcıları işlemek için şu işlemleri yapın:

Bu örnekte, örnek 2 ' de açıklanan kopyayı gerçekleştirmek için önemli ölçüde g/ç ve CPU gereklidir. bu nedenle, örnek 1 ' de açıklanan kopyayı gerçekleştirmek için, bu örnekte bu örnek, diskte 45 MB fiziksel alanı serbest bırakmak için önemli ölçüde daha fazla zaman alacaktır.

Kullanıcılar genellikle bir DDR 'de diskteki ölü verilerin "parçalanma" üzerinde hiçbir denetime sahip değildir. Bu, sisteme yazılan veri kullanım örneğine/türüne bağlıdır. Ancak bu temiz/GC, kopyalama aşamasında karşılaşılan ölü verilerin "parçalanma" olup olmadığını belirlemeye yardımcı olan istatistikleri muhafaza eder (Bu nedenle, kullanıcının bu parçalanmanın uzun süre çalışan bir kopyalama aşamasını açıklayabileceğini belirlemesini sağlar). Bu, temiz/GC 'nin en son aşamasından alınan bu istatistikler, otomobil desteklerinde toplanır. Örneğin, aşağıda, ölü verinin oldukça bitişik olduğu bir kopyalama aşaması gösterilmektedir (yani, çok fazla ölü veriler bulunan kopyalar için seçilen kapsayıcıların çoğunluğu):

kopyalanan canlı veri yüzdesi:              % 3,6% 4,3

Bunun tersi da, ölü verilerin parçalanmış olduğu bir kopyalama aşaması gösterilmektedir (ör. büyük miktarda canlı veri tutulan kopya için seçilen kapsayıcıların çoğunluğu):

kopyalanan canlı verilerin yüzdesi:             % 70,9% 71,5

Temiz/GC 'nin üzerinde açıklandığı üzere, İkinci senaryoda belirtildiği gibi, kopyalama aşamasının çalışmasının azalmasına neden olacak şekilde DDR 'de fiziksel olarak boş alan sağlayacak şekilde karşılaştırmalı olarak daha fazla çalışma yapması gerekecektir.

Kopyalama aşaması iş hacmi şu şekilde de olumsuz etkilenebilir:

• Şifreleme kullanımı: Veriler kopyalama sırasında şifresinin çözülmesi veya yeniden şifrelenmelidir, bu da gerekli CPU miktarını önemli ölçüde artırır
• Düşük bant genişliği optimizasyonu kullanımı: Konteynerler, kopyalama sırasında oluşturulacak "taslak" bilgisine ihtiyaç duyar, bu da CPU 'nun gerektirdiği miktarda önemli ölçüde artışa neden olabilir

Düşük bant genişliği optimizasyonu ve/veya şifrelemenin, yakın zamanda mevcut olan tüm kapsayıcıların etkin olduğunu, (kopyalama için seçili olup olmamasına bakılmaksızın) şifreli olması ve/veya bir sonraki temizlenme sırasında kendilerine yönelik taslak bilgilerinin oluşturulmasına neden olması gerektiğine dikkat edin. Bu, temiz operasyonun (özellikle de kopyalama aşaması) normalden önemli ölçüde daha uzun sürmesine neden olabilir.

Temiz zamanlamayı ve kapağı kontrol etme/değiştirme ile ilgili daha fazla Not Aşağıdaki BB makalesinde mevcuttur: https://support.emc.com/kb/306100

Not:

• Normal koşullarda, her hafta temiz çalışan temiz bir şekilde çalıştırılmak üzere yeniden zamanlanmalıdır. Bu, diskteki verilerin aşırı "parçalanmış" olmasına neden olabilir ve bu da kötü okuma/çoğaltma/veri taşıma performansına neden olabilir
• Temiz azaltma, temiz tarafından kullanılan toplam CPU ve g/ç bant genişliği miktarını etkilemez; kritik temizlemenin sistemdeki diğer iş yüküne ne kadar süreceğini kontrol eder. Örneğin:

• Varsayılan olarak, temiz azaltma 50 olarak ayarlıdır. Bu, farklı azaltma ayarlarıyla temiz çalışmayı test etmek için kullanıcının sorumluluğundadır. Bu, DDR deneyimlerinin normal iş yükünün, daha fazla izin veren bir azaltma ayarı belirlemesi için:

• Uzun süren bir temiz çalıştırma, şu kadar bir sorun olmasa da dikkat edin:

• Genişletilmiş saklama işlevselliğini kullanan sistem, şu şekilde yapılandırılmalıdır:

• En yeni Temizleme işleminden alınan tüm bilgiler, otomobil destekleri ve ayrıntılarına eklenmiştir: