Data Domain Restorers'da (DDR'ler) dosyaların tekilleştirme ve sıkıştırma oranının zayıf olması sorununu giderme

Data Domain Restorers (DDR'ler), minimum fiziksel (postcompressed) disk alanı kullanan büyük miktarda mantıksal (önceden sıkıştırılmış) verileri tutmak için tasarlanmıştır. Bu, aşağıdakiler kullanılarak sağlanır:

• DDR'de zaten diskte depolanan yinelenen veri öbeklerini kaldırmak için, yalnızca benzersiz veriler bırakarak elde edilen verilerin tekilleştirmesi
• Bu veriler fiziksel olarak diske yaz geçmeden önce benzersiz verilerin sıkıştırması.

DDR'nin dayanağı olan verilerin genel sıkıştırma oranı aşağıdakiler gibi çeşitli faktörlere bağlı olarak değişir:

• Kullanım örneği
• Ingested olan veri türleri
• Uygulama yapılandırmasını yedekleme

Optimum şekilde yapılandırıldığında DDR'ler genellikle 10-20 x genel sıkıştırma oranına (ve bazen bunun daha yüksek oranları gösterilebilir) elde eder. Tam tersine, bazı ortamlarda genel sıkıştırma oranı buna göre daha düşük olabilir ve bu durum aşağıdakilere neden olabilir:

• KULLANıLABILIR kapasitesini hızlıca tüketen DDR
• Yedekleme, geri yükleme veya çoğaltma performansına etkisi
• DDR'nin müşteri beklentilerini karşılamama hatası

Bu makalenin amacı şu konuları ele almakdır:

• DDR'de veri tekilleştirme ve sıkıştırmaya kısa bir genel bakış
• Sistem ve ayrı ayrı dosyalar için genel sıkıştırma oranını belirleme
• Genel sıkıştırma oranında bozulmaya neden olabilecek faktörler

Data Domain Restorer yeni verileri nasıl karşılar?

• Yedekleme uygulaması DDR'ye veri (dosyalar) gönderir.
• DDR, bu dosyaları boyutu 4-12 Kb'olan parçalara böler. Her bir öbek bir "segment" olarak görülür.
• DDR, segment içinde bulunan verilere bağlı olarak her segment için benzersiz bir "parmak izi" (sağlama toplamına benzer) sağlar.
• Yeni gelen segmentlerin parmak izi, DDR'nin halihazırda aynı parmak izi olan bir segmente sahip olup olmadığını belirlemek için DDR'deki disk dizinlerinde kontrol edilir.
• DDR zaten aynı parmak izi olan bir segmente sahipse yeni gelen verideki ilgili segment yinelenen bir segmenttir ve (bu, kullanımdan çıkarılmış) bırakılmalıdır.
• Tüm yinelenen segmentler yeni gelen verilerden kaldırıldıktan sonra yalnızca benzersiz veya yeni segmentler kalır.
• Bu benzersiz veya yeni segmentler 128 Kb 'sıkıştırma bölgeleri' halinde gruplandı ve sıkıştırılmıştır (varsayılan olarak lz algoritması kullanılarak).
• Sıkıştırılmış sıkıştırma bölgeleri, daha sonra sabit sürücüye yazılan "kapsayıcılar" olarak bilinen 4,5 MB depolama birimlerine paketlenir.

DDR, hangi segmentlerin belirli bir dosyayı oluşturur?

DDR, yeni gelen verilerin tekilleştirme/sıkıştırma işlemlerine ek olarak, her bir ingested dosyası için de bir "segment ağacı" oluşturur. Bu aslında bu dosyayı oluştururken segment 'parmak izi' listesidir. DDR'nin daha sonra dosyayı okuması gerekiyorsa şu şekildedir:

• Dosya segment ağacının konumunu belirleme.
• Okunan dosya bölgesini oluştururken tüm segment parmak izi listesini almak için segment ağacını okuyun.
• Diskteki verilerin fiziksel konumunu (kapsayıcı) belirlemek için disk dizinlerini kullanın.
• Diskteki temel kapsayıcılardan fiziksel segment verilerini okuyun.
• Dosyayı yeniden inşa etmek için fiziksel segment verilerini kullanın.

Dosya segmenti ağaçlarının disk üzerindeki 4,5 MB'lık kapsayıcılarda da depolandığı ve her bir dosyanın "meta verilerin" çoğunu temsil eden (bu makalede daha sonra ele alınmıştır).

DDR'de genel sıkıştırma oranı nasıl belirlenecek?

DDR'nin genel kullanımı (ve sıkıştırma oranı) "filesys show space" komutu kullanılarak görülebilir. Örneğin:

Active Tier:Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*---------------- -------- -------- --------- ---- --------------/data: pre-comp - 115367.8 - - -
/data: post-comp 6794 (Örneğin: Active Tier:
Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 115367.8 - -/data: post-comp 6794 ) 0,2 6242,4 551,8 %92 202,5
/ddvar 49,2 9,1 37,6 %20 -


---------------- -------- -------- --------- ---- -------------- bu durumda şunların olduğunu görmek için:

• DDR'de bulunan önceden sıkıştırılmış veya mantıksal veriler: 115367,8 Gb
• DDR'de kullanılan baskılı veya fiziksel alan: 6242,4 Gb
• Genel sıkıştırma oranı 115367,8 / 6242,4 = 18,48 x'tir

"filesys show compression" komutunun çıktısı, saklanan verileri, kullanılan alanı ve sıkıştırma oranını doğrular. Örneğin:

                   Ücret Öncesi Ücret Sonrası Global-Ücret Yerel Ücret
Toplam Ücret (GiB) (GiB)
Faktör Faktör Faktörü (Azaltımı %)
---------------- -------- --------- ----------- ---------- -------------
Kürlü Olarak Kullanılır:*   115367.8 6242.4 - - 18,5x (94,6) <=== NOT
Yazılı:                                                                          
  Son 7 gün 42214,7 1863,2 11,0x 2,1x 22,7x (95,6)
  Son 24 saat 4924.8 274.0 8.8x 2.0x 18.0x (94.4)
---------------- -------- --------- ----------- ---------- -------------

DDR'deki tüm kullanım rakamları aşağıdaki şekilde hesaplanır:

• Toplam önceden sıkıştırılmış veriler: DDR tarafından saklanan tüm dosyaların önceden sıkıştırılmış (mantıksal) boyutunun toplamı.
• Toplam sıkıştırılan veriler: Diskte 4,5 Mb ile çarpımlı olarak 4,5 MB'lık kullanımdaki "kapsayıcıların" sayısı (tek bir kapsayıcının boyutu).
• Toplam sıkıştırılmış boyut: Sistemde kullanılabilir disk alanı oluşturulan maksimum "kapsayıcı" sayısı.

Maksimum kullanım kapsayıcıları ile ilgili istatistikler otomatik destek olarak mevcuttur. Örneğin:

Kapsayıcı seti 73fcacadea763b48:b66f6a65133e6c73:
...
    attrs.psize = 4718592 <=== Bayt olarak kapsayıcı boyutu
...
    attrs.max_containers = 1546057 <===
Maksimum olası kapsayıcı attrs.free_containers = 125562 <===
Şu anda boş kapsayıcılar attrs.used_containers = 1420495 <=== Şu anda kullanımda olan kapsayıcılar
...

Bkz.
 
Tek bir dosya, dizin veya dizin ağacı için tekilleştirme ve sıkıştırma oranları nasıl belirlenebilir?

Bir dosya edildiğinde DDR, aşağıdakiler dahil olmak üzere dosyayla ilgili istatistikleri kayıt eder:

• Önceden sıkıştırılmış (mantıksal) bayt
• Tekilleştirmeden sonra benzersiz segmentlerin boyutu
• Tekilleştirme ve sıkıştırmadan sonra benzersiz segmentlerin boyutu
• Dosyanın meta verisinin boyutu (segment ağacı vb.)

"filesys show compression [path]" komutunu kullanarak bu istatistiklerin bazılarını dökümk mümkündür. Örneğin tek bir dosya için istatistikleri rapor etmek için:

SE@DDVE60_JF## filesys show compression /data/kolu1/backup/testfile
Total files: 1;  bytes/storage_used: 2.9 Orijinal
Bayt:        3.242.460.364
Genel Olarak Sıkıştırılmış:        1.113.584.070
Yerel Olarak Sıkıştırılmış:        1,130,871,915
Meta veri:            4.772.672

Dizin ağacının tamamının istatistiklerini rapor etmek için:

SE@DDVE60_JF## filesys show compression /data/kolu1/backup
Total files : 3;  bytes/storage_used: 1.4
Orijinal Bayt:        7.554,284.280
Genel Olarak Sıkıştırılmış:        5.425.407.986 Yerel
Olarak Sıkıştırılmış:        5,510,685,100
Meta veri:           23.263.692

Ancak bu istatistikleri kullanarak ilgili birkaç uyarı olduğunu unutmayın:

• İstatistikler dosya veya veri alımı sırasında oluşturulur ve bunu takip ederseniz güncel değildir. DDR'nin çalışma şekli, yeni dosyaların alımı veya aynı verileri referans alan dosyaların silinmesi vb. nedeniyle, bir dosyanın zaman içinde nasıl eski hale geleceği değişebilir.
• Buna ek olarak DDR'deki bazı kullanım durumları (bir dosyanın fastcopy'si ve ardından orijinal dosyanın silinmesi gibi) bu istatistiklerin yanıltıcı veya yanlış olmasına neden olabilir.

Sonuç olarak bu şekiller yalnızca tahmin olarak düşünülmelidir.

Önceden sıkıştırılmış baytlar mutlaka dosyanın önceden sıkıştırılmış/mantıksal boyutu değildir. Bunun yerine, bir dosyaya yazılan toplam bayt sayısıdır. Sonuç olarak, mevcut bazı ortamlarda mevcut dosyaların genellikle üzerine yazılır (sanal bant kitaplığı işlevi kullananlar gibi), bu şekil ilgili dosyaların mantıksal boyutundan daha büyük olabilir.

"Zayıf kalite" verisinin alımı, genel sıkıştırma oranında düşüşe neden olabilir mi?

Evet - DDR'nin, iyi bir genel sıkıştırma oranı elde etmek için bu verileri ayırarak sıkıştırebilmesi gerekir. Aşağıda belirtildiği gibi bunu önleyebilecek çeşitli veri türleri vardır:

Önceden sıkıştırılmış/önceden şifrelenmiş veriler:

Bunlar istemci sisteminde veya yedekleme uygulaması tarafından sıkıştırılmış veya şifrelenmiş veri türleridir. Bu, tasarım tarafından sıkıştırılmış veya şifrelenmiş uygulamaya özel dosyaları (örneğin ortam dosyaları) ve ortam dosyaları gibi sıkıştırılmış veya şifrelenmiş ya da katıştırılmış ikili nesneleri içeren veritabanı dosyalarını da içerebilir.

Sıkıştırma veya şifreleme algoritmasının çalışma şekli nedeniyle bir dosyanın temel verilerde nispeten küçük bir değişiklik, dosya genelinde "dalgalanma" durumuna neden olur. Örneğin, bir istemci, 10 Kb'nin değiştirili olduğu 100 MB şifreli bir dosyaya sahip olabilir. Genellikle ortaya çıkan dosya, değiştirilen 10 Kb bölümü dışında değişiklikten önce ve sonra aynı olacaktır. Şifreleme kullanıldığında, değiştirilmeden önce ve sonrasında yalnızca 10 Kb şifrelenmemiş veri değişmiş olsa da şifreleme algoritması, dosyanın tüm içeriğinin değişmesine neden olur.

Bu tür veriler düzenli olarak değiştirildiğinde ve ddr'ye düzenli olarak gönderildiğinde bu "dalgalanma" etkisi, her bir dosya neslinin aynı dosyanın önceki nesillerinden farklı görünmelerine neden olur. Sonuç olarak, her nesil benzersiz bir segment seti (ve segment parmak izi) içerir, bu nedenle düşük tekilleştirme oranı gösterir.

Ayrıca lz algoritmasının önceden sıkıştırılmış dosyalar yerine, diske yazmadan önce verilerin sıkıştırılamaması için ilgili segment verilerini daha fazla sıkıştırama ihtimalinin düşük olduğunu unutmayın.

Genel bir kılavuz olarak ön baskı/ön şifreleme aşağıdakilere neden olur:

• Önceden şifrelenmiş veriler: Zayıf tekilleştirme oranı ancak kabul edilebilir sıkıştırma oranı
• Önceden sıkıştırılmış veriler: Zayıf tekilleştirme oranı ve düşük sıkıştırma oranı

Aynı (değişmemiş) önceden sıkıştırılmış/önceden şifrelenmiş veriler DDR tarafından birden çok kez alındığında verilerin tekilleştirme oranı, sıkıştırma veya şifreleme algoritmalarının kullanımına rağmen her yedekleme sırasında benzer bir segment (ve segment parmak izi) kümesi görülür.

DDR'ye gönderilen verilerin şifrelenmemelidir veya sıkıştırılamamalı. Bu, son istemcide veya ilgili yedekleme uygulaması içinde şifrelemenin veya sıkıştırmanın devre dışı bırakılmasına neden olabilir.

Belirli bir yedekleme, istemci uygulaması veya işletim sistemi içindeki şifreleme veya sıkıştırma ayarlarını kontrol etme, değiştirme veya sıkıştırma konusunda yardım almak için uygun destek sağlayıcısıyla iletişime geçin.

Ortam dosyaları:

Belirli dosya türleri, tasarıma göre önceden sıkıştırılmış veya önceden şifrelenmiş veriler içerir. Örneğin:

• PDF dosyaları
• Bazı ses dosyaları (mp3, wma, ogg vb.)
• Video dosyaları (avi, mkv vb.)
• Görüntü dosyaları (png, bmp, jpeg vb.)
• Uygulamaya özel dosyalar (Microsoft Office, Open Office, Libre Office vb.)

Dosyalar içindeki veriler dosyanın codec'i tarafından sıkıştırılır veya şifrelenir ve sonuç olarak, önceden sıkıştırılmış veya önceden şifrelenmiş veriler için yukarıda açıklandığı gibi DDR'ye yediğinde aynı sorunlara neden olur.

Yüksek "benzersizliğe" sahip dosyalar:

İyi tekilleştirme oranı elde etmek DDR'nin aynı segment setinde (ve segment parmak izi) birden çok kez görmelerine bağlıdır. Ancak belirli veri türleri yalnızca tasarım gereği "benzersiz" veriler içeren benzersiz işlem verilerini içerir.

Bu dosyalar bir DDR'ye gönderilirse yedeklemenin her nesli benzersiz bir segment veya segment parmak izi kümesi içerir ve sonuç olarak, düşük tekilleştirme oranı görür.

Bu tür dosyaların örnekleri şunlardır:

• Veritabanı işlem günlükleri (örneğin Oracle arşiv günlükleri).
• Microsoft Exchange işlem günlükleri

DDR'ye "yeni" bir istemcinin ilk yedeği de bu soruna neden olabilir (veriler DDR tarafından daha önce görülmemiştir; dolayısıyla yedeklemedeki ilgili segmentler veya segment parmak izi benzersizdir). Ancak zaman içinde, aynı yedeklemenin gelecek nesilleri DDR'ye gönderildiğinden yedeklemelerin tekilleştirme oranı, her yeni yedeklemede daha az segment benzersiz olduğundan daha az artış gösterir. Bu nedenle, yeni takılan BIR DDR'de çoğunlukla yeni yedeklemeler alan genel tekilleştirme veya sıkıştırma oranının indirgenmiş olması ancak zaman içinde iyileştirilmiş olması beklenir.

Küçük dosyalar:

Küçük dosyalar DDR'ye yazıldığında çeşitli sorunlara neden olur. Bunlar arasında aşağıdakiler yer alır:

• Meta veri akışı - DDR, fiziksel verilere kıyasla beklenenden daha yüksek miktarda dosya meta verisi tutmaya başlar.
• Kötü kapsayıcı kullanımı - Tasarım gereği (Bu belgenin kapsamının ötesindeki Data Domain Stream Informed Segment Layout veya SISL mimarisi nedeniyle) disk üzerindeki 4,5 MB kapsayıcı yalnızca tek bir dosyadan veri tutar. Sonuç olarak, örneğin tek bir 10 Kb dosyayı yedeklemek, bu dosya için en az bir tam 4,5 MB kapsayıcının yaz güncelleştirmesi neden olur. Bu, bu tür dosyalar için DDR'nin yedeklenmiş ilgili miktarda önceden sıkıştırılan (mantıksal) veriden çok daha fazla baskılı (fiziksel) alan kullandığı ve bunun da negatif genel sıkıştırma oranına neden olduğu anlamına gelir.
• Zayıf tekilleştirme oranı - 4 Kb'den küçük dosyalar (DDR'de minimum desteklenen segment boyutu) 4 Kb'ye kadar olan tek bir segmentte bulunur. Bu tür segmentler tekil değildir, bunun yerine doğrudan diske yazılmalıdır. Bu, DDR'nin aynı segmentin birden fazla kopyasını tutmasına neden olabilir (yinelenen segmentler olarak görülür).
• Zayıf yedekleme, geri yükleme veya temiz performans - Bir dosyadan bir dosyaya geçiş sırasında yedekleme, geri yükleme veya temizleme sırasında büyük ek yükler vardır (kullanılan meta verilerin bağlamının değiştirilmesi gerekir).

Bkz.

• DDOS 5.5 ve sonraki sürümlerde fiziksel temizleme veya atık toplamanın kullanılmasıyla küçük dosyaları kullanırken performansın temizlenmesinin etkisi azaltıldı.
• Temizleme işlemi, düşük kullanımlı kapsayıcılardan kopyalama aşamasında daha sıkı şekilde paketlenmiş kapsayıcılara veri toplayan kötü kapsayıcı kullanımını "geri alma" girişimleri.
• Kopyalama aşamasında aşırı yinelenen segmentleri temizleme girişimleri.

Yukarıdakilere rağmen, çoğunlukla küçük dosyalardan oluşan çok sayıda küçük dosyanın veya iş yükünün kullanımı önlenmiş olmalıdır. Küçük dosyaları DDR'ye yerel durumlarına göndermek yerine yedeklemeden önce çok sayıda küçük dosyayı tek bir sıkıştırılmamış/şifrelenmemiş arşivde birleştirmek daha iyidir. Örneğin, tek tek 10 Kb dosyaları içeren tek bir 10 Gb dosyayı yedeklemek, tüm 10 Kb dosya 1048576 tek 1048576 daha iyidir.

Yedekleme uygulamaları tarafından aşırı çoklu kullanım:

Yedekleme uygulamaları, yedekleme aygıtına gönderilen akışlarda verilerin çok sayıda veri toplaması gerçekleştirmek için yalıtilebilir. Bu, giriş akışlarından gelen veriler (farklı istemcilerdir) yedekleme aygıtına tek bir akışta gönderilir. Bu işlev, öncelikle aşağıdaki gibi fiziksel teyp aygıtlarına yazarken kullanılır:

• Fiziksel teyp aygıtı yalnızca tek bir gelen yazma akışını destekleyene kadar.
• Yedekleme uygulaması, bant başlatmalarını, durdurmalarını veya geri sarmalarını önlemek için bant aygıtına yeterli veri aktarım hızını korumalı (ayaklı ışıklı ışık olarak da bilinir) - Bant aygıtına giden akış birden fazla istemciden okunan veriler içerirse bu daha kolay olur.

Ancak DDR durumunda bu, DDR'deki tek bir dosyanın rastgele sırada veya parça boyutlarıyla dönüşümlü olarak çalışan birden fazla istemciden veriye sahip olmasına neden olur. DDR, belirli bir istemci yedeklemesinin her neslinden yinelenen segmentleri doğru bir şekilde fark etmeyebileceğini için bu, düşük tekilleştirme oranına neden olabilir. Genel olarak, multiplexing ayrıntısı ne kadar küçükse tekilleştirme oranına etkisi o kadar kötü olur.

Buna ek olarak, belirli bir istemci verilerini geri yüklemek için DDR'nin dosya veya kapsayıcıdaki verilerin çoğunun diğer istemci yedeklemeleri ile ilgili olduğu gibi gereksiz olduğu birçok dosya veya kapsayıcı okuması gerekir.

DDR'ler, her akışın değişken hızda yazabilmeniz için fiziksel teyp aygıtlarına göre daha yüksek gelen akış sayısını desteklediğinden, yedekleme uygulamaları DDR'ye yazarken çoklama kullanmaz. Sonuç olarak yedekleme uygulamaları tarafından multiplexing devre dışı bırakılmalıdır. Multiplexing devre dışı bırakıldıktan sonra yedekleme performansı etkilenmişse:

• CIFS, NFS veya OST (DDBoost) kullanan yedekleme uygulamalarının yazma akışlarının sayısı artırılmalıdır (böylece DDR'ye paralel olarak daha fazla dosya yazılmalıdır).
• VTL kullanan ortamlar, her sürücü ek bir paralel yazma akışı desteğine izin verileye sahip olduğu için DDR'ye ek sürücüler eklemeli.

Multiplexing'i devre dışı bırakmak için yardım gerekirse veya belirli bir yedekleme uygulaması için önerilen çoklu yapılandırmayı görüşmek istiyorsanız sözleşmeli destek sağlayıcınızla iletişime geçin.

Aşırı bant işaretleyicileri ekleyen yedekleme uygulamaları:

Bazı yedekleme uygulamaları, "işaretleyiciler" olarak bilinen bir yedekleme akışına tekrarlanan veri yapıları tak edebilir. İşaretleyiciler, yedekleme içindeki fiziksel verileri temsil etmese de bunun yerine yedekleme uygulaması tarafından dizin oluşturma veya konumlandırma sistemi olarak kullanılır.

Bazı durumlarda, bir yedekleme akışına işaretleyicilerin eklenmesi tekilleştirme oranını düşürebilir, örneğin:

• Bir yedeğin ilk neslinde, bitişik olan 12 Kb veri bulunur. Bu, DDR tarafından tek bir segment olarak tanındı.
• Ancak yedeklemenin ikinci neslinde, aynı 12 Kb veri, 6 Kb veri, yedekleme işaretleyicisi ve 6 Kb veri ile temsil edilebilir bir yedekleme işaretleyicisinin eklenmesiyle bölünmektedir.
• Sonuç olarak, yedeğin ikinci nesli sırasında oluşturulan segmentler, yedeklemenin ilk nesli sırasında oluşturulanlarla eşleşmiyor ve bu nedenle doğru şekilde ayrık değil.

İşaretçiler ne kadar yakın boşluk bıraksa da tekilleştirme oranının etkisi o kadar kötü olur (örneğin, her 32 Kb'de bir yedekleme uygulaması işaretleyicileri eklemek, her 1 Mb'de bir yedekleme uygulaması işaretleyicileri eklemeye göre daha fazla soruna neden olur).

Bu sorunu önlemek için DDR, aşağıdakilere olanak sağlayan işaret tanıma teknolojisi kullanır:

• Yedekleme sırasında yedekleme akışından şeffaf bir şekilde kaldırılacak yedekleme işaretleyicileri.
• Yedeğin geri yüklemesi sırasında yedekleme akışına yeniden takılmış olacak yedekleme işaretleyicileri

Bu, veri veya segmentlerin yedekleme işaretleriyle parçalanmasını önlemeye yardımcı olur ve karşılık gelen yedeklemelerin tekilleştirme oranını iyiler.

Ancak bu teknolojiden tam olarak yararlanmak için DDR'nin yedek akışlara eklenen işaretleri doğru şekilde tanıması önemlidir. DDR, "işaret türü" seçeneğinin ayarına bağlı olarak işaretleyiciler aramalıdır; örneğin:

SE@DDVE60_JF## filesys
seçeneği Option Value
-------------------------------- --------
...
İşaretçi tipi otomatik
...


-------------------------------- -------- Ddr'nin en yaygın işaret türleriyle otomatik olarak eşleşmesini sağlamak için bu seçenek "auto" (otomatik) olarak bırakılmış olması gerekir.

Sistem, işaret işareti ekleyen yalnızca bir yedekleme uygulamasına veri veriyorsa belirli bir işaret türü belirtmenin bir performans avantajı olabilir: #filesys option set marker-type {auto | nw1 | cv1 | tsm1 | tsm2 | ki1 | fdr1 | hpdp1 | besr1 | ssrt1 | ism1 | bti1| none}

See that:

• Belirli bir işaret türü seçmenin performansın herhangi bir avantajı en düşük seviyede olabilir.
• Yanlış işaretleyici türü seçmek performansı ve tekilleştirme oranını yedeklemek veya geri yüklemek için önemli miktarda ek performans düşüşüne neden olabilir.

Sonuç olarak Data Domain genellikle işaret türünü "auto" (otomatik) olarak ayarlamanızı tavsiye eder. İşaretçi türünü değiştirme konusunda daha fazla tavsiye için sözleşmeli destek sağlayıcınızla iletişime geçin.

Yedekleme işaretleyicileri olan ancak otomatik işaretleyici işleme teknolojisi (BridgeHead yazılımındaki ürünler gibi) tarafından tanınmamış uygulamalardaki verileri alan sistemler için standart olmayan işaretleyiciyi algılamak için DDR'deki gerekli ayarları belirlemek üzere Data Domain desteğiyle çalışabilecek sözleşmeli destek sağlayıcınızla iletişime geçin.

DDR tarafından alınan "düşük kaliteli" verilerin göstergeleri:

Aşağıdaki tabloda yukarıda listelenen farklı veri türleri için beklenen tekilleştirme ve sıkıştırma oranları listelenmiştir. Bu liste ayrıntılı değildir ve ddr tarafından tüketen iş yükü veya veriler nedeniyle belirli bir sistemde görülen tam şekillerde bir çeşitleme olabilir:
 

Genel Sıkıştırma	Yerel Sıkıştırma	Olası Neden
Düşük (1x - 4 x)	Düşük (1x - 1,5 x)	Önceden sıkıştırılmış veya şifrelenmiş veriler
Düşük (1x - 2x)	Yüksek (>2x)	Veritabanı arşiv günlükleri gibi benzersiz ancak sıkıştırılabilir veriler
Düşük (2x - 5 x)	Yüksek (>1,5 x)	Algılanmadı veya yüksek veri değişim hızı veya akış multiplexing işaretleyicileri.
Yüksek (>10x)	Düşük (<1,5 x)	Aynı sıkıştırılmış veya şifrelenmiş verilerin yedekleri. Bu durum nadir görülen bir durumdur.

DDR'de genel tekilleştirme oranını etkiley olabilecek belirli faktörler var mı?

Evet - DDR'deki diskte eski/süperflous verilerin saklanmasına neden olabilecek çeşitli faktörler vardır. Bu, baskı sonrası (fiziksel) disk alanı artışına ve genel sıkıştırma oranında düşüşe neden olabilir. Bu faktörler aşağıda ele alınmıştır.

Dosya sistemi temizlemenin düzenli olarak çalıştırılamama durumu:

Dosya sistemi temizleme, artık DDR'deki dosyalar tarafından referans alınamayacak olan disk üzerindeki eski/süperflous verileri fiziksel olarak kaldırmanın tek seçeneğidir. Sonuç olarak, kullanıcı sistemden birkaç dosyayı silmesine (önceden sıkıştırılmış kullanımda düşüşe neden olur) ancak temiz çalışmayabilirsiniz (postcompressed/fiziksel kullanımı yüksek bırakarak). Bu, genel sıkıştırma oranında düşüşe neden olur.

Data Domain, aşağıdaki gibi düzenli aralıklarla çalıştırmak için zamanlamanın temiz olarak planlandırılmalarını tavsiye eder:

• Normal DDR: Haftada bir
• Genişletilmiş saklama kullanan DDR: her iki haftada bir

Temiz, haftada bir kez çalıştırılmaması gerekir. Bu, disk üzerindeki verilerin parçalanmasıyla ilgili sorunlara neden olabilir ve bu da kendisini düşük geri yükleme/çoğaltma performansı olarak gösterir.

Sistemde aşırı eski anlık görüntüler:

DDR'ler, anlık görüntünün oluşturulduğu anda bir mtree'nin içeriğini temsil eden mtree anlık görüntüleri oluşturabilir. Ancak eski anlık görüntülerin sistemde kalmasının, baskı sonrası/fiziksel kullanımın artışına neden olarak genel sıkıştırma oranında düşüşe neden olduğunu unutmayın. Örneğin:

• Birçok dosya içeren bir mtree vardır (bu nedenle önceden sıkıştırılmış kullanım yüksek).
• Mtree'nin anlık görüntüsü oluşturulur.
• Dosyaların çoğu silinir (önceden sıkıştırılmış kullanımın düşmesini sağlar).
• Dosya sistemi temizleme işlemi çalıştırılır ancak silinen dosyaların bir kopyası mtree anlık görüntüsünde kalırsa bu dosyaların referansı olan verilerin diskten çıkarılamayağı anlamına gelen minimum sabit sürücü alanı boş bırakılmıştır.
• Sonuç olarak, sıkıştırılmış/fiziksel kullanım yüksek kalır

Data Domain, mtree anlık görüntüleri kullanılırsa (örneğin kazayla veri silme işleminden kurtarma için) anlık görüntülerin belirli bir süre sonu süresiyle düzenli aralıklarla oluşturulacak şekilde otomatik anlık görüntü zamanlamaları kullanılarak yönetildiğinden (anlık görüntünün otomatik olarak kaldırılmış olduğu süre) önerilir. Buna ek olarak, sona erme süresi mümkün olduğunca kısa olacaktır (ancak bu, elbette bu anlık görüntülerin kullanım durumuna veya bu anlık görüntülerin sağladığı koruma düzeyine bağlı olabilir). Bu, uzun bir süre sona erme süresine sahip eski anlık görüntülerin bir derlemesinin engellenmesini sağlar.

Anlık görüntüler ve anlık görüntü zamanlamaları ile çalışma hakkında daha fazla bilgi aşağıdaki makalede mevcuttur: Data Domain - Anlık Görüntü Zamanlamalarını Yönetme

Aşırı çoğaltma gecikmesi:

Yerel Data Domain çoğaltması, hangi dosyaların veya verilerin uzak DDR'ye çoğaltmayı bekleyen olduğunu izlemek için bir çoğaltma günlüğü veya mtree anlık görüntüleri (çoğaltma türüne bağlı olarak) kullanır. Çoğaltma gecikmesi, çoğaltmanın kaynak DDR'deki değişikliklerin gerisinde kalma kavramıdır. Bu durum, aşağıdakiler dahil olmak üzere çeşitli faktörler nedeniyle meydana gelebilir:

• Çoğaltma bağlamları devre dışı bırakiliyor
• DDR'ler arasında yetersiz ağ bant genişliği
• Sık ağ bağlantısı kesileri.

Büyük çoğaltma gecikmesi, çoğaltma günlüğünün kaynak DDR'de veya kaynak ve hedef DDR'lerde eski veya eski mtree anlık görüntülerinde silinen dosyalara referanslar içeren devam etmelerine neden olabilir. Yukarıda açıklandığı gibi, bu anlık görüntüler (veya çoğaltma günlüğü) tarafından başvurulan veriler, ilgili dosyalar sistemden silinse bile DDR'deki diskten fiziksel olarak kaldırılamaz. Bu, DDR'nin baskı sonrası veya fiziksel kullanımının artışına ve ardından tekilleştirme oranının bozulmasına neden olabilir.

DDR'ler yüksek kullanımdan rahatsızsa ve bunun çoğaltma gecikmesi nedeniyle olduğuna inanıyorsanız daha fazla yardım için sözleşmeli destek sağlayıcınızla iletişime geçin.

Ddr'de genel sıkıştırma oranını artıran yapılandırma değişiklikleri veya belirli faktörler var mı?

Evet - Bu belgede daha önce açıklanan sorunları çözmek veya bunların ele alınarak DDR'nin zaman içinde genel sıkıştırma oranının iyileştirilmesine izin verilmelidir. Ddr'de tekilleştirme oranında artışa neden olabilecek çeşitli faktörler veya iş yükleri de vardır. Bunlar genellikle:

• DDR'de dosyalar tarafından kullanılan sabit sürücü alanı miktarını azaltma (örneğin DDR tarafından kullanılan sıkıştırma algoritmasının kararlılığını artırma)
• Bir anda DDR'de baskı sonrası/fiziksel kullanımda karşılık gelen bir artış olmadan önceden sıkıştırılmış (mantıksal) veri miktarını artırma

Sıkıştırma algoritmasının değiştirilmesi:

Varsayılan olarak DDR'ler, diske yazılan verileri lz algoritmasıyla sıkıştırır . Daha önce belirtildiği gibi lz , sıkıştırma veya açma için gereken CPU açısından nispeten düşük ek yüklere sahip olduğu için kullanılır ancak veri boyutunun azaltılmasında makul bir etkililik gösterir.

Sıkıştırılmış veya sabit sürücü kullanımında daha fazla tasarruf sağlamak için sıkıştırma algoritmasının kararlılığını artırmak mümkündür (ve sonuç olarak genel sıkıştırma oranı iyileştirilmiş olur). Etkililik için (düşükten yükseke) desteklenen sıkıştırma algoritmaları aşağıdaki gibidir:

• Lz
• gzfast
• Gz

Her bir algoritmanın genel karşılaştırması aşağıdaki gibidir:

• lz, gzfast ile karşılaştırıldığında yaklaşık %15 daha iyi sıkıştırma sağlar ve 2x CPU tüketir.
• lz, gz'ye kıyasla yaklaşık %30 daha iyi sıkıştırma sağlar ve 5x CPU tüketir.
• gz'ye kıyasla gzfastyaklaşık %10-15 daha iyi sıkıştırma sağlar.

Sıkıştırmayı tamamen devre dışı bırakmak da mümkündür (yok algoritması belirt) ancak bu, müşteri sistemlerinde kullanım için desteklenmez ve yalnızca dahili test içindir.

Yukarıdaki tabloda olduğu gibi sıkıştırma algoritması ne kadar agresifse verilerin sıkıştırması veya çıkarılması sırasında o kadar fazla CPU gerekir. Bu nedenle, daha agresif bir algoritmada yapılan değişiklikler yalnızca normal iş yükü altında hafif bir şekilde yüklenen sistemlerde kullanılmalıdır. Yoğun yüklü sistemlerde algoritmanın değiştirilmesi, performansın yedekte veya geri yüklemede aşırı derecede düşmesine ve olası dosya sistemi paniğine veya yeniden başlatmalara (DDR'nin kesintiye neden olması) neden olabilir.

Sıkıştırma türünü değiştirme hakkında daha fazla bilgi için aşağıdaki makaleye bakın: Data Domain Sistemi ve GZ Sıkıştırmaya Dönüştürmenin Temizleme Performansı Etkisi

Sıkıştırma algoritmasını değiştirmenin olası etkisi nedeniyle, devam etmeden önce değişikliği daha ayrıntılı görüşmek için bu işlemi yapmak ilgilenen müşterilerin sözleşmeli destek sağlayıcısıyla iletişime geçmeleri önerilir.

Dosya sistemi fastcopy'sinin kullanımı:

DDR'ler, bir dosyayı (veya dizin ağacını) hızlı bir şekilde kopyalamak için "dosya sistemi fastcopy" komutunun kullanımına izin sağlar. Bu işlev, yeni dosyaların fiziksel olarak orijinal dosyaya bağlanmaması için mevcut bir dosyanın (veya dosya grubunun) meta verilerini klonlayıp bir dosya oluşturur. Bu sayede, yeni dosyalar orijinal dosyayla aynı disk üzerindeki verilere başvurur. Bu, orijinal dosyanın boyutuna bakılmaksızın yeni dosyanın diskte çok az alan tükettiği anlamına gelir (mevcut veriler için mükemmel bir şekilde deduplicates olarak).

Bu davranışın sonucu, dosya sistemi fastcopy kullanıldığında DDR'deki verilerin önceden sıkıştırılmış (mantıksal) boyutunun hızlı bir şekilde artarak DDR'nin postcompressed/fiziksel kullanımının statik kalmasıdır.

Örneğin, aşağıdaki DDR'nin kullanımı şu şekildedir (yaklaşık 1,8 x genel sıkıştırma oranına işaret eder):

Aktif Katman:
Kaynak Boyutu GiB Kullanılan GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 12.0 - -
/data: post-comp 71.5 6.8 64.7 %10 0.0
/ddvar 49,2 1,1 45,6%2 -
/ddvar/core 158,5 0,2 150,2%0 -
---------------- -------- -------- --------- ---- --------------

Büyük bir dosya içerir (/veri/kol1/yedekleme/test dosyası):

!!! DDVE60_JF VENİ TİPİNDE !!! # ls -al /data/wm1/backup/testfile-rw-r
--r-- 1 kök kök 3221225472 29 Temmuz 04:20 /data/col1/backup/testfile

Dosya birkaç kez fastcopied:

sysadmin@DDVE60_JF# filesys fastcopy source /data/wm1/backup/testfile destination /data/wm1/backup/testfile_copy1
sysadmin@DDVE60_JF# filesys fastcopy source /data (dosya hızlı kopya kaynağı /veri)/wm1/backup/testfile destination /data/wm1/backup/testfile_copy2
sysadmin@DDVE60_JF# filesys fastcopy source /data/wm1/backup/testfile destination /data/wm1/backup/testfile_copy3

Bu, sıkıştırılmış kullanım sonrası az bir değişiklik için önceden sıkıştırılmış kullanımın artışına neden olur: Active Tier:


Resource Size GiB Used GiB Avail GiB Use% Cleanable GiB*
---------------- -------- -------- --------- ---- --------------
/data: pre-comp - 21.0 - -
/data: post-comp 71.5 6.8 64.7 %10 0.0
/ddvar 49,2 1,1 45,6%2 -
/ddvar/core 158,5 0,2 150,2%0 -
---------------- -------- -------- --------- ---- --------------

AS bir sonuç olarak DDR artık yaklaşık 3,1 x toplam sıkıştırma oranı göstermektedir.

Yukarıda belirtildiği gibi, kopyaların sıkıştırma istatistikleri mükemmel şekilde çıkarılmış olduğunu gösterir:

sysadmin@DDVE60_JF# filesys show compression /data/kolu1/backup/testfile_copy1
Total files: 1;  bytes/storage_used: 21331976.1
Orijinal Bayt:        3.242.460.364
Genel Olarak Sıkıştırılmış:                    0 Yerel
Olarak Sıkıştırılmış:                    0
Meta veri:                  152

Fastcopy işlevi, DDR'nin fiziksel kullanımını azaltarak genel sıkıştırma oranını iyileştirmek için kullanılamaz ancak yüksek genel sıkıştırma oranının nedeni olabilir (özellikle Avamar 6.x gibi fastcopy'yi yoğun şekilde kullanılan ortamlarda).