Data Domain: Data Domain Restorer'larda (DDR'ler) uzun süreli saklama/bulut katmanı temizleme/çöp toplama işlemlerine giriş

Data Domain Operating System (DDOS) 6.0, bulut saklama veya uzun süreli saklama (LTR) olarak bilinen yeni bir özellik sunar. Bu özellik, ilişkili bir CLOUD_CAPACITY lisansına sahip belirli Data Domain Restorer (DDR) modellerine bir bulut sağlayıcı tarafından sağlanan ikinci bir nesne tabanlı depolama katmanının eklenmesine olanak tanır.

LTR kullanılan sistemlerde, DDR tarafından alınan dosyalar başlangıçta aktif katmana (yerel olarak bağlı depolama) yazılır. Ardından veri taşıma politikaları/yaş eşikleri mTree bazında yapılandırılır, böylece uzun süreli saklama gerektiren belirli dosyalar daha sonra veri taşıma işlemi (düzenli olarak zamanlanmış bir görev) tarafından aktif katmandan bulut katmanına taşınır.

Bulut katmanındaki dosyalar normal şekilde silinebilir ancak bulut/nesne depolamada ilişkili alan, kullanım için hemen geri kazanılmaz. Buluttan gereksiz verileri kaldırmak için bulut katmanı temizlenmelidir.

Bulut katmanının yapısı:

Bulut katmanı "bulut birimlerine" bölünmüştür. Unutmayın:

• Bulut katmanı en fazla iki bulut birimi içerebilir
• Her bulut birimi, verilen DDR modeli için desteklenen maksimum aktif katman boyutu kadar büyük olabilir
• Her bulut birimi, farklı bir nesne depolama sağlayıcısından sağlanabilir

Örneğin:

# cloud unit list
Name                      Profile        Status
-----------------------   ------------   ------
B-unit                    LTR-ECS-Ben    Active <=== ECS provider
cloud-unit-virtustream1   virtustream1   Active <=== Virtustream provider
-----------------------   ------------   ------

Bulut temizleme işlemi ile ilgili temel kavramlar:

• Bulut temizleme işlemi, her çalıştırma sırasında yalnızca tek bir bulut birimi için çalışır. Temizlenmekte olan bulut birimini belirlemek için DDFS günlüklerinde (/ddr/var/log/debug/ddfs.info) aşağıdaki mesaj bulunabilir: Bu durumda cloud-unit-virtustream1 bulut birimi temizlenmektedir:

• Bir sistemde yapılandırılmış birden fazla bulut birimi varsa bulut temizleme, bulut temizleme işlemi her çalıştırıldığında tek bir birimi temizlemeye çalışarak bu birimleri çevrimsel sıralı temizler
• Bulut temizleme manuel olarak veya bir zamanlama aracılığıyla otomatik olarak başlatılabilir; manuel olarak başlatmak için aşağıdaki komut kullanılır:

• Aktif katman temizleme işlemi ve bulut temizleme işlemi paralel olarak çalışamaz (her ikisi de DDFS'de aynı bellek yapılarını kullandığı için)
• Aktif katman temizleme işlemi çalışıyorsa (manuel olarak veya zamanlaması aracılığıyla başlatılmıştır) ve bulut temizleme işlemi başlatılmaya çalışılırsa hata verir, örneğin:

• Bulut temizleme işlemi otomatik olarak (yani zamanlaması aracılığıyla) başlatıldıysa ve aktif katman temizleme işlemi başlatıldıysa aktif katman temizleme işleminin çalışmasını sağlamak için bulut birimi temizleme işlemi iptal edilir. Bu, DDFS günlüklerinde aşağıdakilerle gösterilir:

• Bulut temizleme işlemi manuel olarak başlatıldıysa ve aktif katman temizleme işlemi başlatılmaya çalışılırsa aktif katman temizleme işlemi başlatılamaz. Bulut temizleme işlemi tamamlanana kadar çalışmaya bırakılır, ör.:

• Bulut temizleme işleminin başlayabilmesi için bulut biriminin en az %1 veri "kaybı" (ör. > halihazırda bulut biriminde bulunan verilerin = %1'i gereksiz ve dolayısıyla kaldırılabilir olduğu kabul edilmelidir) yaşamış olması gerekir. Durum böyle değilse bulut temizleme işleminin manuel olarak başlatılması halinde komut satırında aşağıdakiler görüntülenir:

• Bir sistem iki bulut birimi içeriyorsa ve ilk birimin zamanlanmış temizliği herhangi bir nedenle başarısız olursa (örneğin, yetersiz kayıp) temizlik, otomatik olarak ikinci birimde başlatılmaya çalışılır (yani ikinci birimin temizlenmesi için bulut temizleme işleminin bir sonraki zamanlanmış çalıştırmasının beklenmesi gerekmez)
• Bulut temizleme işlemi, sistem önemli başka bir iş yükü altındayken (yani alma/geri yükleme/çoğaltma) hangi eylemin gerçekleştirilmesi gerektiğini belirlemek için kısıtlanabilir (aktif katman temizliğine benzer şekilde).

Bulut temizleme işlemini zamanlama:

DDOS 6.0 ve sonraki sürümlerde aktif katman temizleme işleminin zamanlama şekli değişmemiştir - aktif katman temizleme işlemi varsayılan olarak haftada bir kez, Salı günü saat 06:00'da çalışacak şekilde zamanlanır, ör.:

# filesys clean show schedule
Dosya sistemi temizleme işlemi, "Tue" saat "06:00"da çalışacak şekilde zamanlandı.

Bulut temizleme işlemi varsayılan olarak zamanlanmış aktif katman temizleme işleminin her 4. çağrısından sonra çalışacak şekilde zamanlanır. Bulut temizleme zamanlamasını görüntülemek için aşağıdaki komut kullanılmalıdır:

# cloud clean frequency show
Bulut katmanı temizleme sıklığı, her 4 aktif katman temizleme döngüsünden sonra çalışacak şekilde ayarlanır.

Sonuç olarak, varsayılan yapılandırmaya sahip bir sistemde bulut temizleme işlemi 4 haftada bir başlatılır. Sistemde iki bulut birimi varsa her birim 8 haftada bir temizlenir.

Bulut temizleme sıklığını değiştirmek için aşağıdaki komut kullanılabilir:

# cloud clean frequency set 2
Bulut katmanı temizleme sıklığı, her 2 aktif katman temizleme döngüsünden sonra çalışacak şekilde ayarlanır.

Bulut temizlemeyi her 4 aktif katman temizliğinden sonraki varsayılan zamanlamasına sıfırlamak için aşağıdaki komut kullanılabilir:

# cloud clean frequency reset
Bulut katmanı temizleme sıklığı varsayılana sıfırlanır (her 4 aktif katman temizleme döngüsünde bir).

Bulut temizleme zamanlamasının, manuel olarak başlatılan aktif katman temizleme döngülerini içermediğini unutmayın. Sonuç olarak yukarıdaki sistemde, aktif katman temizleme işlemi manuel olarak her gün çalıştırılsa bile bulut katmanı temizleme işlemi yalnızca 4 haftada bir başlar.

Aşağıdaki komutu kullanarak zamanlanmış bulut temizleme işlemini tamamen devre dışı bırakmak da mümkündür:

# cloud clean frequency set never
Bulut katmanı temizleme sıklığı "never" olarak ayarlanır.

Bu durumda, bulut temizleme işlemi yalnızca manuel olarak başlatıldığında çalışır.

Çalışmakta olan bir bulut temizleme işlemini durdurmak için aşağıdaki komut kullanılabilir:

# cloud clean stop

Bulut temizleme işleminin en son ne zaman çalıştığını belirlemek için aşağıdaki komut kullanılabilir:

# cloud clean status
Bulut katmanı temizleme işlemi 2016/08/01 20:54:43'te tamamlandı.

Bulut temizleme algoritması:

Bulut temizleme, aktif katman için yapılandırılanla aynı algoritmayı kullanır. DDOS 6.0'da (ve sonraki sürümlerde) bu, varsayılan olarak mükemmel fiziksel çöp toplama (PPGC) şeklindedir ancak sistem parametreleri aracılığıyla fiziksel çöp toplama (PGC) olarak değiştirilebilir.

Bir bulut birimini temizlemek için geleneksel/tam temizleme algoritmasının kullanılması DDFS'de paniğe/yeniden başlatmaya neden olabileceği için fiziksel çöp toplamanın devre dışı bırakılmaması gerektiğini unutmayın

Bulut temizleme işlemi için kullanılan algoritma, temizleme işlemi başladığında DDFS günlüklerinde görüntülenir, ör.:

06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern: Seçilen algoritma: Fiziksel Temizlik <=== PPGC veya PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Seçilen algoritma: Tam Temizlik <=== Geleneksel GC

Yukarıdaki çıktıdan PPGC veya PGC arasında ayrım yapmanın mümkün olmadığını unutmayın - kullanılan spesifik algoritma, temizleme işlemi ile çalıştırılan aşamaların sayısı nedeniyle belirgindir - genel olarak:

Geleneksel/tam GC: 10 aşamalı
PGC: 12 aşamalı
PPGC: 6 aşamalı

Bir sistemde kullanılan temizleme algoritmasının değiştirilmesi hakkında daha fazla bilgi için sözleşme destek sağlayıcınız ile iletişime geçin

Aktif katman temizleme ile bulut katmanı temizleme kopyalama fazları arasındaki farklar:

Temizleme işleminin kopyalama aşaması, DDR'deki gereksiz verilerin fiziksel olarak kaldırıldığı/alanın geri kazanıldığı aşamadır. Kopyalama aşamasının aktif katmanda ve bulut katmanında işleyiş şekilleri arasında farklar olduğunu unutmayın:

Aktif katman:

• DDR'nin aktif katmanına yazılan veriler 4,5 MB'lık kapsayıcılarda bulunur
• Varsayılan olarak bir kapsayıcı, yalnızca <= %92 "canlı" (yani aktif olarak referans alınan) veri içeriyorsa temizleme işlemi tarafından "kopya" için kabul edilir
• Canlı veriler kapsayıcıdan çıkarılır ve dosya sisteminin sonunda yeni bir kapsayıcıya (diğer kopyalanan kapsayıcılardan gelen canlı verilerle birlikte) yazılır
• Disk üzerindeki indeksler, canlı verileri tutan yeni kapsayıcıyı yansıtacak şekilde güncelleştirilir
• Orijinal kapsayıcı (hem canlı hem de ölü verileri tutan) daha sonra silinir ve temel disk alanı kullanıma hazır hale getirilir

Bulut katmanı:

• DDR'nin bulut katmanına yazılan veriler farklı şekilde yapılandırılır - 4,5 MB kapsayıcılara yerleştirilmek yerine ayrı veri parçaları (64 Kb sıkıştırma bölgeleri) bulut birimine yazılır (NOT: DDOS 6.1.2.0 ve sonraki sürümler için bulut biriminde depolanan nesneler daha büyük olur, ayrıntılar için bkz. Data Domain: Bulut Katmanı için Büyük Nesne)
• Bulut temizleme, mevcut bir sıkıştırma bölgesinden canlı verileri ayıklamak ve bunu ileriye doğru kopyalamak yerine, silinmek üzere yalnızca ölü verileri içeren sıkıştırma bölgelerini dikkate alır

Bu fark, bulut depolamada büyük miktarda veri okuma/yazma ile ilgili doğal maliyetten kaynaklanır ancak bir bulut biriminin yapay olarak dolu olabileceği anlamına gelir (yani, her biri çok az miktarda canlı veri içeren çok sayıda sıkıştırma bölgesi içerir ve bunların kaldırılmasını engeller).

Bu durum meydana gelirse bulut biriminin "birleştirme temizliğini" zorlayarak sistem parametrelerini ayarlamak mümkündür - bu, canlı verileri mümkün olduğunca az sıkıştırma bölgesinde birleştirmek için mevcut sıkıştırma bölgelerinden canlı verileri kopyalar ve alanın boşaltılmasına olanak tanır.

"Birleştirme temizliği" çalıştırma hakkında daha fazla bilgi için lütfen sözleşmeli destek sağlayıcınızla iletişime geçin.