Data Domain: ECS'i Bulut Katmanı Olarak Kullanırken "ÇOK KOPYALI" İşlemler

DELL ECS, DD Bulut Katmanı seçeneğine (Uzun Süreli Saklama, LTR) sahip bir bulut sağlayıcısı olarak kullanılabilir. DD LTR ile ilgili ayrıntılar için Dell KB makalesi 23144, Data Domain Restorer (DDR) ve Buluta Uzun Süreli Saklama (LTR) makalesine bakın: Sık Sorulan Sorular (SSS/SSS)

ECS ve genel bulut sağlayıcıları (AWS, Azure ve GCP gibi), küçük uygulama ayrıntıları dışında tam olarak aynı şekilde çalışır. EcS bulutunun yerel olması, müşterinin sahip olduğu ve dolayısıyla aşağıdakiler nedeniyle Bulut Katmanı ECS'de farklı şekilde çalışır:

• Gecikme süresi ve performans, genel bulut sağlayıcılarına göre daha hızlıdır
• Kullanıcılar, ECS'de bant genişliği tüketürken veya işlemleri çalıştırırken ek masraf ödemez
• ECS, DELL tarafından geliştirilmiştir ve S3 protokol standardına uzantıları vardır. Bu, Bulut Katmanının çalıştırılmasını sağlar, genel bulut sağlayıcılarına göre daha verimli bir şekilde temizlenir

ECS'de "Copy Range" (Kopyalama Aralığı) adı verilen bir S3 uzantısı vardır. Bu durum, ÇOKLU KOPYA gibi başka yerlerde de görülebilir.
Bu, S3 standardına dahil olmayan ve dolayısıyla yalnızca ECS ile desteklenen bir genişletilmiş başlık setidir. ECS'nin bayt aralıklarını mevcut nesnelerden çekerek yeni bir nesne oluşturması için olanak sağlar. Tüm iş istemci üzerinden değil ECS aracılığıyla yapılır.

Yalnızca ECS tarafından desteklenen bu standart dışı işlem, DD tarafından yalnızca Bulut Katmanı temiz "kopyalama" aşamasında kullanılır. DD'nin, EcS tabanlı bulut birimlerinde Aktif katmanda (kullanılmayan alanı geri kazanımda daha etkili olan) aynı şekilde Atık Toplamayı (GC) çalıştırmasını sağlar.
Veri taşıma sırasında buluta yeni veriler yazarken (PUT kullanır) veya bulut ünitesinden veri geri çağırma veya okuma (GET'i kullandığında) kullanılamaz.

Kopyalama Aralığı/ÇOK KOPYA, S3 protokolüne bir uzantı olarak yeni bir yöntem değildir.
Kopyalama Aralığı/ÇOK KOPYA, PUT çağrılara eklenen bir dizi yeni başlıktır. ECS bunu nasıl yorumlay olduğunu bilir ancak diğer bulut uygulamalarına göre değil.

DD'lerde, PUT yerine MULTI COPY (ÇOKLU KOPYA) raporlanan yerler vardır. Bu, NORMAL PUT'i (veri taşıma sırasında buluta veri yazmada kullanılan) CT GC sırasında oluşturulanlardan (çok kopya olarak adlandırılan ancak kaputun altında PUT olarak adlandırılan) ayırmaktır.

Örnek olarak, bir müşteri için 7 gün arayla aşağıdaki değerlerin raporlandığı göz olabilir:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD; PUT, GET, DELETE, MULTI COPY ve LIST için tamamlanan işlem tutarlarını bildirir.
MULTI COPY geçerli bir S3 yöntemi değildir, ECS için bile geçerli değildir. MULTI COPY( ÇOKLU KOPYA) işlemi ECS ile çalıştırırken DD tarafından eklenen bazı özel başlıklarla gerçekten DEA'dır.

ECS tarafı kontrol sırasında müşteriler ve ECS Desteği hiçbir şekilde "ÇOK KOPYALI" işlemleri göremiyor. 

Bunlar yalnızca varsa, PUT, GET, DELETE ve LIST 'i (LIST) görmektedir. DD, buluta veri taşıma işlemi yaparken PUT'yi ayrı olarak bildirir. DD, BULUTTAki mevcut nesnelerden okunan bayt aralıklarından yeni nesneler oluşturmak için MULTI COPY (CT GC sırasında OLUŞTURULAN PUT) raporlar.

Bu nedenle müşteriler ve ECS Desteği, DD CT GC sırasında PUT'nin DD'den çalıştırılmasını sağlar. Bu, yeni veri (DD'den veri taşıma) olarak yanlış anlaşılsa da devam eden DD CT GC'den (ÇOKLU KOPYALAMA, diğer bir ifadeyle, özel parametrelerle PUT) kaynaklanmaktadır.

DD istatistiklerinde kayıtlı her MULTI COPY işlemi ECS tarafında kayıtlı bir ve yalnızca bir PUT işlemiyle sonuçlanmıştır.

DD CT GC sırasında, işlem "arka plan silme" aşamasına girer. 
Bu, DD CT GC'nin MULTI COPY kullanarak tüm kopyaları ileriye doğru tamamlamış olduğu zamandır. Artık ECS'den bayt aralıklarını okumakta olan tüm kaynak nesneleri silmelerini talep ediyor.
Yukarıdaki istatistiklerde, hafta içindeki DELETE miktarı, CT GC sırasında kopyalama için yeni nesnelerin birleşik sayısını (PUT, yeni veriler için ve ÇOK KOPYA) karşılar.


Bu, bulut katmanında net alan kazancına neden olur Bu örnekte, ECS tabanlı bulut birimleri için normal nesne boyutuyla birlikte 557.408 + 18.453.552 - 25.148.128 = -6.137.168.

Bu beklenen bir davranıştır.

DD tarafından ECS'ye gerçekleştirilir bazı PUT işlemleri, DD tarafında "MULTI COPY" (ÇOKLU KOPYA) olarak adlandırılan özel bir türdür ancak ECS tarafında normal PUT olarak görünürler.

MULTI COPY yalnızca CT GC sırasında DD'den oluşturulur. EcS'deki mevcut nesnelerden bayt aralıklarını okuyarak bulutta tek bir yeni nesne oluşturabilirler. Tüm bunlar ECS'nin kendi içinde gerçekleşir.
Bunun aşağıdaki sonuçları vardır:

• DD CT GC sırasında ECS, bir noktada çok sayıda PUT işlemi görür (DD MULTI COPY'dır). Bu son derece beklenen bir durumdur ve ECS'de depolama kullanımında geçici bir artışa neden olur
• DD CT GC, kopyalama yönlendirmelerini tamamladıktan sonra DELETE ile ECS arasında sorun giderme işlemi başlatır ve boş alan oluşturmaya başlar. ECS GC'nin çalışma şekli nedeniyle ECS'nin kendi depolama alanı boş alan açması gecikmeli olabilir
• DD CT GC için PUT'den farklı olarak yeni veriler için PUT'e bunu anlamak zor olabilir. Bu işlemle ilgili yardıma ihtiyacı olup olmadığını ECS Destek ile kontrol edin.
• ÇOKLU KOPYA, S3 standardının bir uzantısıdır ve yalnızca ECS tabanlı bulut birimlerinde gerçekleşir
• ECS'nin yeni bir nesne oluşturmak için mevcut nesnelerden okuması istenen ÇOKLU KOPYA, DD'de yayınlanan arızalara veya bozulma uyarılarına neden olabilir. Tüm kaynak nesnelerin ECS'de var olmasını beklemektedir. Aksi durumda DD CT GC durur ve DD CT GC arızası, bütünlük denetimi arızası veya bozulma uyarıları bildirir. Bu durumda, DELL Data Domain Desteği ile iletişime geçin.
• ECS'de MULTI COPY uzantıları uygulansa bile IAM kullanıcıları için desteklenmez. YALNıZCA (normal) ECS'den oluşturulan nesne kullanıcıları MULTI COPY uzantılarını kullanılabilir. DD bulut profili bir IAM kullanıcı kimlik bilgileriyle yapılandırılmışsa veya normal bir nesne kullanıcısı daha sonra bir IAM kullanıcısı olarak değiştirilirse temiz hariç olmak üzere DD'de ECS ile her şey düzgün çalışır. Bu işlem sonunda aşağıdaki uyarıyla başarısız olur:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API