Data Domain: MULTI COPY -toiminnot käytettäessä ECS:tä Cloud Tierinä

DELL ECS:ää voidaan käyttää pilvipalveluntarjoajana DD Cloud Tier -vaihtoehdon kanssa (pitkäaikainen säilytys, LTR). Lisätietoja DD LTR -toiminnosta on Dellin tietämyskannan artikkelissa 23144, DDR (Data Domain Restorer) ja LTR (Long Term Retention) to the Cloud: Usein kysytyt kysymykset (UKK/UKK)

ECS ja julkisten pilvipalvelujen tarjoajat (kuten AWS, Azure ja GCP) toimivat täsmälleen samalla tavalla lukuun ottamatta pieniä käyttöönottotietoja. Pilvitason puhdistus toimii ECS:ssä eri tavalla, koska ECS-pilvi on asiakkaan paikallinen omistaja ja näin ollen:

• Viive ja suorituskyky ovat nopeampia kuin julkisten pilvipalvelujen tarjoajat
• Käyttäjät eivät aiheuta lisäkuluja käyttäessään kaistanleveyttä tai suorittaessaan toimintoja ECS:ssä
• ECS on Dellin kehittämä, ja se laajentaa S3-protokollastandardin. Sen ansiosta pilvitason puhdistus on tehokkaampaa kuin julkisten pilvipalvelujen tarjoajien

ECS:ssä on käytössä S3-laajennus, jonka nimi on Copy Range. Ongelma voi ilmetä muissakin paikoissa, kuten MULTI COPY -kohteissa.
Tämä on joukko laajennettuja otsikoita, joita ei ole S3-standardissa ja joita tuetaan vain ECS:ssä. Sen avulla ECS voi luoda uuden kohteen vetämällä tavukantoja olemassa olevista objekteista. Kaikki työ tehdään ECS:n eikä asiakkaan kautta.

DD käyttää tätä ei-järjestelmällista toimintaa ainoastaan ECS:n tukemana vain Cloud Tierin puhtaan kopiointivaiheen aikana. Sen ansiosta DD voi käyttää roskienkeruuta ECS-pohjaisissa pilvipalveluissa samalla tavalla kuin Active-tasolla (mikä on tehokkaampaa käyttämättömän tilan palauttamisessa).
Sitä ei käytetä, kun uusia tietoja kirjoitetaan pilvipalveluun tiedonsiirron aikana (sillä käytetään PUT-toimintoa) eikä kun tietoja palautetaan takaisin tai luetaan pilviyksiköstä (kun se käyttää GET-järjestelmää).

Copy Range/MULTI COPY, joka on S3-protokollan laajennus, ei ole uusi tapa.
Copy Range/MULTI COPY on joukko uusia otsikoita, jotka lisätään PUT-puheluihin. ECS tietää, miten tätä tulkitaan, mutta ei muita pilvikäyttöönotuksia.

DD-asemissa näkyy PUT-paikkojen sijaan multi COPY -ilmoitus. Siten voidaan erottaa tavallinen PUT-toiminto (jota käytetään tietojen kirjoittamiseen pilveen tietojen siirtämisen aikana) CT GC:n aikana luoduista (eli niin kutsutusta MULTI COPY -sovelluksesta, mutta ne on put under the hood).

Esimerkiksi seuraavat arvot on ilmoitettu asiakkaalle 7 päivän välein:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD raportoi PUT-, GET-, DELETE-, MULTI COPY- ja LIST-toimintojen määrän.
MULTI COPY ei ole kelvollinen S3-tapa, ei edes ECS:ssä. MULTI COPY -toiminto on hyödyllinen, ja DD lisää siihen erityisiä otsikoita, kun toiminto suoritetaan ECS:n kanssa.

Kun ecs-osa tarkistetaan, asiakkaat ja ECS-tuki eivät näe MULTI COPY -toimintoja lainkaan. 

He näkevät vain mahdolliset PUT-, GET-, DELETE- ja LIST-tiedot. DD ilmoittaa PUT:n erikseen, kun tietoja liikutetaan pilveen. DD näyttää MULTI COPY -raportin (jotka luodaan CT GC:n aikana, jotta voidaan luoda uusia objekteja pilvipalvelun nykyisistä objekteista luetuista tavualueista).

Tästä syystä asiakkaat ja ECS-tuki näkevät, että PUT-toiminto suoritetaan DD CT GC:n aikana DD CT GC:n kautta. Tämä voidaan ymmärtää väärin uutena tietona (tietojen siirto DD:stä), mutta se voi johtua jatkuvasta DD CT GC:stä (joka tekee MULTI COPY -toiminnon eli PUT-toiminnon erityisparametrien avulla).

Jokainen DD-tilastoihin merkitty MULTI COPY -toiminto aiheuttaa yhden ja vain yhden ECS:n puolella tallennetun PUT-toiminnon.

DD CT GC:n aikana prosessi siirtyy taustapoiston vaiheeseen. 
Tässä esimerkessä DD CT GC on viimeistelenyt kaikki välityskopiotoiminnot MULTI COPY -toiminnolla. Se pyytää nyt ECS:iä poistamaan kaikki luetun tavun lähdeobjektit.
Edellä oleissa tilastoissa DELETE-määrä viikon aikana on suurempi kuin uusien kohteiden kokonaismäärä (PUT, uudet tiedot ja MULTI COPY, kopiointi CT GC:n aikana).
Tämä lisää tilaa pilvitasolla

. Esimerkissä 557 408 + 18 453 552 – 25 148 128 = -6 137 168, jotka ovat yli 20 TiB post comp -toimintoa ja ecS-pohjaisten pilviyksiköiden tavallinen objektikoko.

Tämä on normaalia.

Jotkin DD:n ECS:lle suorittamat PUT-toiminnot ovat DD-puolella erityistyyppiä, jota kutsutaan MULTI COPY -tyypiksi, mutta ECS:ssä ne näkyvät tavallisina PUT-toiminnoina.

MULTI COPY -komento luodaan DD:stä vain CT GC:n aikana. He luovat pilveen yhden uuden objektin lukemalla tavukantoja ECS:n nykyisistä objekteista. Kaikki tämä tapahtuu itse ECS:ssä.
Tämä koskee seuraavia:

• DD CT GC:n aikana ECS näkee jossain vaiheessa paljon PUT-toimintoja (eli DD MULTI COPY -toimintoja). Tämä on täysin normaalia, ja se lisää ECS:n tallennustilan käyttöä ohimenevästi
• Kun DD CT GC on suorittanut kopioinnin, se näyttää DELETE-ongelman ECS:lle ja alkaa vapauttaa tilaa. ECS:n oman tallennustilan vapauttaminen saattaa viivästyä ECS GC:n toimintatavan vuoksi
• PUT-määrityksen erottaminen DD CT GC:n PUT-sovelluksesta voi olla vaikeaa. Kysy ECS:n tuelta, tarvitsetko apua tämän kanssa.
• MULTI COPY on S3-standardin laajennus, ja se tapahtuu vain ECS-pohjaisille pilviyksiköille.
• MONIKOPIO, jossa ECS:ää pyydetään lukemaan olemassa olevista objekteista uuden objektin luomista varten, voi aiheuttaa vikoja tai vioittumista koskevia hälytyksiä DD:hen. Oletuksena on, että ecs sisältää kaikki lähdeobjektit. Jos ei, DD CT GC pysähtyy ja ilmoittaa hälytyksistä, jotka johtuvat DD CT GC -viasta, eheystarkistuksen viasta tai vioittumisesta. Ota siinä tapauksessa yhteys DELL Data Domain -tukeen.
• Vaikka ECS:ssä olisi käytössä MULTI COPY -laajennuksia, IAM-käyttäjät eivät tue niitä. Vain ECS:stä luodut (tavalliset) objektikäyttäjät voivat käyttää MULTI COPY -laajennuksia. Jos DD-pilviprofiiliin on määritetty IAM-käyttäjän tunnistetiedot tai tavalliseksi objektikäyttäjäksi vaihdetaan myöhemmin IAM-käyttäjä, DD toimii ecs:n kanssa normaalisti, paitsi puhtaana. Tämä epäonnistuu lopulta ja näyttöön tulee seuraava hälytys:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API