Data Domain: "MULTI COPY"-bewerkingen bij het gebruik van ECS als cloudlaag

DELL ECS kan worden gebruikt als cloudprovider met de optie DD Cloud Tier (Long-Term Retention, LTR). Voor meer informatie over DD LTR, zie Dell KB-artikel 23144, Data Domain Restorer (DDR) en Long Term Retention (LTR) to the Cloud: Veelgestelde vragen (FAQ/FAQ's)

ECS en public cloudproviders (zoals AWS, Azure en GCP) werken precies op dezelfde manier, behalve voor kleine implementatiedetails. Cloud Tier-opschoningen werken anders in ECS omdat de ECS-cloud lokaal is, eigendom is van de klant en daarom:

• Latentie en prestaties zijn sneller dan voor public cloudproviders
• Gebruikers maken geen extra kosten bij het verbruik van bandbreedte of het uitvoeren van bewerkingen op ECS
• ECS is ontwikkeld door DELL en heeft uitbreidingen op de S3-protocolstandaard. Hierdoor kan Cloud Tier efficiënter worden uitgevoerd dan voor public cloudproviders

ECS heeft een S3-extensie geïmplementeerd genaamd 'Copy Range'. Dit kan zich ook op andere plaatsen voordoen, zoals MULTI COPY.
Dit is een set uitgebreide headers die niet aanwezig zijn in de S3-standaard en daarom alleen wordt ondersteund met ECS. Hiermee kan de ECS een nieuw object maken door byte-bereiken van bestaande objecten te trekken. Al het werk wordt gedaan via ECS en niet via de client.

Deze niet-standaard bewerking die alleen door ECS wordt ondersteund, wordt door de DD alleen gebruikt tijdens de cloud tier clean "copy"-fase. Hiermee kan de DD Garbage Collection (GC) uitvoeren op ECS-cloudunits op dezelfde manier als op de Actieve laag (wat effectiever is bij het vrijmaken van ongebruikte ruimte).
Het wordt niet gebruikt bij het schrijven van nieuwe data naar de cloud tijdens dataverplaatsing (het gebruikt PUT), noch bij het terughalen of lezen van data van de cloudeenheid (wanneer het GET gebruikt).

Copy Range/MULTI COPY, een uitbreiding van het S3-protocol, is geen nieuwe methode.
Copy Range/MULTI COPY is een set nieuwe headers die wordt toegevoegd aan PUT-oproepen. ECS weet hoe u dit moet interpreteren, maar niet andere cloudimplementaties.

In de DD's zijn er plaatsen waar MULTI COPY wordt gerapporteerd, in plaats van PUT. Dit is om de reguliere PUT (die wordt gebruikt om data naar de cloud te schrijven tijdens dataverplaatsing) te scheiden van de put die wordt gegenereerd tijdens CT GC (wat de zogenaamde MULTI COPY zou zijn, maar ze worden onder de motorkap geplaatst).

Als voorbeeld kunnen we zien dat de volgende waarden zijn gerapporteerd voor een klant, 7 dagen na elkaar:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

De DD rapporteert de hoeveelheden bewerkingen die zijn voltooid voor PUT, GET, DELETE, MULTI COPY en LIST.
MULTI COPY is geen geldige S3-methode, zelfs niet voor ECS. MULTI COPY is echt PUT met een aantal speciale headers toegevoegd door de DD bij het uitvoeren van de bewerking met ECS.

Bij het controleren aan de ECS-kant zien klanten en ECS Support helemaal geen "MULTI COPY"-bewerkingen. 

Ze zien alleen, indien van toepassing, PUT, GET, DELETE en LIST. De DD rapporteert PUT apart bij het verplaatsen van data naar de cloud. De DD meldt MULTI COPY (die worden gegenereerd tijdens CT GC, om nieuwe objecten te maken uit byte-bereiken die worden gelezen van bestaande objecten in de cloud).

Om deze reden zien klanten en ECS Support dat PUT wordt uitgevoerd vanuit de DD tijdens DD CT GC. Dit kan verkeerd worden opgevat als nieuwe data (dataverplaatsing van de DD), maar dit kan worden veroorzaakt door doorlopende DD CT GC (wat MULTI COPY doet, dat wil gezegd, PUT met speciale parameters).

Elke MULTI COPY-bewerking die is vastgelegd in de DD-statistieken resulteert in één en slechts één PUT-bewerking die aan de ECS-kant is vastgelegd.

Tijdens DD CT GC gaat het proces in de fase van 'achtergrondverwijderingen'. 
Dit is het moment waarop de DD CT GC alle doorstuurkopie met MULTI COPY heeft afgerond. Ecs wordt nu gevraagd om alle bronobjecten waaruit we byte bereiken lezen te verwijderen.
In de bovenstaande statistieken is de hoeveelheid DELETE tijdens de week hoger dan het gecombineerde aantal nieuwe objecten (PUT, voor nieuwe data en MULTI COPY, voor doorsturen van kopieën tijdens CT GC).
Dit resulteert in een nettowinst van ruimte in de cloudlaag

In dit voorbeeld, 557,408 + 18.453.552 - 25.148.128 = -6.137.168, dat is meer dan 20 TiB post comp met de gebruikelijke objectgrootte voor ECS-gebaseerde cloudunits.

Dit is verwacht gedrag.

Sommige PUT-bewerkingen die door de DD naar ECS worden uitgevoerd, zijn een speciaal type, genaamd "MULTI COPY" aan de DD-kant, maar ze verschijnen als regelmatige PUT aan de ECS-kant.

MULTI COPY wordt alleen gegenereerd vanuit de DD tijdens CT GC. Ze maken één nieuw object in de cloud door byte bereiken van bestaande objecten in ECS te lezen. Dit gebeurt allemaal binnen ECS zelf.
Dit heeft de volgende gevolgen:

• Tijdens DD CT GC ziet ECS op een bepaald moment veel PUT-bewerkingen (de DD MULTI COPY). Dit is perfect te verwachten en veroorzaakt een tijdelijke toename van het storagegebruik op ECS
• Nadat het kopiëren van DD CT GC is voltooid, wordt DELETE naar ECS gezonden en wordt er ruimte vrijgemaakt. ECS die ruimte vrijmaken op zijn eigen storage kan worden vertraagd vanwege de werking van ECS GC
• Het kan moeilijk zijn om de PUT te vertellen voor nieuwe data, afgezien van PUT voor DD CT GC. Neem contact op met ECS Support als u hier hulp bij nodig hebt.
• MULTI COPY is een uitbreiding van de S3-standaard en gebeurt alleen met op ECS gebaseerde cloudunits
• MULTI COPY vraagt ECS om van bestaande objecten te lezen om een nieuw object te maken. Dit kan ertoe leiden dat fouten of beschadigingswaarschuwingen op de DD worden geplaatst. De verwachting is dat alle bronobjecten aanwezig zijn in ECS. Zo niet, dan stopt DD CT GC en meldt meldingen voor DD CT GC-fout, integriteitscontrolefout of beschadiging. Neem in dit geval contact op met DELL Data Domain Support.
• Zelfs als MULTI COPY-extensies worden geïmplementeerd in ECS, worden ze niet ondersteund voor IAM-gebruikers. Alleen (gewone) objectgebruikers zoals gemaakt van ECS kunnen de MULTI COPY-extensies gebruiken. Als het DD-cloudprofiel is geconfigureerd met een IAM-gebruikersreferentie of als een gewone objectgebruiker later wordt gewijzigd in een IAM-gebruiker, werkt alles prima op de DD met ECS, behalve voor clean. Dit zou uiteindelijk mislukken met de volgende waarschuwing:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API