Data Domain: MULTI COPY-åtgärder när ECS används som molnnivå

DELL ECS kan användas som molnleverantör med alternativet DD Cloud Tier (Long Term Retention, LTR). Mer information om DD LTR finns i Dells kunskapsartikel 23144, Data Domain Restorer (DDR) och Long Term Retention (LTR) to the Cloud: Vanliga frågor och svar (FAQ/FAQ)

ECS- och offentliga molnleverantörer (t.ex. AWS, Azure och GCP) arbetar exakt på samma sätt förutom för mindre implementeringsinformation. Molnnivårensningar fungerar annorlunda i ECS på grund av att ECS-molnet är lokalt och ägs av kunden och därför:

• Latens och prestanda är snabbare än för offentliga molnleverantörer
• Användare ådrar sig inga extra kostnader när de använder bandbredd eller kör åtgärder på ECS
• ECS har utvecklats av DELL och har tillägg till S3-protokollstandarden. Det gör att den kan köra Cloud Tier-städningar effektivare än för offentliga molnleverantörer

ECS har en S3-anknytning som kallas "Copy Range". Det kan finnas på andra ställen, t.ex. MULTI COPY.
Det här är en uppsättning utökade huvuden som inte finns i S3-standarden och därför endast stöds med ECS. Det gör att ECS kan skapa ett nytt objekt genom att dra byte-intervall från befintliga objekt. Allt arbete utförs via ECS och inte genom klienten.

Den här icke-standardåtgärden som endast stöds av ECS används av DD endast under den fasen för ren "kopiering" av Cloud Tier. Det gör att DD kan köra skräpinsamling (GC) på ECS-baserade molnenheter på samma sätt som den körs på aktiv nivå (vilket är effektivare när det gäller att återta oanvänt utrymme).
Den används inte vid skrivning av nya data till molnet under dataförflyttning (den använder PUT), inte heller vid återkallande eller läsning av data från molnenhet (när den använder GET).

Copy Range/MULTI COPY, som är ett tillägg till S3-protokollet, är inte en ny metod.
Copy Range/MULTI COPY är en uppsättning nya huvuden som läggs till i PUT-anrop. ECS vet hur man tolkar detta, men inte andra molnimplementeringar.

På DD:er finns det platser där MULTI COPY rapporteras, istället för PUT. Detta är för att separera den vanliga PUT (som används för att skriva data till molnet under dataförflyttning) från de som genereras under CT GC (vilket är den så kallade MULTI COPY, men de sätts under skärmhållaren).

Till exempel kan följande värden rapporteras för en kund, med sju dagars mellanrum:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD rapporterar mängder av åtgärder som slutförts för PUT, GET, DELETE, MULTI COPY och LIST.
MULTI COPY är inte en giltig S3-metod, inte ens för ECS. MULTI COPY är verkligen SATT med några specialrubriker tillagda av DD när du kör åtgärden med ECS.

Vid kontroll på ECS-sidan kan kunder och ECS-support inte se multikopieringsåtgärder alls. 

De ser bara, om tillämpligt, PUT, GET, DELETE och LIST. DD rapporterar PUT separat vid dataförflyttning till molnet. DD rapporterar MULTI COPY (som är PUT-genererat under CT GC) för att skapa nya objekt från byteintervall som läss från befintliga objekt i molnet).

Av den anledningen ser kunder och ECS-support att PUT körs från DD under DD CT GC. Det kan tolkas som nya data (dataförflyttning från DD), men det kan bero på pågående DD CT GC (som gör MULTI COPY, d.m. PUT med särskilda parametrar).

Varje MULTI COPY-åtgärd som registreras i DD-statistiken resulterar i en och endast en PUT-åtgärd som registrerats på ECS-sidan.

Under DD CT GC går processen in i fasen av "bakgrundsborttagningar". 
Det är när DD CT GC har slutfört alla kopieringsframsteg med MULTI COPY. Det begär nu att ECS tar bort alla källobjekt som vi läser byte-intervall från.
I statistiken ovan är antalet DELETE under veckan det kombinerade antalet nya objekt (PUT, för nya data och MULTI COPY, för kopieringsbefordrar under CT GC).
Detta resulterar i en nettoökning av utrymme på molnnivån

I det här exemplet ger det 557 408 + 18 453 552–25 148 128 = -6 137 168, vilket är mer än 20 TiB efter kompridering med den vanliga objektstorleken för ECS-baserade molnenheter.

Detta är förväntat beteende.

Vissa PUT-åtgärder som utförs av DD till ECS är en särskild typ som kallas "MULTI COPY" på DD-sidan, men de visas som vanliga PUT på ECS-sidan.

MULTI COPY genereras endast från DD under CT GC. De skapar ett nytt objekt i molnet genom att läsa byteintervall från befintliga objekt i ECS. Allt detta händer inom själva ECS.
Det här har följande konsekvenser:

• Under DD CT GC ser ECS vid någon punkt massor av PUT-åtgärder (som är DD MULTI COPY). Det här är helt förväntat och orsakar en övergående ökning av lagringsanvändningen på ECS
• När DD CT GC har slutfört kopieringsframsteg utfärdar den DELETE till ECS och börjar frigöra utrymme. ECS som frigör utrymme på egen lagring kan fördröjas på grund av hur ECS GC fungerar
• Det kan vara svårt att skilja PUT för nya data från PUT för DD CT GC. Kontakta ECS-supporten om du behöver hjälp med det.
• MULTI COPY är en förlängning av S3-standarden och sker endast med ECS-baserade molnenheter
• MULTI COPY som ber ECS att läsa från befintliga objekt för att skapa ett nytt objekt kan leda till fel eller skadade varningar som publiceras på DD. Förväntningarna är att alla källobjekt finns i ECS. Om den inte är det stoppar och rapporterar DD CT GC-varningar om DD CT-fel, integritetskontrollfel eller skada. I så fall kontaktar du DELL Data Domain-supporten.
• Även om MULTI COPY-tillägg har implementerats i ECS stöds de inte för IAM-användare. Endast (vanliga) objektanvändare som skapats från ECS kan använda MULTI COPY-tilläggen. Om DD-molnprofilen har konfigurerats med en IAM-användaruppgifter, eller om en vanlig objektanvändare ändras till en IAM-användare senare, fungerar allt bra på DD med ECS förutom för ren. Detta misslyckas så småningom med följande varning:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API