Data Domain: Operazioni "MULTI COPY" quando si utilizza ECS come Cloud Tier

DELL ECS può essere utilizzato come provider di cloud con l'opzione DD Cloud Tier (retention a lungo termine, LTR). Per ulteriori informazioni su DD LTR, consultare l'articolo 23144 della Knowledge Base di Dell Data Domain Restorer (DDR) e la retention a lungo termine (LTR) nel cloud: Domande frequenti (FAQ/FAQ)

ECS e i provider di public cloud (ad esempio AWS, Azure e GCP) funzionano esattamente nello stesso modo, fatta eccezione per i dettagli di implementazione minori. Cloud Tier pulisce il lavoro in modo diverso in ECS poiché il cloud ECS è locale, di proprietà del cliente e quindi:

• Latenza e prestazioni sono più veloci rispetto ai provider di public cloud
• Gli utenti non incorrono in spese aggiuntive quando utilizzano larghezza di banda o eseguono operazioni su ECS
• ECS è sviluppato da DELL e presenta estensioni allo standard del protocollo S3. In questo modo, l'esecuzione di Cloud Tier si pulisce in modo più efficiente rispetto ai provider di public cloud

ECS ha un'estensione S3 implementata denominata "Copy Range". Ciò può essere visualizzato in altre posizioni, ad esempio MULTI COPY.
Si tratta di un set di intestazioni estese, non presenti nello standard S3 e quindi supportate solo con ECS. Consente a ECS di creare un nuovo object estraendo intervalli di byte dagli object esistenti. Tutto il lavoro viene eseguito tramite ECS e non il client.

Questa operazione non standard supportata solo da ECS viene utilizzata da DD solo durante la fase di "copia" pulita di Cloud Tier. Consente a DD di eseguire Garbage Collection (GC) su unità cloud basate su ECS nello stesso modo in cui viene eseguito sul tier attivo (che è più efficace nel recupero dello spazio inutilizzato).
Non viene utilizzata durante la scrittura di nuovi dati nel cloud durante lo spostamento dei dati (utilizza PUT), né durante il richiamo o la lettura dei dati dall'unità cloud (quando utilizza GET).

Copy Range/MULTI COPY (Intervallo di copia/COPIA MULTIPLA) essendo un'estensione del protocollo S3, non è un metodo nuovo.
Copy Range/MULTI COPY è un set di nuove intestazioni aggiunte alle chiamate PUT. ECS sa come interpretarlo, ma non altre implementazioni cloud.

In DD, ci sono luoghi in cui viene segnalato MULTI COPY, anziché PUT. Ciò consente di separare il put regolare (utilizzato per scrivere dati nel cloud durante lo spostamento dei dati) da quelli generati durante la GC CT (che sarebbe la cosiddetta MULTI COPY, ma sono MESSI all'interno).

Ad esempio, possiamo vedere che i seguenti valori sono stati segnalati per un cliente a 7 giorni di distanza l'uno dall'altro:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD riporta gli importi delle operazioni completate per PUT, GET, DELETE, MULTI COPY ed LIST.
MULTI COPY non è un metodo S3 valido, neanche per ECS. MULTI COPY è davvero PUT con alcune intestazioni speciali aggiunte da DD durante l'esecuzione dell'operazione con ECS.

Quando si verifica sul lato ECS, i clienti e il supporto ECS non visualizzano affatto le operazioni "MULTI COPY". 

Vedono solo, se applicabile, PUT, GET, DELETE ed LIST. DD segnala PUT separatamente quando si effettua lo spostamento dei dati nel cloud. DD segnala MULTI COPY (che vengono generati durante la GC CT, per creare nuovi object dagli intervalli di byte letti dagli object esistenti nel cloud).

Per questo motivo, i clienti e il supporto ECS vedono put in esecuzione da DD durante il GC DD CT. Ciò potrebbe essere frainteso come nuovi dati (spostamento dei dati dal DD), ma potrebbe essere dovuto al GC DD CT in corso (che esegue MULTI COPY, ovvero PUT con parametri speciali).

Ogni operazione MULTI COPY registrata nelle statistiche DD determina una e una sola operazione PUT registrata sul lato ECS.

Durante il GC DD CT, il processo entra nella fase "eliminazioni in background". 
Questo è il momento in cui il GC DD CT ha finalizzato tutte le copie in avanti utilizzando MULTI COPY. Ora richiede a ECS di eliminare tutti gli object di origine da cui leggiamo gli intervalli di byte.
Nelle statistiche di cui sopra, la quantità di DELETE durante la settimana supera il numero combinato di nuovi object (PUT, per i nuovi dati e MULTI COPY, per le copie da inoltrare durante il GC CT).
Ciò si traduce in un guadagno netto di spazio nel cloud tier

In questo esempio, 557.408 + 18.453.552 - 25.148.128 = -6.137.168, ovvero più di 20 TiB dopo la compressione con le normali dimensioni degli object per le unità cloud basate su ECS.

Si tratta di un comportamento previsto.

Alcune operazioni PUT eseguite da DD a ECS sono di tipo speciale, denominate "MULTI COPY" sul lato DD, ma appaiono come PUT regolari sul lato ECS.

LA COPIA MULTIPLA viene generata solo dal DD durante la GC CT. Creano un singolo nuovo object nel cloud leggendo intervalli di byte dagli object esistenti in ECS. Tutto ciò accade all'interno di ECS stesso.
Ciò ha le seguenti conseguenze:

• Durante il GC DD CT, ECS vede a un certo punto molte operazioni PUT (che sono DD MULTI COPY). Ciò è perfettamente previsto e causa un aumento temporaneo dell'utilizzo dello storage in ECS
• Dopo che il GC DD CT ha completato i copy forward, emette DELETE in ECS e inizia a liberare spazio. ECS che libera spazio sul proprio storage potrebbe essere ritardato a causa del funzionamento di ECS GC
• Potrebbe essere difficile indicare il PUT per i nuovi dati oltre a PUT per DD CT GC. Verificare con il supporto ECS se è necessaria assistenza.
• MULTI COPY è un'estensione dello standard S3 e si verifica solo con le unità cloud basate su ECS
• MULTI COPY richiedendo a ECS di leggere dagli object esistenti per creare un nuovo object, può causare errori o avvisi di danneggiamento pubblicati su DD. L'aspettativa è che tutti gli object di origine esistano in ECS. In caso contrario, il GC DD CT si arresta e segnala gli avvisi di errore del GC DD CT, errore di controllo dell'integrità o danneggiamento. In questo caso, contattare il supporto Dell Data Domain.
• Anche se le estensioni MULTI COPY sono implementate in ECS, non sono supportate per gli utenti IAM. Solo gli utenti di object (normali) creati da ECS possono utilizzare le estensioni MULTI COPY. Se il profilo cloud di DD è configurato con le credenziali utente IAM o un normale utente di object viene successivamente modificato in un utente IAM, tutto funzionerà correttamente su DD con ECS, ad eccezione della pulizia. L'operazione potrebbe infine non riuscire con il seguente avviso:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API