Data Domain: Operaciones "MULTI COPY" cuando se utiliza ECS como nivel de nube

DELL ECS se puede utilizar como proveedor de nube con la opción DD Cloud Tier (retención a largo plazo, LTR). Para obtener más información acerca de DD LTR, consulte el artículo de la base de conocimientos de Dell 23144, Data Domain Restorer (DDR) y Long Term Retention (LTR) to the Cloud: Preguntas frecuentes (FAQ/FAQs)

ECS y los proveedores de nube pública (como AWS, Azure y GCP) funcionan exactamente de la misma manera, excepto para los detalles de implementación menores. Las limpiezas de Cloud Tier funcionan de manera diferente en ECS debido a que la nube de ECS es local, es propiedad del cliente y, por lo tanto, lo siguiente:

• La latencia y el rendimiento son más rápidos que para los proveedores de nube pública
• Los usuarios no incurren en gastos adicionales cuando consumen ancho de banda ni ejecutan operaciones en ECS
• ECS es desarrollado por DELL y tiene extensiones al estándar del protocolo S3. Esto le permite ejecutar limpiezas de nivel de nube de manera más eficiente que para los proveedores de nube pública

ECS tiene implementada una extensión de S3 denominada "Copy Range". Esto se puede ver en otros lugares, como MULTI COPY.
Este es un conjunto de encabezados extendidos, que no está presente en el estándar de S3 y, por lo tanto, solo es compatible con ECS. Permite que ECS cree un nuevo objeto mediante la extracción de rangos de bytes de los objetos existentes. Todo el trabajo se realiza a través de ECS y no del cliente.

DD solo utiliza esta operación no estándar compatible con ECS durante la fase de "copia" limpia del nivel de nube. Permite que DD ejecute la recolección de elementos no utilizados (GC) en unidades de nube basadas en ECS de la misma manera que se ejecuta en el nivel activo (que es más eficaz para recuperar espacio no utilizado).
No se utiliza cuando se escriben datos nuevos en la nube durante la transferencia de datos (utiliza PUT), ni cuando se recuperan o leen datos desde la unidad de nube (cuando utiliza GET).

Rango de copia/COPIA MÚLTIPLE, ya que es una extensión del protocolo S3, no es un método nuevo.
Copy Range/MULTI COPY es un conjunto de encabezados nuevos que se agrega a las llamadas PUT. ECS sabe cómo interpretar esto, pero no otras implementaciones en la nube.

En los DD, hay lugares donde se informa MULTI COPY, en lugar de PUT. Esto es para separar la PUT regular (que se utiliza para escribir datos en la nube durante la transferencia de datos) de aquellas que se generan durante CT GC (que serían las denominadas MULTI COPY, pero se ponen bajo la capucha).

Por ejemplo, podemos ver que se informaron los siguientes valores para un cliente, con 7 días de diferencia:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD informaría cantidades de operaciones completadas para PUT, GET, DELETE, MULTI COPY y LIST.
MULTI COPY no es un método válido de S3, ni siquiera para ECS. MULTI COPY es REALMENTE PUT con algunos encabezados especiales agregados por DD cuando se ejecuta la operación con ECS.

Cuando se comprueba el lado de ECS, los clientes y el soporte de ECS no ven en absoluto las operaciones de "MULTI COPY". 

Solo ven, si corresponde, PUT, GET, DELETE y LIST. DD informa PUT por separado cuando se realiza la transferencia de datos a la nube. DD informa MULTI COPY (que se generan en PUT durante EL GC de CT para crear nuevos objetos a partir de rangos de bytes leídos de objetos existentes en la nube).

Por este motivo, los clientes y el soporte de ECS ven que PUT se ejecuta desde DD durante el GC de DD CT. Esto podría malinterpretarse como datos nuevos (transferencia de datos desde DD), pero podría deberse a la GC de DD CT en curso (que realiza MULTI COPY, es decir, PUT con parámetros especiales).

Cada operación MULTI COPY registrada en las estadísticas de DD da como resultado una sola operación PUT registrada en el lado de ECS.

Durante el GC de DD CT, el proceso entra en la fase de "eliminaciones en segundo plano". 
Esto es cuando gc de DD CT ha finalizado todas las copias reenviadas mediante MULTI COPY. Ahora solicita a ECS que elimine todos los objetos de origen de los que leemos rangos de bytes.
En las estadísticas anteriores, la cantidad de DELETE durante la semana supera a la cantidad combinada de objetos nuevos (PUT, para datos nuevos y MULTI COPY, para reenviaciones de copia durante EL GC de CT).
Esto da como resultado una ganancia neta de espacio en el nivel

de nube En este ejemplo, 557,408 + 18,453,552 - 25,148,128 = -6,137,168, es decir, más de 20 TiB después de la compresión con el tamaño de objeto habitual para las unidades de nube basadas en ECS.

Este es el comportamiento esperado.

Algunas operaciones PUT que realiza el DD a ECS son de un tipo especial, denominado "MULTI COPY" en el lado de DD, pero aparecen como PUT normales en el lado de ECS.

MULTI COPY solo se genera desde DD durante el GC de CT. Crean un único objeto nuevo en la nube mediante la lectura de rangos de bytes de objetos existentes en ECS. Todo esto sucede dentro de ECS.
Esto tiene las siguientes consecuencias:

• Durante la GC de DD CT, ECS ve muchas operaciones put en algún momento (que son DD MULTI COPY). Esto es perfectamente esperado y provoca un aumento transitorio en el uso del almacenamiento en ECS
• Después de que GC de DD CT haya completado el reenvío de copias, emite DELETE a ECS y comienza a liberar espacio. Es posible que ECS libere espacio en su propio almacenamiento debido a cómo funciona GC de ECS
• Puede ser difícil distinguir la PUT para los datos nuevos, además de PUT para DD CT GC. Verifique con el soporte de ECS si se necesita ayuda con esto.
• MULTI COPY es una extensión del estándar S3 y solo sucede con unidades de nube basadas en ECS
• MULTI COPY solicita a ECS que lea de los objetos existentes para crear un nuevo objeto, lo que puede provocar fallas o que se publiquen alertas de daños en DD. La expectativa es que todos los objetos de origen existan en ECS. Si no es así, GC de DD CT se detiene e informa alertas de falla de GC de DD CT, falla de comprobación de integridad o daños. En este caso, comuníquese con el soporte de DELL Data Domain.
• Incluso si las extensiones MULTI COPY se implementan en ECS, no son compatibles con los usuarios de IAM. Solo los usuarios de objetos (normales) creados a partir de ECS pueden usar las extensiones MULTI COPY. Si el perfil de nube de DD está configurado con credenciales de usuario de IAM o un usuario de objetos normal se cambia a un usuario de IAM más adelante, todo funcionaría bien en DD con ECS, excepto en el caso de la limpieza. Esto finalmente fallaría con la siguiente alerta:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API