Data Domain : Opérations « MULTI COPY » lors de l’utilisation d’ECS en tant que niveau Cloud

DELL ECS peut être utilisé en tant que fournisseur de Cloud avec l’option DD Cloud Tier (rétention à long terme, LTR). Pour plus d’informations sur DD LTR, reportez-vous à l’article de la base de connaissances Dell 23144, Data Domain Restorer (DDR) et Long Term Retention (LTR) to the Cloud: Forum Aux Questions (FAQ/FAQ)

ECS et les fournisseurs de Cloud public (tels qu’AWS, Azure et GCP) fonctionnent exactement de la même manière, à l’exception des détails de mise en œuvre mineurs. La hiérarchisation sur le Cloud fonctionne différemment dans ECS, car le Cloud ECS est local, détenu par le client, et par conséquent:

• La latence et les performances sont plus rapides que pour les fournisseurs de Cloud public
• Les utilisateurs n’engagent pas de frais supplémentaires lors de la consommation de bande passante ou de l’exécution d’opérations sur ECS
• ECS est développé par DELL et dispose d’extensions à la norme de protocole S3. Cela lui permet d’exécuter la hiérarchisation sur le Cloud de manière plus efficace que pour les fournisseurs de Cloud public

ECS dispose d’une extension S3 implémentée appelée « Copy Range ». Cela peut se produire à d’autres endroits, tels que MULTI COPY.
Il s’agit d’un ensemble d’en-têtes étendus, non présents dans la norme S3, et donc uniquement pris en charge avec ECS. Elle permet à ECS de créer un nouvel objet en extrayant des plages d’octets à partir d’objets existants. Toutes les tâches sont effectuées via ECS et non par le client.

Cette opération non standard uniquement prise en charge par ECS est utilisée par le DD uniquement pendant la phase de « copie » propre de Cloud Tier. Il permet à DD d’exécuter garbage collection (GC) sur des unités de Cloud ECS de la même manière qu’il s’exécute sur le niveau actif (qui est plus efficace pour récupérer de l’espace inutilisé).
Il n’est pas utilisé lors de l’écriture de nouvelles données dans le Cloud pendant le déplacement des données (il utilise PUT), ni lors du rappel ou de la lecture des données à partir de l’unité de Cloud (lorsqu’il utilise GET).

Copy Range/MULTI COPY, qui est une extension du protocole S3, n’est pas une nouvelle méthode.
Copy Range/MULTI COPY est un ensemble de nouveaux en-têtes qui sont ajoutés aux appels PUT. ECS sait comment interpréter cela, mais pas d’autres implémentations cloud.

Dans les DD, il existe des emplacements où LA COPIE MULTIPLE est signalée, au lieu de PUT. Il s’agit de séparer le PUT standard (qui est utilisé pour écrire des données dans le Cloud lors du déplacement des données) de ceux qui sont générés au cours du CT GC (ce que l’on appelle la « MULTI COPY », mais ils sont placés sous le capot).

Par exemple, nous pouvons constater que les valeurs suivantes ont été signalées pour un client à 7 jours d’intervalle:

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD signale les quantités d’opérations terminées pour PUT, GET, DELETE, MULTI COPY et LIST.
MULTI COPY n’est pas une méthode S3 valide, même pas pour ECS. L’option MULTI COPY est vraiment PUT avec certains en-têtes spéciaux ajoutés par le DD lors de l’exécution de l’opération avec ECS.

Lors de la vérification côté ECS, les clients et le support ECS ne voient pas du tout les opérations « MULTI COPY ». 

Ils voient uniquement, le cas échéant, PUT, GET, DELETE et LIST. DD signale PUT séparément lors du déplacement des données vers le Cloud. DD signale LA COPIE MULTIPLE (qui sont générées au cours du CT GC, pour créer de nouveaux objets à partir de plages d’octets lues à partir d’objets existants dans le Cloud).

Pour cette raison, les clients et le support ECS voient PUT exécuté à partir de DD pendant DD CT GC. Cela peut être mal interprété en tant que nouvelles données (déplacement des données à partir du DD), mais cela peut être dû à un GC DD CT en cours (qui fait LA COPIE MULTI, autrement dit, PUT avec des paramètres spéciaux).

Chaque opération MULTI COPY enregistrée dans les statistiques DD se traduit par une seule opération PUT enregistrée du côté ECS.

Pendant le processus DD CT GC, le processus entre dans la phase des « suppressions en arrière-plan ». 
C’est à ce moment-là que le DD CT GC a finalisé tous les transferts de copie à l’aide de MULTI COPY. Il demande désormais à ECS de supprimer tous les objets sources dont nous lisons les plages d’octets.
Dans les statistiques ci-dessus, la quantité de DELETE au cours de la semaine dépasse le nombre combiné de nouveaux objets (PUT, pour les nouvelles données, et MULTI COPY, pour les transferts de copie pendant CT GC).
Cela se traduit par un gain net d’espace dans le niveau

Cloud Dans cet exemple, 557 408 + 18 453 552 - 25 148 128 = -6 137 168, soit plus de 20 Tio de post-compression avec la taille d’objet habituelle pour les unités cloud ECS.

Ce comportement est normal.

Certaines opérations PUT effectuées par le DD vers ECS sont de type spécial, appelé « MULTI COPY » du côté DD, mais elles apparaissent en tant que PUT standard du côté ECS.

MULTI COPY est uniquement généré à partir de DD pendant CT GC. Ils créent un seul nouvel objet dans le Cloud en lisant des plages d’octets à partir d’objets existants dans ECS. Tout cela se produit au sein d’ECS lui-même.
Cela a les conséquences suivantes:

• Au cours du GC DD CT, ECS voit à un moment donné un grand nombre d’opérations PUT (qui sont le DD MULTI COPY). Cela est parfaitement attendu et entraîne une augmentation transitoire de l’utilisation du stockage sur ECS
• Une fois que DD CT GC a terminé les transferts de copie, il envoie DELETE à ECS et commence à libérer de l’espace. EcS libérant de l’espace sur son propre stockage peut être retardé en raison du fonctionnement d’ECS GC
• Il peut être difficile de dire au PUT les nouvelles données, à l’exception de PUT pour DD CT GC. Vérifiez auprès du support ECS si une assistance est nécessaire.
• MULTI COPY est une extension de la norme S3 et ne se produit qu’avec les unités de Cloud ECS
• MULTI COPY demandant à ECS de lire à partir d’objets existants pour créer un nouvel objet, cela peut entraîner la publication d’alertes de défaillance ou de corruption sur le DD. On s’attend à ce que tous les objets sources existent dans ECS. Si ce n’est pas le cas, DD CT GC s’arrête et signale des alertes en cas de défaillance de DD CT GC, d’échec du contrôle d’intégrité ou de corruption. Dans ce cas, contactez le support DELL Data Domain.
• Même si les extensions MULTI COPY sont implémentées dans ECS, elles ne sont pas prises en charge pour les utilisateurs IAM. Seuls les utilisateurs d’objets (réguliers) créés à partir d’ECS peuvent utiliser les extensions MULTI COPY. Si le profil cloud DD est configuré avec des informations d’identification IAM, ou si un utilisateur d’objets standard est remplacé par un utilisateur IAM ultérieurement, tout fonctionne correctement sur le DD avec ECS, sauf pour le nettoyage. Cette opération échouerait avec l’alerte suivante:

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API