Data Domain: "MULTI COPY"-handlinger ved brug af ECS som Cloud Tier
Summary: Denne artikel beskriver implementeringsoplysninger, når ECS bruges sammen med Data Domain til Cloud Tier. Den håndterer potentielle problemer, når datadomæne- og ECS-logfilerne gennemgås. ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
DELL ECS kan bruges som cloud-udbyder med indstillingen DD Cloud Tier (langtidsopbevaring, LTR). Du kan finde flere oplysninger om DD LTR i Dell KB-artikel 23144, Data Domain Restorer (DDR) og LTR (Long Term Retention) til skyen: Ofte stillede spørgsmål (FAQ/FAQ)
ECS- og offentlige cloud-udbydere (f.eks. AWS, Azure og GCP) arbejder på præcis samme måde med undtagelse af mindre implementeringsoplysninger. Cloud Tier rengør fungerer forskelligt i ECS, fordi ECS-clouden er lokal, ejet af kunden og dermed:
ECS har en S3-udvidelse implementeret kaldet "Kopiområde". Dette kan opleves andre steder, f.eks. MULTI COPY.
Dette er et sæt udvidede overskrifter, som ikke findes i S3-standarden og derfor kun understøttes med ECS. Det gør det muligt for ECS at oprette et nyt objekt ved at trække byteintervaller fra eksisterende objekter. Alt arbejde udføres via ECS og ikke klienten.
Denne ikke-standardhandling, der kun understøttes af ECS, bruges kun af DD i Cloud Tier clean "copy"-fasen. Det gør det muligt for DD at køre Garbage Collection (GC) på ECS-baserede cloud-enheder på samme måde som på aktivt niveau (hvilket er mere effektivt til at frigøre ubrugt plads).
Den bruges ikke, når der skrives nye data til cloud under dataflytning (det bruger PUT), eller når der tilbagekaldes eller læses data fra en cloud-enhed (når den bruger HENT).
ECS- og offentlige cloud-udbydere (f.eks. AWS, Azure og GCP) arbejder på præcis samme måde med undtagelse af mindre implementeringsoplysninger. Cloud Tier rengør fungerer forskelligt i ECS, fordi ECS-clouden er lokal, ejet af kunden og dermed:
- Ventetid og ydeevne er hurtigere end for offentlige cloud-udbydere
- Brugere pådrager ikke ekstra omkostninger ved forbrug af båndbredde eller kørsel af handlinger på ECS
- ECS er udviklet af DELL og har udvidelser til S3-protokolstandarden. Dette gør det muligt at køre Cloud Tier-rengøring mere effektivt end for offentlige cloud-udbydere
ECS har en S3-udvidelse implementeret kaldet "Kopiområde". Dette kan opleves andre steder, f.eks. MULTI COPY.
Dette er et sæt udvidede overskrifter, som ikke findes i S3-standarden og derfor kun understøttes med ECS. Det gør det muligt for ECS at oprette et nyt objekt ved at trække byteintervaller fra eksisterende objekter. Alt arbejde udføres via ECS og ikke klienten.
Denne ikke-standardhandling, der kun understøttes af ECS, bruges kun af DD i Cloud Tier clean "copy"-fasen. Det gør det muligt for DD at køre Garbage Collection (GC) på ECS-baserede cloud-enheder på samme måde som på aktivt niveau (hvilket er mere effektivt til at frigøre ubrugt plads).
Den bruges ikke, når der skrives nye data til cloud under dataflytning (det bruger PUT), eller når der tilbagekaldes eller læses data fra en cloud-enhed (når den bruger HENT).
Cause
Copy Range/MULTI COPY, som er en udvidelse til S3-protokollen, er ikke en ny metode.
Copy Range/MULTI COPY er et sæt nye overskrifter, der føjes til PUT-opkald. ECS ved, hvordan man skal fortolke dette, men ikke andre cloudimplementeringer.
I DD'erne er der steder, hvor MULTI COPY rapporteres i stedet for PUT. Dette er for at adskille den almindelige PUT (som bruges til at skrive data til skyen under dataflytning) fra dem, der genereres under CT GC (som ville være den såkaldte MULTI COPY, men de sættes under skærmen).
Som et eksempel kan vi se, at følgende værdier blev rapporteret for en kunde med 7 dage mellemrum:
DD rapporterer antal udførte handlinger for PUT, GET, DELETE, MULTI COPY og LIST.
MULTI COPY er ikke en gyldig S3-metode, selv ikke for ECS. MULTI COPY er virkelig PUT med nogle specielle overskrifter tilføjet af DD, når du kører handlingen med ECS.
Når de kontrollerer på ECS-siden, kan kunder og ECS-support slet ikke se "MULTI COPY"-handlinger.
De kan kun se, hvis det er relevant, PUT, HENT, SLET og LISTE. DD rapporterer PUT separat, når du udfører dataflytning til clouden. DD rapporterer MULTI COPY (som genereres under CT GC for at oprette nye objekter fra byteintervaller, der læses fra eksisterende objekter i skyen).
Derfor vil kunder og ECS-support se, at PUT køres fra DD under DD CT GC. Dette kan blive fejlforstået som nye data (dataflytning fra DD), men det kan skyldes løbende DD CT-GC (som udfører MULTI COPY, dvs. PUT med specielle parametre).
Hver MULTI COPY-handling, der er registreret i DD-statistik, resulterer i én og kun én PUT-handling registreret på ECS-siden.
Under DD CT GC går processen ind i fasen med "baggrundssletninger".
Det sker, når DD CT GC har færdiggjort alle kopier ved hjælp af MULTI COPY. Det anmoder nu ECS om at slette alle kildeobjekter, som vi læser byteintervaller fra.
I statistik ovenfor er mængden af DELETE i løbet af ugen nummereret med det samlede antal nye objekter (PUT, for nye data og MULTI COPY, for at kopiere videresendelser under CT GC).
Dette resulterer i en netopstart af plads i cloud-niveauet
I dette eksempel er 557.408 + 18.453.552 - 25.148.128 = -6.137.168, der er mere end 20 TiB post comp med den sædvanlige objektstørrelse for ECS-baserede cloudenheder.
Copy Range/MULTI COPY er et sæt nye overskrifter, der føjes til PUT-opkald. ECS ved, hvordan man skal fortolke dette, men ikke andre cloudimplementeringer.
I DD'erne er der steder, hvor MULTI COPY rapporteres i stedet for PUT. Dette er for at adskille den almindelige PUT (som bruges til at skrive data til skyen under dataflytning) fra dem, der genereres under CT GC (som ville være den såkaldte MULTI COPY, men de sættes under skærmen).
Som et eksempel kan vi se, at følgende værdier blev rapporteret for en kunde med 7 dage mellemrum:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
DD rapporterer antal udførte handlinger for PUT, GET, DELETE, MULTI COPY og LIST.
MULTI COPY er ikke en gyldig S3-metode, selv ikke for ECS. MULTI COPY er virkelig PUT med nogle specielle overskrifter tilføjet af DD, når du kører handlingen med ECS.
Når de kontrollerer på ECS-siden, kan kunder og ECS-support slet ikke se "MULTI COPY"-handlinger.
De kan kun se, hvis det er relevant, PUT, HENT, SLET og LISTE. DD rapporterer PUT separat, når du udfører dataflytning til clouden. DD rapporterer MULTI COPY (som genereres under CT GC for at oprette nye objekter fra byteintervaller, der læses fra eksisterende objekter i skyen).
Derfor vil kunder og ECS-support se, at PUT køres fra DD under DD CT GC. Dette kan blive fejlforstået som nye data (dataflytning fra DD), men det kan skyldes løbende DD CT-GC (som udfører MULTI COPY, dvs. PUT med specielle parametre).
Hver MULTI COPY-handling, der er registreret i DD-statistik, resulterer i én og kun én PUT-handling registreret på ECS-siden.
Under DD CT GC går processen ind i fasen med "baggrundssletninger".
Det sker, når DD CT GC har færdiggjort alle kopier ved hjælp af MULTI COPY. Det anmoder nu ECS om at slette alle kildeobjekter, som vi læser byteintervaller fra.
I statistik ovenfor er mængden af DELETE i løbet af ugen nummereret med det samlede antal nye objekter (PUT, for nye data og MULTI COPY, for at kopiere videresendelser under CT GC).
Dette resulterer i en netopstart af plads i cloud-niveauet
I dette eksempel er 557.408 + 18.453.552 - 25.148.128 = -6.137.168, der er mere end 20 TiB post comp med den sædvanlige objektstørrelse for ECS-baserede cloudenheder.
Resolution
Dette er forventeligt.
Nogle PUT-handlinger, der udføres af DD til ECS, er en særlig type, der kaldes "MULTI COPY" på DD-siden, men de vises som almindelig PUT på ECS-siden.
MULTI COPY genereres kun fra DD under CT GC. De opretter et enkelt nyt objekt i skyen ved at læse byteintervaller fra eksisterende objekter i ECS. Alt dette sker i selve ECS.
Dette har følgende følger:
Nogle PUT-handlinger, der udføres af DD til ECS, er en særlig type, der kaldes "MULTI COPY" på DD-siden, men de vises som almindelig PUT på ECS-siden.
MULTI COPY genereres kun fra DD under CT GC. De opretter et enkelt nyt objekt i skyen ved at læse byteintervaller fra eksisterende objekter i ECS. Alt dette sker i selve ECS.
Dette har følgende følger:
- Under DD CT GC ser ECS på et tidspunkt masser af PUT-handlinger (som er DD MULTI COPY). Dette er helt forventeligt og medfører en forbigående stigning i lagringsforbruget på ECS
- Når DD CT GC har fuldført videresendelser af kopier, problemer med DELETE til ECS og begynder at frigøre plads. ECS-frigørelse af plads på egen lagerplads kan blive forsinket på grund af, hvordan ECS GC fungerer
- Det kan være svært at se PUT for nye data ud over PUT til DD CT GC. Kontakt ECS-supporten, hvis du har brug for hjælp til dette.
- MULTI COPY er en udvidelse af S3-standarden og sker kun med ECS-baserede cloud-enheder
- MULTI COPY beder ECS om at læse fra eksisterende objekter for at oprette et nyt objekt. Det kan medføre, at fejl- eller beskadigelsesadvarsler offentliggøres på DD. Forventningen er, at alle kildeobjekter findes i ECS. Hvis ikke, stopper DD CT GC og rapporterer advarsler om DD CT GC-fejl, integritetskontrol eller beskadigelse. I dette tilfælde skal du kontakte DELL Data Domain Support.
- Selv hvis MULTI COPY-udvidelser er implementeret i ECS, understøttes de ikke til IAM-brugere. Kun (almindelige) objektbrugere, som er oprettet fra ECS, kan bruge MULTI COPY-filtypenavnene. Hvis DD-skyprofilen konfigureres med en IAM-brugerlegitimationsoplysninger, eller en almindelig objektbruger ændres til en IAM-bruger senere, vil alt fungere fint på DD med ECS med undtagelse af clean. Dette mislykkes med tiden med følgende advarsel:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.