Data Domain: Flerkopieringsoperasjoner når du bruker ECS som skynivå
Summary: Denne artikkelen forklarer implementeringsdetaljene når ECS brukes med Data Domain for Cloud Tier. Den tar for seg potensielle artikler når du går gjennom Data Domain- og ECS-loggene.
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
DELL ECS kan brukes som skyleverandør med alternativet DD Cloud Tier (long-term retention, LTR). Hvis du vil ha mer informasjon om DD LTR, kan du se Dell KB-artikkel 23144, Data Domain Restorer (DDR) og LTR (Long Term Retention) til nettskyen:
Vanlige spørsmålECS og offentlige skyleverandører (for eksempel AWS, Azure og GCP) fungerer nøyaktig på samme måte, bortsett fra mindre implementeringsdetaljer. Cloud Tier rengjør arbeid forskjellig i ECS på grunn av at ECS-nettskyen er lokal, eies av kunden, og dermed:
ECS har en S3-utvidelse implementert kalt «Copy Range». Dette kan for eksempel vises på andre steder, for eksempel MULTI COPY.
Dette er et sett med utvidede overskrifter som ikke finnes i S3-standarden, og som derfor bare støttes med ECS. Det gjør det mulig for ECS å opprette et nytt objekt ved å trekke byteområder fra eksisterende objekter. Alt arbeid utføres via ECS og ikke klienten.
Denne ikke-standard operasjonen som bare støttes av ECS, brukes bare av DD under en ren kopieringsfase. Den gjør det mulig for DD å kjøre Garbage Collection (GC) på ECS-baserte nettskyenheter på samme måte som den kjører på aktivt nivå (noe som er mer effektivt for å frigjøre ubrukt plass).
Den brukes ikke når du skriver nye data til nettskyen under dataflytting (den bruker PUT), og heller ikke ved tilbakekalling eller lesing av data fra skyenheten (når den bruker GET).
Vanlige spørsmålECS og offentlige skyleverandører (for eksempel AWS, Azure og GCP) fungerer nøyaktig på samme måte, bortsett fra mindre implementeringsdetaljer. Cloud Tier rengjør arbeid forskjellig i ECS på grunn av at ECS-nettskyen er lokal, eies av kunden, og dermed:
- Ventetiden og ytelsen er raskere enn for offentlige skyleverandører
- Brukere pådrar seg ikke ekstra utgifter ved bruk av båndbredde eller kjøring av operasjoner på ECS
- ECS er utviklet av DELL og har utvidelser av S3-protokollstandarden. Dette gjør det mulig å kjøre Cloud Tier rengjør mer effektivt enn for offentlige skyleverandører
ECS har en S3-utvidelse implementert kalt «Copy Range». Dette kan for eksempel vises på andre steder, for eksempel MULTI COPY.
Dette er et sett med utvidede overskrifter som ikke finnes i S3-standarden, og som derfor bare støttes med ECS. Det gjør det mulig for ECS å opprette et nytt objekt ved å trekke byteområder fra eksisterende objekter. Alt arbeid utføres via ECS og ikke klienten.
Denne ikke-standard operasjonen som bare støttes av ECS, brukes bare av DD under en ren kopieringsfase. Den gjør det mulig for DD å kjøre Garbage Collection (GC) på ECS-baserte nettskyenheter på samme måte som den kjører på aktivt nivå (noe som er mer effektivt for å frigjøre ubrukt plass).
Den brukes ikke når du skriver nye data til nettskyen under dataflytting (den bruker PUT), og heller ikke ved tilbakekalling eller lesing av data fra skyenheten (når den bruker GET).
Cause
Copy Range/MULTI COPY er en utvidelse av S3-protokollen og er ikke en ny metode.
Copy Range/MULTI COPY er et sett med nye overskrifter som legges til PUT-anrop. ECS vet hvordan man tolker dette, men ikke andre nettskyimplementeringer.
I DD-ene finnes det steder der MULTI COPY rapporteres, i stedet for PUT. Dette er for å atskille den vanlige PUT-en (som brukes til å skrive data til nettskyen under dataflytting) fra dem som genereres under CT GC (som vil være den såkalte MULTI COPY-en, men de legges under hetten).
Som et eksempel kan vi se at følgende verdier ble rapportert for en kunde med 7 dagers mellomrom:
DD vil rapportere antall operasjoner som er fullført for PUT, GET, DELETE, MULTI COPY og LIST.
MULTI COPY er ikke en gyldig S3-metode, ikke engang for ECS. MULTI COPY er virkelig SATT med noen spesielle overskrifter lagt inn av DD når du kjører operasjonen med ECS.
Når du sjekker på ECS-siden, vil ikke kunder og ECS-støtte se "MULTI COPY"-operasjoner i det hele tatt.
De ser bare, hvis aktuelt, PUT, GET, DELETE og LIST. DD-rapportene settes separat når du utfører dataflytting til nettskyen. DD rapporterer MULTI COPY (som blir SATT generert under CT GC, for å opprette nye objekter fra byteområder som leses fra eksisterende objekter i skyen).
Derfor kan kunder og ECS-støtte se PUT kjøres fra DD under DD CT GC. Dette kan bli gjort uforutsiget som nye data (dataflytting fra DD), men det kan skyldes pågående DD CT GC (som utfører MULTI COPY, det vil si PUT med spesielle parametere).
Hver MULTI COPY-operasjon som er registrert i DD-statistikk, resulterer i én og bare én PUT-operasjon registrert på ECS-siden.
Under DD CT GC går prosessen inn i fasen «bakgrunnsslettinger».
Dette er når DD CT GC har fullført alle kopieringer ved hjelp av MULTI COPY. Den ber nå ECS om å slette alle kildeobjekter vi leser byte fra.
I statistikken ovenfor gjelder mengden DELETE i løpet av uken det samlede antallet nye objekter (PUT, for nye data og MULTI COPY, for kopiering som videresendes under CT GC).
Dette resulterer i en nettbasert lagringsplass i skynivået
I dette eksemplet, 557,408 + 18,453,552-25,148,128 = -6,137,168, som er mer enn 20 TiB etter comp med vanlig objektstørrelse for ECS-baserte skyenheter.
Copy Range/MULTI COPY er et sett med nye overskrifter som legges til PUT-anrop. ECS vet hvordan man tolker dette, men ikke andre nettskyimplementeringer.
I DD-ene finnes det steder der MULTI COPY rapporteres, i stedet for PUT. Dette er for å atskille den vanlige PUT-en (som brukes til å skrive data til nettskyen under dataflytting) fra dem som genereres under CT GC (som vil være den såkalte MULTI COPY-en, men de legges under hetten).
Som et eksempel kan vi se at følgende verdier ble rapportert for en kunde med 7 dagers mellomrom:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
DD vil rapportere antall operasjoner som er fullført for PUT, GET, DELETE, MULTI COPY og LIST.
MULTI COPY er ikke en gyldig S3-metode, ikke engang for ECS. MULTI COPY er virkelig SATT med noen spesielle overskrifter lagt inn av DD når du kjører operasjonen med ECS.
Når du sjekker på ECS-siden, vil ikke kunder og ECS-støtte se "MULTI COPY"-operasjoner i det hele tatt.
De ser bare, hvis aktuelt, PUT, GET, DELETE og LIST. DD-rapportene settes separat når du utfører dataflytting til nettskyen. DD rapporterer MULTI COPY (som blir SATT generert under CT GC, for å opprette nye objekter fra byteområder som leses fra eksisterende objekter i skyen).
Derfor kan kunder og ECS-støtte se PUT kjøres fra DD under DD CT GC. Dette kan bli gjort uforutsiget som nye data (dataflytting fra DD), men det kan skyldes pågående DD CT GC (som utfører MULTI COPY, det vil si PUT med spesielle parametere).
Hver MULTI COPY-operasjon som er registrert i DD-statistikk, resulterer i én og bare én PUT-operasjon registrert på ECS-siden.
Under DD CT GC går prosessen inn i fasen «bakgrunnsslettinger».
Dette er når DD CT GC har fullført alle kopieringer ved hjelp av MULTI COPY. Den ber nå ECS om å slette alle kildeobjekter vi leser byte fra.
I statistikken ovenfor gjelder mengden DELETE i løpet av uken det samlede antallet nye objekter (PUT, for nye data og MULTI COPY, for kopiering som videresendes under CT GC).
Dette resulterer i en nettbasert lagringsplass i skynivået
I dette eksemplet, 557,408 + 18,453,552-25,148,128 = -6,137,168, som er mer enn 20 TiB etter comp med vanlig objektstørrelse for ECS-baserte skyenheter.
Resolution
Dette er forventet atferd.
Noen PUT-operasjoner utført av DD til ECS er en spesiell type, kalt "MULTI COPY" på DD-siden, men de vises som vanlige PUT på ECS-siden.
MULTI COPY genereres bare fra DD under CT GC. De oppretter ett enkelt nytt objekt i skyen ved å lese byte varierer fra eksisterende objekter i ECS. Alt dette skjer i ECS selv.
Dette har følgende konsekvenser:
Noen PUT-operasjoner utført av DD til ECS er en spesiell type, kalt "MULTI COPY" på DD-siden, men de vises som vanlige PUT på ECS-siden.
MULTI COPY genereres bare fra DD under CT GC. De oppretter ett enkelt nytt objekt i skyen ved å lese byte varierer fra eksisterende objekter i ECS. Alt dette skjer i ECS selv.
Dette har følgende konsekvenser:
- Under DD CT GC ser ECS på et tidspunkt mange PUT-operasjoner (som er DD MULTI COPY). Dette er helt forventet, og fører til en forbigående økning i lagringsbruken på ECS
- Etter at DD CT GC har fullført kopiering, utsteder det DELETE til ECS, og begynner å frigjøre plass. ECS-frigjøring av plass på egen lagring kan bli forsinket på grunn av hvordan ECS GC fungerer
- Det kan være vanskelig å se PUT for nye data bortsett fra PUT for DD CT GC. Kontakt ECS-støtte hvis du trenger hjelp med dette.
- MULTI COPY er en utvidelse av S3-standarden og skjer bare med ECS-baserte nettskyenheter
- MULTI COPY ber ECS om å lese fra eksisterende objekter for å opprette et nytt objekt. Det kan føre til feil eller skadevarsler som blir lagt ut på DD. Forventningen er at alle kildeobjekter finnes i ECS. Hvis ikke, stopper DD CT GC og rapporterer varsler for DD CT GC-feil, feil i integritetskontroll eller skade. Hvis dette er tilfelle, kontakter du kundestøtte for DELL Data Domain.
- Selv om MULTI COPY-utvidelser er implementert i ECS, støttes de ikke for IAM-brukere. Bare (vanlige) objektbrukere som er opprettet fra ECS, kan bruke utvidelser med FLERE KOPIER. Hvis DD-nettskyprofilen er konfigurert med en IAM-brukerlegitimasjon, eller en vanlig objektbruker blir endret til en IAM-bruker senere, vil alt fungere fint på DD med ECS, bortsett fra ren. Dette vil til slutt mislykkes med følgende varsel:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.