Data Domain: Operace "MULTI COPY" při používání systému ECS jako cloudové vrstvy
Summary: Tento článek vysvětluje detail implementace při použití systému ECS se systémem Data Domain pro cloudovou vrstvu. Při kontrole protokolů Data Domain a ECS řeší potenciální problémy.
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Systém DELL ECS lze použít jako poskytovatele cloudu s možností vrstvy cloudu DD (dlouhodobé uchování, LTR). Podrobnosti o nástroji DD LTR naleznete v článku databáze znalostí Dell 23144, nástroji Data Domain Restorer (DDR) a lTR (Long Term Retention) v cloudu: Často kladené dotazy (FAQ/ FAQ)
EcS a poskytovatelé veřejných cloudů (například AWS, Azure a GCP) fungují přesně stejným způsobem s výjimkou menších detailů implementace. Cloud Tier cleans work differently in ECS due to ECS cloud being local, ve vlastnictví zákazníka, a proto:
V systému ECS je implementováno rozšíření S3 s názvem "Copy Range". To se může objevit na jiných místech, jako je například MULTI COPY.
Jedná se o sadu rozšířených záhlaví, které nejsou obsaženy ve standardu S3, a tudíž je podporována pouze systémem ECS. Umožňuje systému ECS vytvořit nový objekt tažením za rozsahy bajtů od stávajících objektů. Veškerá práce se provádí prostřednictvím systému ECS, nikoli klienta.
Tento nestandardní provoz podporovaný systémem ECS používá systém DD pouze během fáze vyčištění "kopírování" vrstvy cloudu. Umožňuje systému DD spustit funkci Garbage Collection (GC) na cloudových jednotkách založených na systému ECS stejným způsobem, jako je spuštěn na aktivní vrstvě (což je efektivnější při navrácení nevyužitého místa).
Nepoužívá se při zápisu nových dat do cloudu během přesunu dat (pomocí put), ani při svolání nebo čtení dat z cloudové jednotky (při použití GET).
EcS a poskytovatelé veřejných cloudů (například AWS, Azure a GCP) fungují přesně stejným způsobem s výjimkou menších detailů implementace. Cloud Tier cleans work differently in ECS due to ECS cloud being local, ve vlastnictví zákazníka, a proto:
- Latence a výkon jsou rychlejší než u poskytovatelů veřejných cloudů.
- Uživatelům ne vzniknou další výdaje při využití šířky pásma nebo provozu v systému ECS.
- Systém ECS je vyvinut společností DELL a má rozšíření standardu protokolu S3. Díky tomu může spouštět vrstvu cloudu efektivněji než u veřejných poskytovatelů cloudu.
V systému ECS je implementováno rozšíření S3 s názvem "Copy Range". To se může objevit na jiných místech, jako je například MULTI COPY.
Jedná se o sadu rozšířených záhlaví, které nejsou obsaženy ve standardu S3, a tudíž je podporována pouze systémem ECS. Umožňuje systému ECS vytvořit nový objekt tažením za rozsahy bajtů od stávajících objektů. Veškerá práce se provádí prostřednictvím systému ECS, nikoli klienta.
Tento nestandardní provoz podporovaný systémem ECS používá systém DD pouze během fáze vyčištění "kopírování" vrstvy cloudu. Umožňuje systému DD spustit funkci Garbage Collection (GC) na cloudových jednotkách založených na systému ECS stejným způsobem, jako je spuštěn na aktivní vrstvě (což je efektivnější při navrácení nevyužitého místa).
Nepoužívá se při zápisu nových dat do cloudu během přesunu dat (pomocí put), ani při svolání nebo čtení dat z cloudové jednotky (při použití GET).
Cause
Kopírování rozsahu / FUNKCE MULTI COPY, která je rozšířením protokolu S3, není novou metodou.
Copy Range/MULTI COPY je sada nových záhlaví, která je přidána do volání PUT. Systém ECS ví, jak to interpretovat, ale ne k jiným implementaci cloudu.
Na discích DD jsou místo příkazu PUT místa, kde je hlášena funkce MULTI COPY. Jedná se o oddělení běžného put (které se používají k zápisu dat do cloudu během přesunu dat) od dat generovaných během CT GC (což by byla tzv. MULTI COPY, ale jsou UMÍSTĚNa pod stínítku).
Například můžeme vidět, že pro zákazníka byly hlášeny následující hodnoty, 7 dní od sebe:
Systém DD by nahlásil objemy operací dokončených pro operace PUT, GET, DELETE, MULTI COPY a LIST.
FUNKCE MULTI COPY není platná metoda S3, a to ani v případě systému ECS. MULTI COPY je skutečně PUT s některými speciálními záhlavími, které byly přidány do systému DD při spuštění operace se systémem ECS.
Při kontrole na straně systému ECS zákazníci a podpora ECS vůbec nevidí operace "MULTI COPY".
Vidí pouze možnosti PUT, GET, DELETE a LIST, pokud je to možné. Systém DD hlásí put samostatně při přesunu dat do cloudu. Systém DD hlásí funkci MULTI COPY (která se vygenerují během katalogu CT GC za účelem vytvoření nových objektů z rozsahů bajtů čtených ze stávajících objektů v cloudu).
Z tohoto důvodu zákazníci a podpora ECS vidí, že se během globálního katalogu DD CT spouští příkaz PUT z DD. To lze špatně pochopit jako nová data (přesun dat z DD), ale může to být způsobeno průběžným katalogem DD CT GC (který provádí FUNKCI MULTI COPY, tedy PUT se speciálními parametry).
Každá operace MULTI COPY zaznamenané ve statistikách DD vede k jedné a pouze jedné operaci PUT zaznamenané na straně SYSTÉMU ECS.
Během testu DD CT GC proces přejde do fáze "odstranění na pozadí".
To se stane, když katalog DD CT GC dokončí všechny kopie přeposílání pomocí funkce MULTI COPY. Nyní vyžaduje, aby systém ECS odstranil všechny zdrojové objekty, ze které čteme rozsahy bajtů.
Ve výše uvedených statistikách počet ODSTRANĚNÍ během týdne přečísluje kombinovaný počet nových objektů (PUT, nových dat a FUNKCE MULTI COPY pro kopírování předávat během globálního katalogu CT).
Výsledkem je čistý nárůst místa v cloudové vrstvě
. V tomto příkladu 557 408 + 18 453 552 – 25 148 128 = -6 137 168, což je více než 20 TiB post comp s obvyklou velikostí objektu pro cloudové jednotky založené na systému ECS.
Copy Range/MULTI COPY je sada nových záhlaví, která je přidána do volání PUT. Systém ECS ví, jak to interpretovat, ale ne k jiným implementaci cloudu.
Na discích DD jsou místo příkazu PUT místa, kde je hlášena funkce MULTI COPY. Jedná se o oddělení běžného put (které se používají k zápisu dat do cloudu během přesunu dat) od dat generovaných během CT GC (což by byla tzv. MULTI COPY, ale jsou UMÍSTĚNa pod stínítku).
Například můžeme vidět, že pro zákazníka byly hlášeny následující hodnoty, 7 dní od sebe:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
Systém DD by nahlásil objemy operací dokončených pro operace PUT, GET, DELETE, MULTI COPY a LIST.
FUNKCE MULTI COPY není platná metoda S3, a to ani v případě systému ECS. MULTI COPY je skutečně PUT s některými speciálními záhlavími, které byly přidány do systému DD při spuštění operace se systémem ECS.
Při kontrole na straně systému ECS zákazníci a podpora ECS vůbec nevidí operace "MULTI COPY".
Vidí pouze možnosti PUT, GET, DELETE a LIST, pokud je to možné. Systém DD hlásí put samostatně při přesunu dat do cloudu. Systém DD hlásí funkci MULTI COPY (která se vygenerují během katalogu CT GC za účelem vytvoření nových objektů z rozsahů bajtů čtených ze stávajících objektů v cloudu).
Z tohoto důvodu zákazníci a podpora ECS vidí, že se během globálního katalogu DD CT spouští příkaz PUT z DD. To lze špatně pochopit jako nová data (přesun dat z DD), ale může to být způsobeno průběžným katalogem DD CT GC (který provádí FUNKCI MULTI COPY, tedy PUT se speciálními parametry).
Každá operace MULTI COPY zaznamenané ve statistikách DD vede k jedné a pouze jedné operaci PUT zaznamenané na straně SYSTÉMU ECS.
Během testu DD CT GC proces přejde do fáze "odstranění na pozadí".
To se stane, když katalog DD CT GC dokončí všechny kopie přeposílání pomocí funkce MULTI COPY. Nyní vyžaduje, aby systém ECS odstranil všechny zdrojové objekty, ze které čteme rozsahy bajtů.
Ve výše uvedených statistikách počet ODSTRANĚNÍ během týdne přečísluje kombinovaný počet nových objektů (PUT, nových dat a FUNKCE MULTI COPY pro kopírování předávat během globálního katalogu CT).
Výsledkem je čistý nárůst místa v cloudové vrstvě
. V tomto příkladu 557 408 + 18 453 552 – 25 148 128 = -6 137 168, což je více než 20 TiB post comp s obvyklou velikostí objektu pro cloudové jednotky založené na systému ECS.
Resolution
Jedná se o očekávané chování.
Některé operace PUT prováděné systémem DD na ECS jsou speciální typ nazývaný "MULTI COPY" na straně DD, ale na straně ECS se zobrazují jako běžné PUT.
Funkce MULTI COPY se generuje z dd pouze během globálního katalogu CT. Vytvářejí v cloudu jeden nový objekt tak, že čtou rozsahy bajtů ze stávajících objektů v systému ECS. To vše se děje přímo v rámci ECS.
To má následující následky:
Některé operace PUT prováděné systémem DD na ECS jsou speciální typ nazývaný "MULTI COPY" na straně DD, ale na straně ECS se zobrazují jako běžné PUT.
Funkce MULTI COPY se generuje z dd pouze během globálního katalogu CT. Vytvářejí v cloudu jeden nový objekt tak, že čtou rozsahy bajtů ze stávajících objektů v systému ECS. To vše se děje přímo v rámci ECS.
To má následující následky:
- Během DD CT GC systém ECS v určitém okamžiku zaznamená mnoho operací PUT (což je DD MULTI COPY). To je dokonale očekávané a způsobuje přechodné zvýšení využití úložiště v systému ECS.
- Po dokončení předávání kopií nástroje DD CT GC vydá příkaz DELETE do systému ECS a začne uvolnit místo. Kvůli tomu, jak systém ECS GC funguje, může dojít ke zpoždění uvolňování místa v vlastním úložišti ECS
- Může být obtížné odlišit put pro nová data kromě put pro DD CT GC. Pokud potřebujete pomoc, ověřte u podpory ECS.
- FUNKCE MULTI COPY představuje rozšíření standardu S3 a dochází pouze u cloudových jednotek založených na systému ECS.
- FUNKCE MULTI COPY vyzývá systém ECS ke čtení stávajících objektů za účelem vytvoření nového objektu, může to mít za následek odeslání výstrah o selhání nebo poškození v systému DD. Očekáváme, že v systému ECS existují všechny zdrojové objekty. Pokud ne, služba DD CT GC zastaví a nahlásí výstrahy pro selhání DD CT GC, selhání kontroly integrity nebo poškození. V takovém případě se obraťte na podporu DELL Data Domain.
- I když jsou v systému ECS implementována rozšíření MULTI COPY, nejsou pro uživatele IAM podporována. Rozšíření MULTI COPY mohou používat pouze uživatelé objektů (běžný) vytvořené v systému ECS. Pokud je profil cloudu DD nakonfigurován pomocí uživatelských přihlašovacích údajů IAM nebo je běžný uživatel objektu změněn na uživatele IAM později, vše by v systému DD s ecS fungovalo bez problémů s výjimkou čištění. K tomu nakonec dojde s následující výstrahou:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.