Data Domain: Operacje "MULTI COPY" podczas korzystania z ECS jako warstwy chmury
Summary: W tym artykule wyjaśniono szczegóły wdrożenia, gdy ECS jest używany z Domeną danych dla warstwy chmury. Rozwiązuje potencjalne błędy podczas przeglądania dzienników Data Domain i ECS.
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Dell ECS może być używany jako dostawca chmury z opcją DD Cloud Tier (Długoterminowe przechowywanie, LTR). Szczegółowe informacje na temat DD LTR można znaleźć w artykule bazy wiedzy firmy Dell 23144, przywracanie domeny danych (DDR) i przechowywanie długoterminowe (LTR) w chmurze: Często zadawane pytania (FAQ/FAQs)
ECS i dostawcy chmury publicznej (np. AWS, Azure i GCP) działają dokładnie w ten sam sposób, z wyjątkiem drobnych szczegółów wdrożenia. Czyszczenie warstwy chmury działa inaczej w ECS ze względu na to, że chmura ECS jest lokalna, należąca do klienta, a zatem:
EcS ma wdrożone rozszerzenie S3 o nazwie "Zakres kopiowania". Może to być widoczne w innych miejscach, takich jak MULTI COPY.
Jest to zestaw rozszerzonych nagłówków, niewymieniony w standardzie S3, a więc obsługiwany tylko w ECS. Umożliwia ecs utworzenie nowego obiektu poprzez wyciągnięcie zakresów bajtów z istniejących obiektów. Całą pracę wykonuje ECS, a nie klient.
Ta niestandardowa operacja obsługiwana tylko przez ECS jest używana przez DD tylko w fazie "kopii" warstwy chmury. Umożliwia DD uruchamianie zbierania śmieci (GC) na jednostkach chmury opartych na ECS w taki sam sposób, jak na warstwie aktywnej (która jest bardziej skuteczna w odzyskiwaniu nieużywanej przestrzeni).
Nie jest on używany podczas zapisywania nowych danych w chmurze podczas przenoszenia danych (wykorzystuje PUT), ani przy przywoływaniu lub odczytywaniu danych z jednostki chmury (w przypadku korzystania z GET).
ECS i dostawcy chmury publicznej (np. AWS, Azure i GCP) działają dokładnie w ten sam sposób, z wyjątkiem drobnych szczegółów wdrożenia. Czyszczenie warstwy chmury działa inaczej w ECS ze względu na to, że chmura ECS jest lokalna, należąca do klienta, a zatem:
- Opóźnienia i wydajność są szybsze niż w przypadku dostawców chmury publicznej
- Użytkownicy nie ponoszą dodatkowych kosztów podczas korzystania z przepustowości lub uruchamiania operacji w ECS
- ECS jest opracowywany przez firmę DELL i zawiera rozszerzenia do standardu protokołu S3. Dzięki temu może efektywniej pracować na warstwie chmury niż w przypadku dostawców chmury publicznej
EcS ma wdrożone rozszerzenie S3 o nazwie "Zakres kopiowania". Może to być widoczne w innych miejscach, takich jak MULTI COPY.
Jest to zestaw rozszerzonych nagłówków, niewymieniony w standardzie S3, a więc obsługiwany tylko w ECS. Umożliwia ecs utworzenie nowego obiektu poprzez wyciągnięcie zakresów bajtów z istniejących obiektów. Całą pracę wykonuje ECS, a nie klient.
Ta niestandardowa operacja obsługiwana tylko przez ECS jest używana przez DD tylko w fazie "kopii" warstwy chmury. Umożliwia DD uruchamianie zbierania śmieci (GC) na jednostkach chmury opartych na ECS w taki sam sposób, jak na warstwie aktywnej (która jest bardziej skuteczna w odzyskiwaniu nieużywanej przestrzeni).
Nie jest on używany podczas zapisywania nowych danych w chmurze podczas przenoszenia danych (wykorzystuje PUT), ani przy przywoływaniu lub odczytywaniu danych z jednostki chmury (w przypadku korzystania z GET).
Cause
Zakres kopiowania/MULTI COPY, jako rozszerzenie protokołu S3, nie jest nową metodą.
Zakres kopiowania/MULTI COPY to zestaw nowych nagłówków, które są dodawane do wywołań PUT. ECS wie, jak to interpretować, ale nie inne implementacje chmury.
W DDs są miejsca, w których zgłaszana jest MULTI COPY, zamiast PUT. Ma to na celu oddzielenie standardowego PUT (które służy do zapisu danych w chmurze podczas przenoszenia danych) od tych generowanych podczas CT GC (które są tak zwaną MULTI COPY, ale są umieszczane pod osłoną).
Na przykład możemy zauważyć, że dla klienta zgłoszono następujące wartości w odstępach 7 dni:
DD będzie raportować liczbę operacji wykonanych dla PUT, GET, DELETE, MULTI COPY i LIST.
MULTI COPY nie jest prawidłową metodą S3, nawet w przypadku ECS. MULTI COPY is really PUT with some special headers added in by the DD when running the operation with ECS.
Podczas sprawdzania po stronie ECS klienci i pomoc techniczna ECS w ogóle nie widzą operacji "MULTI COPY".
Są one widoczne tylko w stosownych przypadkach: PUT, GET, DELETE i LIST. DD raportuje PUT oddzielnie podczas przenoszenia danych do chmury. DD zgłasza MULTI COPY (które są generowane przez PUT podczas CT GC, w celu tworzenia nowych obiektów z zakresów bajtów odczytywanych z istniejących obiektów w chmurze).
Z tego powodu klienci i pomoc techniczna ECS widzą uruchamianie put z DD podczas DD CT GC. Można je błędnie rozumieć jako nowe dane (ruch danych z DD), ale może to być spowodowane ciągłym działaniem DD CT GC (który wykonuje WIELE KOPII, czyli PUT ze specjalnymi parametrami).
Każda operacja MULTI COPY zarejestrowana w statach DD powoduje zapisanie tylko jednej operacji PUT po stronie ECS.
Podczas DD CT GC proces wchodzi w fazę "usunięcia tła".
Dzieje się tak, gdy DD CT GC sfinalizowała wszystkie kopie do przodu przy użyciu MULTI COPY. Teraz prosi ECS o usunięcie wszystkich obiektów źródłowych, z których odczytujemy zakresy bajtów.
W powyższych statystykach liczba usuwanych danych w ciągu tygodnia powoduje łączną liczbę nowych obiektów (PUT, dla nowych danych i MULTI COPY, do kopiowania dalej podczas CT GC).
Powoduje to zysk netto miejsca w warstwie
chmury W tym przykładzie: 557 408 + 18 453 552 - 25 148 128 = -6 137 168, czyli ponad 20 procesorów TiB post z typowym rozmiarem obiektu dla jednostek chmury opartej na ECS.
Zakres kopiowania/MULTI COPY to zestaw nowych nagłówków, które są dodawane do wywołań PUT. ECS wie, jak to interpretować, ale nie inne implementacje chmury.
W DDs są miejsca, w których zgłaszana jest MULTI COPY, zamiast PUT. Ma to na celu oddzielenie standardowego PUT (które służy do zapisu danych w chmurze podczas przenoszenia danych) od tych generowanych podczas CT GC (które są tak zwaną MULTI COPY, ale są umieszczane pod osłoną).
Na przykład możemy zauważyć, że dla klienta zgłoszono następujące wartości w odstępach 7 dni:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
DD będzie raportować liczbę operacji wykonanych dla PUT, GET, DELETE, MULTI COPY i LIST.
MULTI COPY nie jest prawidłową metodą S3, nawet w przypadku ECS. MULTI COPY is really PUT with some special headers added in by the DD when running the operation with ECS.
Podczas sprawdzania po stronie ECS klienci i pomoc techniczna ECS w ogóle nie widzą operacji "MULTI COPY".
Są one widoczne tylko w stosownych przypadkach: PUT, GET, DELETE i LIST. DD raportuje PUT oddzielnie podczas przenoszenia danych do chmury. DD zgłasza MULTI COPY (które są generowane przez PUT podczas CT GC, w celu tworzenia nowych obiektów z zakresów bajtów odczytywanych z istniejących obiektów w chmurze).
Z tego powodu klienci i pomoc techniczna ECS widzą uruchamianie put z DD podczas DD CT GC. Można je błędnie rozumieć jako nowe dane (ruch danych z DD), ale może to być spowodowane ciągłym działaniem DD CT GC (który wykonuje WIELE KOPII, czyli PUT ze specjalnymi parametrami).
Każda operacja MULTI COPY zarejestrowana w statach DD powoduje zapisanie tylko jednej operacji PUT po stronie ECS.
Podczas DD CT GC proces wchodzi w fazę "usunięcia tła".
Dzieje się tak, gdy DD CT GC sfinalizowała wszystkie kopie do przodu przy użyciu MULTI COPY. Teraz prosi ECS o usunięcie wszystkich obiektów źródłowych, z których odczytujemy zakresy bajtów.
W powyższych statystykach liczba usuwanych danych w ciągu tygodnia powoduje łączną liczbę nowych obiektów (PUT, dla nowych danych i MULTI COPY, do kopiowania dalej podczas CT GC).
Powoduje to zysk netto miejsca w warstwie
chmury W tym przykładzie: 557 408 + 18 453 552 - 25 148 128 = -6 137 168, czyli ponad 20 procesorów TiB post z typowym rozmiarem obiektu dla jednostek chmury opartej na ECS.
Resolution
Jest to oczekiwane zachowanie.
Niektóre operacje PUT wykonywane przez DD do ECS są specjalnym typem, zwanym "MULTI COPY" po stronie DD, ale pojawiają się jako zwykłe umieszczenie po stronie ECS.
WIELE KOPII jest generowane tylko z DD podczas CT GC. Tworzą one jeden nowy obiekt w chmurze, odczytując bajt z istniejących obiektów w ECS. Wszystko to dzieje się w samym ECS.
Ma to następujące konsekwencje:
Niektóre operacje PUT wykonywane przez DD do ECS są specjalnym typem, zwanym "MULTI COPY" po stronie DD, ale pojawiają się jako zwykłe umieszczenie po stronie ECS.
WIELE KOPII jest generowane tylko z DD podczas CT GC. Tworzą one jeden nowy obiekt w chmurze, odczytując bajt z istniejących obiektów w ECS. Wszystko to dzieje się w samym ECS.
Ma to następujące konsekwencje:
- Podczas DD CT GC ECS w pewnym momencie widzi wiele operacji PUT (które są DD MULTI COPY). Jest to całkowicie oczekiwane i powoduje przejściowy wzrost wykorzystania pamięci masowej w ECS
- Po zakończeniu przesyłania kopii przez DD CT GC problemy z usunięciem do ECS i zaczyna zwalniać miejsce. Zwalnianie miejsca ecs na własnej pamięci masowej może być opóźnione ze względu na sposób działania ECS GC
- Może być trudno odróżnić PUT dla nowych danych od PUT dla DD CT GC. Jeśli potrzebna jest pomoc w tym zakresie, należy skontaktować się z działem pomocy technicznej ECS.
- MULTI COPY jest rozszerzeniem standardu S3 i występuje tylko w przypadku jednostek chmury opartych na ECS
- WIELE KOPII z prośbą o odczytanie ECS z istniejących obiektów w celu utworzenia nowego obiektu, może to spowodować awarie lub alerty uszkodzenia publikowane w DD. Oczekuje się, że wszystkie obiekty źródłowe istnieją w ECS. Jeśli nie, DD CT GC zatrzymuje się i zgłasza alerty dotyczące awarii DD CT GC, niepowodzenia sprawdzania integralności lub uszkodzenia. W takim przypadku skontaktuj się z działem pomocy technicznej DELL Data Domain.
- Nawet jeśli w ECS wdrożono rozszerzenia MULTI COPY, nie są one obsługiwane przez użytkowników IAM. Tylko (normalni) użytkownicy obiektów utworzonych z ECS mogą korzystać z rozszerzeń MULTI COPY. Jeśli profil chmury DD jest skonfigurowany z poświadczeniami użytkownika IAM lub zwykły użytkownik obiektu zostanie zmieniony na użytkownika IAM w późniejszym czasie, wszystko będzie działać prawidłowo na DD z ECS, z wyjątkiem czyszczenia. Ostatecznie zakończy się to niepowodzeniem z następującym alertem:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.