Data Domain: ECS를 Cloud Tier로 사용할 때 "MULTI COPY" 작업

Dell ECS는 DD Cloud Tier 옵션(장기간 보존, LTR)을 사용하는 클라우드 공급업체로 사용될 수 있습니다. DD LTR에 대한 자세한 내용은 Dell KB 문서 23144, DDR(Data Domain Restorer) 및 클라우드로의 LTR(Long Term Retention)을 참조하십시오. 자주 묻는 질문(FAQ/FAQ)

ECS 및 퍼블릭 클라우드 공급업체(예: AWS, Azure 및 GCP)는 사소한 구현 세부 정보를 제외하고 동일한 방식으로 작동합니다. ECS 클라우드가 로컬이고 고객이 소유하므로 ECS에서 Cloud Tier 정리가 다르게 작동하므로 다음을 수행합니다.

• 퍼블릭 클라우드 공급업체보다 레이턴시 및 성능이 더 빠름
• 사용자는 ECS에서 대역폭을 사용하거나 작업을 실행할 때 추가 비용이 발생하지 않습니다.
• ECS는 DELL에서 개발하며 S3 프로토콜 표준을 확장합니다. 이를 통해 퍼블릭 클라우드 공급업체보다 Cloud Tier 정리를 더 효율적으로 실행할 수 있습니다.

ECS에는 "Copy Range"라는 S3 확장이 구현되어 있습니다. 멀티 카피와 같은 다른 장소에서 볼 수 있습니다.
이는 S3 표준에 없는 확장 헤더 세트이므로 ECS에서만 지원됩니다. 이를 통해 ECS는 기존 오브젝트에서 바이트 범위를 가져와 새 오브젝트를 생성할 수 있습니다. 모든 작업은 클라이언트가 아닌 ECS를 통해 수행됩니다.

ECS에서만 지원되는 이 비표준 작업은 Cloud Tier clean "copy" 단계 중에만 DD에서 사용됩니다. DD는 활성 계층에서 실행되는 것과 동일한 방식으로 ECS 기반 클라우드 유닛에서 GC(Garbage Collection)를 실행할 수 있습니다(사용되지 않은 공간을 재확보하는 데 더 효과적임).
데이터 이동(PUT 사용) 중이나 클라우드 유닛에서 데이터를 리콜하거나 읽을 때(GET 사용 시) 새 데이터를 클라우드에 쓸 때 사용되지 않습니다.

Copy Range/MULTI COPY는 S3 프로토콜의 확장이기 때문에 새로운 방법이 아닙니다.
Copy Range/MULTI COPY는 PUT 호출에 추가되는 새 헤더 세트입니다. ECS는 이를 해석하는 방법을 알고 있지만 다른 클라우드 구현은 알 수 없습니다.

DD에는 PUT 대신 MULTI COPY가 보고되는 위치가 있습니다. 이는 일반 PUT(데이터 이동 중 클라우드에 데이터를 쓰는 데 사용됨)를 CT GC 중에 생성되는 PUT와 분리하는 것입니다(즉, 멀티 카피라고 하지만 두드림 아래에 배치됨).

예를 들어 7일 간격으로 고객에게 다음과 같은 값이 보고되는 것을 볼 수 있습니다.

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DD는 PUT, GET, DELETE, MULTI COPY 및 LIST에 대해 완료된 작업의 양을 보고합니다.
멀티 카피는 유효한 S3 방법이 아니며 ECS에도 해당되지 않습니다. 멀티 카피는 ECS로 작업을 실행할 때 DD가 추가한 특수 헤더와 함께 PUT입니다.

ECS 측에서 확인할 때 고객 및 ECS 지원 부서에 "MULTI COPY" 작업이 전혀 표시되지 않습니다. 

해당하는 경우 PUT, GET, DELETE 및 LIST만 표시됩니다. DD는 클라우드로 데이터 이동을 수행할 때 PUT를 별도로 보고합니다. DD는 멀티 복제본(CT GC 중에 생성된 PUT)을 보고하여 클라우드의 기존 오브젝트에서 읽은 바이트 범위에서 새 오브젝트를 생성합니다.

이러한 이유로 고객과 ECS 지원 부서는 DD CT GC 중에 DD에서 PUT가 실행되고 있음을 확인합니다. 이는 새 데이터(DD에서 데이터 이동)로 오해될 수 있지만 지속적인 DD CT GC(MULTI COPY, 즉 특수 매개변수를 사용한 PUT)로 인해 발생할 수 있습니다.

DD 통계에 기록된 각 MULTI COPY 작업은 ECS 측에 기록된 하나의 PUT 작업만 발생합니다.

DD CT GC 중에 프로세스는 "백그라운드 삭제" 단계로 들어갑니다. 
DD CT GC가 MULTI COPY를 사용하여 모든 복제본 전달을 마무리한 경우입니다. 이제 ECS에서 읽은 바이트 범위의 모든 소스 객체를 삭제하도록 요청합니다.
위의 통계에서 한 주 동안의 DELETE 양은 결합된 새 객체 수(새 데이터의 경우 PUT, CT GC 중 복제본 전달의 경우 MULTI COPY)를 능가합니다.
이 경우 클라우드 계층

에서 공간의 순이익이 증가합니다. 이 예에서는 ECS 기반 클라우드 유닛의 일반적인 오브젝트 크기와 20TiB를 초과하는 557,408 + 18,453,552 - 25,148,128 = -6,137,168입니다.

이는 예상된 동작입니다.

DD에서 ECS로 수행하는 일부 PUT 작업은 DD 측에서 "MULTI COPY"라고 하는 특수 유형이지만 ECS 측에서 일반 PUT로 나타납니다.

다중 복제본은 CT GC 중에 DD에서만 생성됩니다. ECS의 기존 오브젝트에서 바이트 범위를 읽어 클라우드에 새 오브젝트를 하나 생성합니다. 이 모든 일은 ECS 자체에서 발생합니다.
이로 인해 다음과 같은 결과가 발생합니다.

• DD CT GC 중에 ECS에서 많은 PUT 작업(DD MULTI COPY)이 표시됩니다. 이는 완벽하게 예상되며 ECS에서 스토리지 사용량이 일시적으로 증가합니다.
• DD CT GC가 복제본 전달을 완료한 후 ECS에 DELETE를 발행하고 공간을 확보하기 시작합니다. ECS GC의 작동 방식 때문에 ECS가 자체 스토리지에서 공간을 확보하지 못할 수 있음
• DD CT GC의 PUT와는 별도로 새 데이터에 대한 PUT를 구분하기 어려울 수 있습니다. 이에 대한 지원이 필요한 경우 ECS 지원 부서에 문의하십시오.
• MULTI COPY는 S3 표준의 확장이며 ECS 기반 클라우드 유닛에서만 수행됩니다.
• ECS가 기존 오브젝트에서 읽어 새 오브젝트를 생성하도록 요청하는 멀티 복제본으로 인해 장애 또는 손상 알림이 DD에 게시될 수 있습니다. ECS에는 모든 소스 객체가 존재할 것으로 기대됩니다. 그렇지 않은 경우 DD CT GC가 중지되고 DD CT GC 장애, 무결성 검사 실패 또는 손상에 대한 알림이 보고됩니다. 이 경우 DELL Data Domain 지원 부서에 문의하십시오.
• ECS에서 멀티 카피 확장이 구현되더라도 IAM 사용자에게는 지원되지 않습니다. ECS에서 생성된 (일반) 오브젝트 사용자만 MULTI COPY 확장을 사용할 수 있습니다. DD 클라우드 프로필이 IAM 사용자 자격 증명으로 구성되었거나 일반 오브젝트 사용자가 나중에 IAM 사용자로 변경된 경우 정리를 제외하고 ECS를 사용하는 DD에서 모든 것이 정상적으로 작동합니다. 이 오류는 결국 다음 알림으로 실패합니다.

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API