Data Domain：ECSをクラウド階層として使用する場合の「MULTI COPY」操作

DELL ECSは、DD Cloud Tierオプション(長期保存、LTR)を使用するクラウド プロバイダーとして使用できます。DD LTRの詳細については、Dell KB記事23144「 Data Domain Restorer(DDR)およびクラウドへのLTR(長期保存) 」を参照してください。よくあるお問い合わせ(FAQ/FAQ)

ECSとパブリック クラウド プロバイダー(AWS、Azure、GCPなど)は、小規模な実装の詳細を除き、まったく同じ方法で動作します。Cloud Tierは、ECSクラウドがローカルであり、お客様が所有しているため、ECSで作業をクリーンアップする方法が異なるため、次のようになります。

• レイテンシーとパフォーマンスはパブリック クラウド プロバイダーよりも高速
• 帯域幅を消費したり、ECSで操作を実行したりする際に、ユーザーに追加の費用は発生しません。
• ECSはデルによって開発され、S3プロトコル標準に拡張されています。これにより、パブリック クラウド プロバイダーよりも効率的にCloud Tierを実行できます。

ECSには、「コピー範囲」と呼ばれるS3拡張機能が実装されています。これは、マルチコピーなどの他の場所で見られる場合があります。
これは拡張ヘッダーのセットであり、S3標準には存在せず、ECSでのみサポートされています。これにより、ECSは既存のオブジェクトからバイト範囲を取得して新しいオブジェクトを作成できます。すべての作業は、クライアントではなくECSを介して行われます。

ECSによってのみサポートされるこの非標準操作は、クラウド階層のクリーンな「コピー」フェーズ中にのみDDによって使用されます。これにより、DDはアクティブ階層上で実行されるのと同じ方法で、ECSベースのクラウド ユニット上でGC(ガベージ コレクション)を実行できます(未使用領域の再利用により効果的)。
データ移動中(PUTを使用)にクラウドに新しいデータを書き込む場合や、クラウド ユニットからデータをリコールまたは読み取る場合(GETを使用する場合)には使用されません。

Copy Range/MULTI COPYは、S3プロトコルの拡張機能であり、新しい方法ではありません。
コピー範囲/MULTI COPYは、PUT呼び出しに追加される新しいヘッダーのセットです。ECSは、これを解釈する方法を認識していますが、他のクラウド実装は認識していません。

DDには、PUTではなくマルチ コピーが報告される場所があります。これは、通常のPUT(データ移動中にクラウドにデータを書き込む際に使用)を、CT GC中に生成されたもの(いわゆるマルチ コピーですが、内部

に配置される)から分離するためです。例として、7日離れたお客様に対して次の値が報告されている場合があります。

GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023                       ||  GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023
                                                                 ||  
Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0   ||  Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0
        Number of PUT object requests         : 1881             ||          Number of PUT object requests         : 559289     +    557,408 PUT
        Number of GET object requests         : 51               ||          Number of GET object requests         : 51         +          0 GET
        Number of DELETE object requests      : 1026             ||          Number of DELETE object requests      : 25149154   + 25,148,128 DELETE
        Number of MULTI COPY object requests  : 0                ||          Number of MULTI COPY object requests  : 18453552   + 18,453,552 MULTI COPY
        Number of LIST object requests        : 105847           ||          Number of LIST object requests        : 105847     +          0 LIST

DDは、PUT、GET、DELETE、MULTI COPY、LISTに対して完了した操作の量をレポートします。
MULTI COPYは有効なS3メソッドではなく、ECSでも使用できません。MULTI COPYは、ECSを使用して操作を実行するときに、DDによって追加された特別なヘッダーを使用して実際にPUTされます。

ECS側で確認すると、お客様とECSサポートに「MULTI COPY」操作はまったく表示されません。

該当する場合、PUT、GET、DELETE、LISTのみが表示されます。DDは、クラウドへのデータ移動を行う際に、個別にPUTをレポートします。DDはマルチ コピー(CT GC中に生成されるPUT)をレポートし、クラウド内の既存のオブジェクトから読み取ったバイト範囲から新しいオブジェクトを作成します。

このため、お客様とECSサポートは、DD CT GC中にPUTがDDから実行されていることを確認します。これは、新しいデータ(DDからのデータ移動)と誤解される可能性がありますが、進行中のDD CT GC(MULTI COPY、つまり特別なパラメーターを使用したPUT)

が原因である可能性があります。DD統計に記録された各MULTI COPY操作は、ECS側に1つだけのPUT操作を記録します。

DD CT GC中、プロセスは「バックグラウンド削除」のフェーズに入ります。
これは、DD CT GCがMULTI COPYを使用してすべてのコピー フォワードをファイナライズした場合です。これで、バイト範囲を読み取るすべてのソース オブジェクトを削除するようECSに要求するようになりました。
上記の統計では、週中のDELETEの量は、新しいオブジェクト(新しいデータの場合はPUT、CT GC中のコピー フォワードの場合はMULTI COPY)の組み合わせ数を上回ります。
これにより、クラウド階層

のスペースが正味に増加します。この例では、ECSベースのクラウド ユニットの通常のオブジェクト サイズで、557,408 + 18,453,552 - 25,148,128 = -6,137,168以上の圧縮後です。

これは予期された動作です。

DDからECSに対して実行される一部のPUT操作は、DD側では「MULTI COPY」と呼ばれる特殊なタイプですが、ECS側では通常のPUTとして表示されます。

MULTI COPYは、CT GC中にDDからのみ生成されます。ECS内の既存のオブジェクトからバイト範囲を読み取ることによって、クラウドに単一の新しいオブジェクトを作成します。これはすべてECS内で発生します。
これにより、次の結果が発生します。

• DD CT GC中、ある時点でECSは多くのPUT操作(DD MULTI COPY)を確認します。これは完全に想定されており、ECSでのストレージ使用量が一時的に増加する原因となります。
• DD CT GCがコピー転送を完了すると、ECSにDELETEが発行され、領域の解放が開始されます。ECS GCの仕組みにより、ECSが独自のストレージ上の領域を解放することが遅れる可能性がある
• PUT for DD CT GCとは別に、PUTに新しいデータを伝えることは困難な場合があります。サポートが必要な場合は、ECSサポートに問い合わせてください。
• MULTI COPYはS3標準の拡張であり、ECSベースのクラウド ユニットでのみ実行されます。
• MULTI COPYは、ECSに既存のオブジェクトからの読み取りを要求して新しいオブジェクトを作成すると、DDに障害または破損アラートが投稿される可能性があります。すべてのソース オブジェクトがECSに存在することが期待されます。そうでない場合、DD CT GCは停止し、DD CT GCの障害、整合性チェックの失敗、または破損に関するアラートを報告します。この場合は、Dell Data Domainサポートにお問い合わせください。
• MULTI COPY拡張機能がECSに実装されている場合でも、IAMユーザーではサポートされません。MULTI COPY拡張機能を使用できるのは、ECSから作成された(通常の)オブジェクト ユーザーのみです。DDクラウド プロファイルがIAMユーザーの認証情報を使用して構成されている場合、または通常のオブジェクト ユーザーが後でIAMユーザーに変更された場合、クリーンを除き、ECSを使用したDDではすべてが正常に動作します。これは最終的に次のアラートで失敗します。

Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API