ECS：パフォーマンスを向上させるためのページネーションを使用したS3バケット リスト

Dell Elastic Cloud Storage (ECS)では、バケットまたはプレフィックス内のサブフォルダーまたはオブジェクトの数にハード制限は設けられません。ただし、1つのプレフィックスまたは「フォルダー」の下に多数のオブジェクト(数千個など)を一覧表示すると、特にS3互換クライアントを使用している場合は、パフォーマンスが低下する可能性があります。

570,909個のオブジェクトがリストされているS3バケットの問題には数分かかる場合があります。これにより、同じ構造のリストを持つNASとの比較は瞬時に管理できなくなります。  
この問題は、リストがタイムアウトしているように見えるため、パフォーマンスに影響を与えると見なされる場合があります。

NASとS3によるファイルの処理方法の違い

NASには、ファイル システムに構造としてのフォルダーがあります。構造レイアウトの例:  

ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files. 

たとえば、内部に8000のサブフォルダーを含むサブフォルダーを開くと、8000のサブフォルダーのメタデータが開き、インスタントリストが返されます。 

S3には、ツリーの代わりに、フォルダーの概念が存在しません。

 ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files.

PATHのみがあります:-

PATH:bucket/subfolder-l1/subfolder-l2/FILE

パフォーマンスは、フォルダーの表示方法によってより大きく影響を受けます。それぞれ10,000個のオブジェクトを持つ8,000個のサブフォルダーを含む20個のフォルダーの例:
 

get "/bucket?prefix=/subfolder-l1/subfolder-2/&delimter=/"

リストを絞り込むため、共通の文字列で示されたすべてのオブジェクトはグループ化を行う必要がなく、10,000 個のアイテムのリストがより速く返されます。

GET "bucket?prefix=/subfolder-l1&delimiter=/"

この場合、ECSは8,000*10,000個のオブジェクトすべてに対して、「共通プレフィックス」、つまり「subfolders-l2」をグループ化する必要があります
そのため、10,000個のオブジェクトをチェックする代わりに、ECSが8,000万個のオブジェクトを検証するまで待つ必要があります。

リストのパフォーマンスを向上させる ページネーションを使用する(例:S3Broswer) バケットのページネーションを有効にする(他のクライアント アプリケーションで同様の機能を有効にする)

S3Browser ->Tools ->Options ->Interface ->Enable bucket pagination with page sizeで次のオプションを有効にします。

 前の要求が中断したところから続行するために後続の要求を送信するプロセスは、改ページ化と呼ばれます。ページネーション機能は、大規模なバケット リストをより管理しやすいページに分割することで、それらを管理および表示するのに役立ちます。これにより、バケット内のすべてのオブジェクトではなく、特定のディレクトリー パスを一覧表示できます。