ECS: 성능 향상을 위해 페이지 매김을 사용한 S3 버킷 나열

Dell ECS(Elastic Cloud Storage)는 버킷 또는 접두사 내의 하위 폴더 또는 오브젝트 수에 고정적 제한을 두지 않습니다. 그러나 단일 접두사 또는 "폴더" 아래에 많은 오브젝트(예: 수천 개)를 나열하는 경우, 특히 S3 호환 클라이언트를 사용하는 경우 성능이 저하될 수 있습니다.

570,909개의 오브젝트가 나열된 S3 버킷의 문제는 몇 분 정도 걸릴 수 있습니다. 이것은 동일한 구조를 가진 NAS와 비교할 수 없게 만듭니다 목록은 즉각적입니다.  
이 문제는 목록이 시간 초과된 것처럼 보일 때 성능에 영향을 미치는 것으로 나타날 수 있습니다.

NAS와 S3의 파일 처리 방식 차이

NAS에는 파일 시스템에 구조로서 폴더가 있습니다. 구조 레이아웃의 예:  

ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files. 

예를 들어 내부에 8000개의 하위 폴더가 포함된 하위 폴더를 열 때 8000개의 하위 폴더에 대한 메타데이터를 열어 인스턴트 목록을 반환하는 것을 의미합니다. 

S3 폴더의 개념은 존재하지 않으며, 이는 트리가 있는 대신 다음을 의미합니다.

 ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files.

경로만 있습니다.

PATH:bucket/subfolder-l1/subfolder-l2/FILE

이제 폴더가 나열되는 방식에 따라 성능이 더 큰 영향을 받습니다. 각각 10,000개의 오브젝트가 있는 8,000개의 하위 폴더가 있는 20개의 폴더의 예:
 

get "/bucket?prefix=/subfolder-l1/subfolder-2/&delimter=/"

목록을 제한하기 때문에 공통 문자열로 표시된 모든 개체는 그룹화를 수행할 필요가 없으며 10,000개 항목 목록이 더 빨리 반환됩니다.

GET "bucket?prefix=/subfolder-l1&delimiter=/"

이 경우 ECS는 이제 모든 8000*10000 오브젝트를 실행하여 "공통 접두사", 즉 "subfolders-l2"
를 그룹화해야 하므로 10,000개의 오브젝트를 확인하는 대신 ECS가 8,000만 개의 오브젝트를 확인할 때까지 기다려야 합니다.

목록 성능 향상 페이지 매김 사용, 예: S3Broswer Enable Bucket Pagination (다른 클라이언트 애플리케이션에서 유사한 기능 사용)

S3Browser ->Tools ->Options ->Interface ->Enable bucket pagination with page size에서 다음 옵션을 활성화합니다.

 이전 요청이 중단된 위치에서 계속하기 위해 후속 요청을 보내는 프로세스를 페이지 매김이라고 합니다. 페이지 매김 기능을 사용하면 대용량 버킷 목록을 보다 관리하기 쉬운 페이지로 나누어 관리하고 볼 수 있습니다. 이렇게 하면 버킷의 모든 오브젝트가 아닌 특정 디렉토리 경로를 나열할 수 있습니다.