ECS: Lista de depósitos de S3 mediante paginación para mejorar el rendimiento

Dell Elastic Cloud Storage (ECS) no impone un límite máximo en la cantidad de subcarpetas u objetos dentro de un depósito o prefijo. Sin embargo, la degradación del rendimiento puede ocurrir cuando se enumeran muchos objetos (como miles) en un solo prefijo o "carpeta", especialmente cuando se utilizan clientes compatibles con S3.

El problema con el depósito de S3 con 570 909 objetos enumerados puede tardar varios minutos. Esto lo hace inmanejable en comparación con un NAS con la misma estructura; el listado es instantáneo.  
Este problema puede verse como un impacto en el rendimiento con listados que parecen agotar el tiempo de espera.

Diferencia en la manera en que NAS y S3 manejan los archivos

NAS tiene carpetas en el sistema de archivos como estructura. Ejemplo de diseño de estructura:  

ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files. 

Al abrir una subcarpeta que contiene, por ejemplo, 8000 subcarpetas dentro, significa abrir los metadatos de las 8000 subcarpetas, devolviendo una lista instantánea. 

S3 el concepto de carpetas no existe lo que significa, en lugar de tener un árbol:

 ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files.

Solo tiene una RUTA:-

PATH:bucket/subfolder-l1/subfolder-l2/FILE

Ahora, el rendimiento se ve más afectado por la forma en que se enumeran las carpetas. Ejemplo de 20 carpetas con 8000 subcarpetas con 10 000 objetos cada una:
 

get "/bucket?prefix=/subfolder-l1/subfolder-2/&delimter=/"

Dado que al limitar la lista, todos los objetos indicados con una cadena común no tendrán que hacer ninguna agrupación y la lista de 10.000 elementos se devuelve más rápido.

GET "bucket?prefix=/subfolder-l1&delimiter=/"

En este caso, ECS ahora debe ejecutar todos los 8000*10000 objetos para agrupar los "prefijos comunes", es decir, las "subcarpetas-l2".
En lugar de comprobar 10 000 objetos, ahora debe esperar a que ECS verifique 80 millones de objetos.

Mejorar el rendimiento de la lista, usar paginación, por ejemplo, S3Broswer Habilitar paginación de depósitos (habilitar funciones similares en otras aplicaciones cliente)

Habilite la siguiente opción en S3Browser ->Tools ->Options ▸>Interface ->Enable bucket pagination with page size:

 El proceso de enviar solicitudes posteriores para continuar donde se detuvo una solicitud anterior se denomina paginación. La función de paginación lo ayuda a administrar y ver listas de depósitos grandes dividiéndolas en páginas más fáciles de manejar. Permite enumerar la ruta de directorio específica en lugar de todos los objetos de un depósito.