ECS: Elenco di bucket S3 utilizzando l'impaginazione per migliorare le prestazioni

Dell Elastic Cloud Storage (ECS) non impone un limite rigido al numero di sottocartelle o oggetti all'interno di un bucket o di un prefisso. Tuttavia, quando si elencano molti oggetti (ad esempio migliaia) in un unico prefisso o "cartella", le prestazioni possono peggiorare, in particolare quando si utilizzano client compatibili con S3.

Il problema con il bucket S3 con 570.909 object elencati può richiedere diversi minuti. Questo lo rende ingestibile rispetto a un NAS con la stessa struttura; l'elenco è istantaneo.  
Questo problema può essere visto come un impatto sulle prestazioni con le inserzioni che sembrano scadere.

Differenza nel modo in cui NAS e S3 gestiscono i file

NAS dispone di cartelle nel file system come struttura. Esempio di layout della struttura:  

ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files. 

Aprire una sottocartella contenente ad esempio 8000 sottocartelle al suo interno, significa aprire i metadati per le 8000 sottocartelle, restituendo un elenco istantaneo. 

In S3 il concetto di cartelle non esiste, il che significa che, invece di avere una struttura ad albero:

 ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files.

Avere solo un PERCORSO:-

PATH:bucket/subfolder-l1/subfolder-l2/FILE

Ora le prestazioni sono maggiormente influenzate dal modo in cui vengono elencate le cartelle. Esempio di 20 cartelle con 8.000 sottocartelle con 10.000 object ciascuna:
 

get "/bucket?prefix=/subfolder-l1/subfolder-2/&delimter=/"

Dal momento che si limita l'elenco, tutti gli oggetti indicati con una stringa comune non dovranno eseguire alcun raggruppamento e l'elenco di 10.000 elementi verrà restituito più velocemente.

GET "bucket?prefix=/subfolder-l1&delimiter=/"

In questo caso, ECS deve ora eseguire tutti gli 8000*10000 oggetti per raggruppare i "prefissi comuni", in altre parole le "sottocartelle-l2",
quindi invece di controllare 10.000 oggetti, è necessario attendere che ECS verifichi 80 milioni di oggetti.

Migliorare le prestazioni delle inserzioni, utilizzare l'impaginazione, ad esempio S3Broswer Enable Bucket Pagination (abilitare funzionalità simili in altre applicazioni client)

Abilitare la seguente opzione in S3Browser ->Tools ->Options ->Interface ->Enable bucket pagination with page size:

 Il processo di invio di richieste successive per continuare dal punto in cui si è interrotta una richiesta precedente è chiamato impaginazione. La funzione di impaginazione consente di gestire e visualizzare elenchi di bucket di grandi dimensioni suddividendoli in pagine più gestibili. Consente di elencare il percorso di directory specifico anziché tutti gli oggetti in un bucket.