ECS: S3-bucketliste ved hjælp af sideinddeling til forbedring af ydeevnen

Dell Elastic Cloud Storage (ECS) sætter ikke en fast grænse for antallet af undermapper eller objekter i en bucket eller et præfiks. Ydeevnen kan dog forringes, når mange objekter (f.eks. tusinder) vises under et enkelt præfiks eller en enkelt "mappe" – især når du bruger S3-kompatible klienter.

Problemet med S3-spanden med 570.909 objekter angivet kan tage flere minutter. Dette gør det uoverskueligt at sammenligne med en NAS med den samme strukturliste er øjeblikkelig.  
Dette problem kan opfattes som præstationspåvirkende, idet opslag ser ud til timeout.

Forskel i, hvordan NAS og S3 håndterer filer

NAS har mapper i filsystemet som en struktur. Eksempel på strukturlayout:  

ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files. 

Når du åbner en undermappe, der for eksempel indeholder 8000 undermapper indeni, betyder det at åbne metadataene for de 8000 undermapper og returnere en øjeblikkelig liste. 

S3 begrebet mapper eksisterer ikke, hvilket betyder, i stedet for at have et træ:

 ROOT /
-> Subfolder l1
-> Subfolder l2  ... lX
-> Files.

Har kun en STI: -

PATH:bucket/subfolder-l1/subfolder-l2/FILE

Nu påvirkes ydeevnen mere af den måde, mapperne er angivet på. Eksempel på 20 mapper med 8000 undermapper med hver 10.000 objekter:
 

get "/bucket?prefix=/subfolder-l1/subfolder-2/&delimter=/"

Da begrænsning ned på listen behøver alle objekter, der er angivet med en fælles streng, ikke at foretage nogen gruppering, og listen over 10.000 elementer returneres hurtigere.

GET "bucket?prefix=/subfolder-l1&delimiter=/"

I dette tilfælde skal ECS nu køre over alle 8000 * 10000 objekter for at gruppere de "almindelige præfikser" med andre ord "undermapper-l2"
Så i stedet for at kontrollere 10,000 objekter, skal du nu vente på, at ECS verificerer 80 millioner objekter.

Forbedre listens ydeevne brug paginering, eksempel S3Broswer Enable Bucket Pagination (aktiver lignende funktioner i andre klientprogrammer)

Aktivér følgende indstilling i S3Browser ->Funktioner ->Indstillinger ->Interface ->Aktivér bucket-paginering med sidestørrelse:

 Processen med at sende efterfølgende anmodninger for at fortsætte, hvor en tidligere anmodning slap, kaldes paginering. Sideinddelingsfunktionen hjælper dig med at administrere og se store bucketlister ved at opdele dem i mere håndterbare sider. Det gør det muligt at angive den specifikke mappesti i stedet for alle objekter i en bucket.