liste S3 bøtte objekter løkker uendelig ved hjelp av API ListObjects eller ListObjectsV2

Samenvatting: S3 App eller s3cmd bruker S3 API listobject eller listobjectv2 til å spørre objekter fra s3-bøtte, i noen hjørnetilfeller returnerer Powerscale OneFS s3 feil resultat hvis dirCache er der, men det oppfyller ikke forespørselen, S3-appen henger på grunn av listeobjekter som treffer uendelig løkke. ...

Dit artikel is van toepassing op Dit artikel is niet van toepassing op Dit artikel is niet gebonden aan een specifiek product. Niet alle productversies worden in dit artikel vermeld.
Bekijk andere hulpbronnen

Symptomen

S3 App bare henger på grunn av notering en bøtte kan ikke fullføre.
S3cmd ls bøtte gjentatte ganger få de samme objektene returnert i en paginert liste.

Oorzaak

Dette kan treffe en s3 cache bug # PSCALE-217613. 
 
Hvis klienten ber ListObjects med maks oppføring = 1000, internt får vi 10.000 oppføringer (hvis katalogen er svært bred) og returnere 1000 av dem til klienten, og deretter gjenbruke resterende 9000 for fremtidig forespørsel. På neste forespørsel, hvis det er en cache, og det fortsatt er filer under katalogen som ennå ikke er returnert til klienten, og gjeldende cache ikke har nok oppføring for å oppfylle forespørselen, treffer vi en feil og returnerer feil resultat.

Oplossing

Teknisk avdeling jobber med den permanente løsningen, og RUP-oppdateringen vil bli lansert når den er klar. 
Den nåværende løsningen er å konfigurere s3 ls DIR_CACHE_TTL til 0 midlertidig:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

Hvis s3-prosessen starter på nytt eller en node startes på nytt, må du bruke løsningen på noden siden den har blitt tilbakestilt til standard 1 time da s3 startet på nytt. 
Slik deaktiverer du manuell DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Getroffen producten

Isilon, PowerScale
Artikeleigenschappen
Artikelnummer: 000223936
Artikeltype: Solution
Laatst aangepast: 11 jun. 2024
Versie:  3
Vind antwoorden op uw vragen via andere Dell gebruikers
Support Services
Controleer of uw apparaat wordt gedekt door Support Services.