liste S3 bøtte objekter løkker uendelig ved hjelp av API ListObjects eller ListObjectsV2

摘要: S3 App eller s3cmd bruker S3 API listobject eller listobjectv2 til å spørre objekter fra s3-bøtte, i noen hjørnetilfeller returnerer Powerscale OneFS s3 feil resultat hvis dirCache er der, men det oppfyller ikke forespørselen, S3-appen henger på grunn av listeobjekter som treffer uendelig løkke. ...

本文适用于 本文不适用于 本文并非针对某种特定的产品。 本文并非包含所有产品版本。
查看其他资源

症状

S3 App bare henger på grunn av notering en bøtte kan ikke fullføre.
S3cmd ls bøtte gjentatte ganger få de samme objektene returnert i en paginert liste.

原因

Dette kan treffe en s3 cache bug # PSCALE-217613. 
 
Hvis klienten ber ListObjects med maks oppføring = 1000, internt får vi 10.000 oppføringer (hvis katalogen er svært bred) og returnere 1000 av dem til klienten, og deretter gjenbruke resterende 9000 for fremtidig forespørsel. På neste forespørsel, hvis det er en cache, og det fortsatt er filer under katalogen som ennå ikke er returnert til klienten, og gjeldende cache ikke har nok oppføring for å oppfylle forespørselen, treffer vi en feil og returnerer feil resultat.

解决方案

Teknisk avdeling jobber med den permanente løsningen, og RUP-oppdateringen vil bli lansert når den er klar. 
Den nåværende løsningen er å konfigurere s3 ls DIR_CACHE_TTL til 0 midlertidig:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

Hvis s3-prosessen starter på nytt eller en node startes på nytt, må du bruke løsningen på noden siden den har blitt tilbakestilt til standard 1 time da s3 startet på nytt. 
Slik deaktiverer du manuell DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

受影响的产品

Isilon, PowerScale
文章属性
文章编号: 000223936
文章类型: Solution
上次修改时间: 11 6月 2024
版本:  3
从其他戴尔用户那里查找问题的答案
支持服务
检查您的设备是否在支持服务涵盖的范围内。