Het opsommen van S3-bucketobjecten wordt oneindig herhaald met behulp van API ListObjects of ListObjectsV2
Résumé: S3 App of s3cmd gebruikt S3 API listobject of listobjectv2 om query's uit te voeren op objecten uit s3 bucket, in een hoekgeval retourneert Powerscale OneFS s3 een verkeerd resultaat als dirCache er is, maar het verzoek niet vervult, de S3-app loopt vast omdat lijstobjecten een oneindige lus raken. ...
Cet article concerne
Cet article ne concerne pas
Cet article n’est associé à aucun produit spécifique.
Toutes les versions du produit ne sont pas identifiées dans cet article.
Symptômes
S3-app loopt gewoon vast vanwege het vermelden van een bucket die niet kan worden voltooid.
S3cmd ls bucket krijgt herhaaldelijk dezelfde objecten geretourneerd in een gepagineerde lijst.
S3cmd ls bucket krijgt herhaaldelijk dezelfde objecten geretourneerd in een gepagineerde lijst.
Cause
Dit kan een s3 cache-bug# PSCALE-217613 raken.
Als de klant ListObjects aanvraagt met een maximale invoer = 1000, krijgen we intern 10.000 vermeldingen (als de directory erg breed is) en sturen we er 1000 terug naar de client, waarna we de resterende 9000 hergebruiken voor toekomstige aanvragen. Bij het volgende verzoek, als er een cache is, en er zijn nog steeds bestanden in de map die nog niet zijn teruggestuurd naar de client, en de huidige cache heeft niet genoeg invoer om aan het verzoek te voldoen, dan vinden we een bug en retourneren we een verkeerd resultaat.
Résolution
Engineering werkt aan de permanente oplossing en de RUP-patch zal worden vrijgegeven zodra deze klaar is.
De huidige tijdelijke oplossing is om s3 ls tijdelijk DIR_CACHE_TTL op 0 te configureren:
De huidige tijdelijke oplossing is om s3 ls tijdelijk DIR_CACHE_TTL op 0 te configureren:
# isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Als het s3-proces opnieuw wordt gestart of een knooppunt opnieuw wordt opgestart, past u de tijdelijke oplossing opnieuw toe op het knooppunt, aangezien dit is teruggezet naar de standaardinstelling 1 uur wanneer s3 opnieuw is gestart.
Handmatig uitschakelen DIR_CACHE_TTL:
#isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"
Produits concernés
Isilon, PowerScalePropriétés de l’article
Numéro d’article: 000223936
Type d’article: Solution
Dernière modification: 11 juin 2024
Version: 3
Trouvez des réponses à vos questions auprès d’autres utilisateurs Dell
Services de support
Vérifiez si votre appareil est couvert par les services de support.