PowerScale: Listando loops de objetos de bucket do S3 infinitamente ao usar a API ListObjects

Samenvatting: O aplicativo S3 ou o comando do S3 usa listobject ou listobjectv2 da API do S3 para consultar objetos do bucket do S3. Em alguns casos, o PowerScale OneFS S3 retornará o resultado errado se o dirCache estiver lá, mas ele não atender à solicitação. O aplicativo S3 para de responder porque listar objetos que apresentam um loop infinito. ...

Dit artikel is van toepassing op Dit artikel is niet van toepassing op Dit artikel is niet gebonden aan een specifiek product. Niet alle productversies worden in dit artikel vermeld.
Bekijk andere hulpbronnen

Symptomen

O aplicativo S3 para de responder porque lista um bucket que não é concluído.

Comando S3 ls O bucket obtém repetidamente os mesmos objetos retornados em uma lista paginada.

Oorzaak

Isso pode apresentar um problema de cache do S3. 
 
Se o cliente solicitar ListObjects Com o máximo de entradas = 1000, internamente podemos obter 10.000 entradas (se o diretório for amplo), mas retornar apenas 1.000 delas ao client, reutilizando as 9000 restantes para uma solicitação futura. Na próxima solicitação, se houver um cache, e ainda houver arquivos no diretório que ainda não foram retornados ao client, e o cache atual não tiver entradas suficientes para atender à solicitação, ocorrerá o problema e os resultados errados serão retornados.

Oplossing

A engenharia da Dell está trabalhando em uma resolução permanente para esse problema. Espera-se que um patch roll-up patch (RUP) seja lançado.

A solução temporária atual é configurar o S3 ls DIR_CACHE_TTL a 0 temporariamente: 
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Se o processo do S3 for reiniciado ou um nó for reinicializado, aplique a solução temporária novamente no nó, pois ele foi revertido para o padrão de uma hora quando o S3 foi reiniciado.

Para manual DIR_CACHE_TTL: 
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Getroffen producten

Isilon, PowerScale
Artikeleigenschappen
Artikelnummer: 000223936
Artikeltype: Solution
Laatst aangepast: 07 apr. 2026
Versie:  4
Vind antwoorden op uw vragen via andere Dell gebruikers
Support Services
Controleer of uw apparaat wordt gedekt door Support Services.