listar S3-bucket-objekt oändligt med API ListObjects eller ListObjectsV2

Resumen: S3-appen eller s3cmd använder S3 API listobject eller listobjectv2 för att fråga objekt från s3-bucketen, i något hörnfall returnerar Powerscale OneFS s3 fel resultat om dirCache finns där men den inte uppfyller begäran, S3-appen hänger sig på grund av att listobjekt träffar oändlig loop. ...

Este artículo se aplica a Este artículo no se aplica a Este artículo no está vinculado a ningún producto específico. No se identifican todas las versiones del producto en este artículo.
Consulte estos recursos

Síntomas

S3-appen hänger sig bara på grund av att listan över en hink inte kan slutföras.
S3cmd ls bucket får upprepade gånger samma objekt returnerade i en sidnumrerad lista.

Causa

Detta kan leda till en s3-cachebugg# PSCALE-217613. 
 
Om klienten begär ListObjects med max entry = 1000 internt får vi 10 000 poster (om katalogen är mycket bred) och returnerar 1000 av dem till klienten och återanvänder sedan återstående 9000 för framtida begäran. Vid nästa begäran, om det finns en cache och det fortfarande finns filer under katalogen som ännu inte har returnerats till klienten, och den aktuella cachen inte har tillräckligt med post för att uppfylla begäran, träffar vi en bugg och returnerar fel resultat.

Resolución

Teknikerna arbetar med den permanenta korrigeringen och RUP-patchen kommer att släppas när den är klar. 
Den aktuella lösningen är att konfigurera s3 ls DIR_CACHE_TTL till 0 tillfälligt:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

Om s3-processen startas om eller om en nod startas om tillämpar du lösningen igen på noden eftersom den har återställts till standardvärdet 1 timme när s3 startades om. 
För att stänga av manuellt DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Productos afectados

Isilon, PowerScale
Propiedades del artículo
Número del artículo: 000223936
Tipo de artículo: Solution
Última modificación: 11 jun 2024
Versión:  3
Encuentre respuestas a sus preguntas de otros usuarios de Dell
Servicios de soporte
Compruebe si el dispositivo está cubierto por los servicios de soporte.