listar S3-bucket-objekt oändligt med API ListObjects eller ListObjectsV2

Сводка: S3-appen eller s3cmd använder S3 API listobject eller listobjectv2 för att fråga objekt från s3-bucketen, i något hörnfall returnerar Powerscale OneFS s3 fel resultat om dirCache finns där men den inte uppfyller begäran, S3-appen hänger sig på grund av att listobjekt träffar oändlig loop. ...

Данная статья применяется к Данная статья не применяется к Эта статья не привязана к какому-либо конкретному продукту. В этой статье указаны не все версии продуктов.
Ознакомьтесь с другими ресурсами

Симптомы

S3-appen hänger sig bara på grund av att listan över en hink inte kan slutföras.
S3cmd ls bucket får upprepade gånger samma objekt returnerade i en sidnumrerad lista.

Причина

Detta kan leda till en s3-cachebugg# PSCALE-217613. 
 
Om klienten begär ListObjects med max entry = 1000 internt får vi 10 000 poster (om katalogen är mycket bred) och returnerar 1000 av dem till klienten och återanvänder sedan återstående 9000 för framtida begäran. Vid nästa begäran, om det finns en cache och det fortfarande finns filer under katalogen som ännu inte har returnerats till klienten, och den aktuella cachen inte har tillräckligt med post för att uppfylla begäran, träffar vi en bugg och returnerar fel resultat.

Разрешение

Teknikerna arbetar med den permanenta korrigeringen och RUP-patchen kommer att släppas när den är klar. 
Den aktuella lösningen är att konfigurera s3 ls DIR_CACHE_TTL till 0 tillfälligt:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

Om s3-processen startas om eller om en nod startas om tillämpar du lösningen igen på noden eftersom den har återställts till standardvärdet 1 timme när s3 startades om. 
För att stänga av manuellt DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Затронутые продукты

Isilon, PowerScale
Свойства статьи
Номер статьи: 000223936
Тип статьи: Solution
Последнее изменение: 11 Jun 2024
Версия:  3
Получите ответы на свои вопросы от других пользователей Dell
Услуги технической поддержки
Проверьте, распространяются ли на ваше устройство услуги технической поддержки.