PowerScale. Бесконечное перечисление объектов контейнера S3 при использовании API ListObjects

Samenvatting: Команда S3 App или S3 использует объект списка или listobjectv2 API S3 для запроса объектов из контейнера S3. В некоторых случаях PowerScale OneFS S3 возвращает неверный результат, если dirCache присутствует, но не выполняет запрос. Приложение S3 перестает отвечать из-за бесконечного цикла объектов списка. ...

Dit artikel is van toepassing op Dit artikel is niet van toepassing op Dit artikel is niet gebonden aan een specifiek product. Niet alle productversies worden in dit artikel vermeld.
Bekijk andere hulpbronnen

Symptomen

Приложение S3 перестает отвечать из-за незавершенного списка контейнера.

Команда S3 ls bucket многократно получает одни и те же объекты, возвращенные в списке с разбивкой на страницы.

Oorzaak

Это может привести к проблеме с кэшем S3. 
 
Если клиент запрашивает ListObjects При max entry = 1000 внутренне мы можем получить 10 000 записей (если каталог широкий), но вернуть клиенту только 1000 из них, а оставшиеся 9000 использовать повторно для будущего запроса. При следующем запросе, если кэш уже имеется, и в каталоге все еще есть файлы, которые еще не были возвращены клиенту, а в текущем кэше недостаточно записей для выполнения запроса, возникает проблема и возвращаются неверные результаты.

Oplossing

Технические специалисты Dell работают над окончательным решением этой проблемы. Ожидается выпуск

накопительного исправления (RUP).В настоящее время временное решение проблемы заключается в настройке S3 ls DIR_CACHE_TTL временно на 0: 
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Если процесс S3 перезапускается или узел перезагружается, снова примените временное решение к узлу, так как при перезапуске S3 значение по умолчанию восстанавливается к 1 часу по умолчанию.

Перейти к ручному DIR_CACHE_TTL. 
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Getroffen producten

Isilon, PowerScale
Artikeleigenschappen
Artikelnummer: 000223936
Artikeltype: Solution
Laatst aangepast: 07 apr. 2026
Versie:  4
Vind antwoorden op uw vragen via andere Dell gebruikers
Support Services
Controleer of uw apparaat wordt gedekt door Support Services.