PowerScale. Бесконечное перечисление объектов контейнера S3 при использовании API ListObjects

Summary: Команда S3 App или S3 использует объект списка или listobjectv2 API S3 для запроса объектов из контейнера S3. В некоторых случаях PowerScale OneFS S3 возвращает неверный результат, если dirCache присутствует, но не выполняет запрос. Приложение S3 перестает отвечать из-за бесконечного цикла объектов списка. ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Приложение S3 перестает отвечать из-за незавершенного списка контейнера.

Команда S3 ls bucket многократно получает одни и те же объекты, возвращенные в списке с разбивкой на страницы.

Cause

Это может привести к проблеме с кэшем S3. 
 
Если клиент запрашивает ListObjects При max entry = 1000 внутренне мы можем получить 10 000 записей (если каталог широкий), но вернуть клиенту только 1000 из них, а оставшиеся 9000 использовать повторно для будущего запроса. При следующем запросе, если кэш уже имеется, и в каталоге все еще есть файлы, которые еще не были возвращены клиенту, а в текущем кэше недостаточно записей для выполнения запроса, возникает проблема и возвращаются неверные результаты.

Resolution

Технические специалисты Dell работают над окончательным решением этой проблемы. Ожидается выпуск

накопительного исправления (RUP).В настоящее время временное решение проблемы заключается в настройке S3 ls DIR_CACHE_TTL временно на 0: 
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Если процесс S3 перезапускается или узел перезагружается, снова примените временное решение к узлу, так как при перезапуске S3 значение по умолчанию восстанавливается к 1 часу по умолчанию.

Перейти к ручному DIR_CACHE_TTL. 
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Affected Products

Isilon, PowerScale
Article Properties
Article Number: 000223936
Article Type: Solution
Last Modified: 07 Apr 2026
Version:  4
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.