PowerScale. Бесконечное перечисление объектов контейнера S3 при использовании API ListObjects

Résumé: Команда S3 App или S3 использует объект списка или listobjectv2 API S3 для запроса объектов из контейнера S3. В некоторых случаях PowerScale OneFS S3 возвращает неверный результат, если dirCache присутствует, но не выполняет запрос. Приложение S3 перестает отвечать из-за бесконечного цикла объектов списка. ...

Cet article concerne Cet article ne concerne pas Cet article n’est associé à aucun produit spécifique. Toutes les versions du produit ne sont pas identifiées dans cet article.
Consulter d’autres ressources

Symptômes

Приложение S3 перестает отвечать из-за незавершенного списка контейнера.

Команда S3 ls bucket многократно получает одни и те же объекты, возвращенные в списке с разбивкой на страницы.

Cause

Это может привести к проблеме с кэшем S3. 
 
Если клиент запрашивает ListObjects При max entry = 1000 внутренне мы можем получить 10 000 записей (если каталог широкий), но вернуть клиенту только 1000 из них, а оставшиеся 9000 использовать повторно для будущего запроса. При следующем запросе, если кэш уже имеется, и в каталоге все еще есть файлы, которые еще не были возвращены клиенту, а в текущем кэше недостаточно записей для выполнения запроса, возникает проблема и возвращаются неверные результаты.

Résolution

Технические специалисты Dell работают над окончательным решением этой проблемы. Ожидается выпуск

накопительного исправления (RUP).В настоящее время временное решение проблемы заключается в настройке S3 ls DIR_CACHE_TTL временно на 0: 
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Если процесс S3 перезапускается или узел перезагружается, снова примените временное решение к узлу, так как при перезапуске S3 значение по умолчанию восстанавливается к 1 часу по умолчанию.

Перейти к ручному DIR_CACHE_TTL. 
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Produits concernés

Isilon, PowerScale
Propriétés de l’article
Numéro d’article: 000223936
Type d’article: Solution
Dernière modification: 07 avr. 2026
Version:  4
Trouvez des réponses à vos questions auprès d’autres utilisateurs Dell
Services de support
Vérifiez si votre appareil est couvert par les services de support.