PowerScale. Бесконечное перечисление объектов контейнера S3 при использовании API ListObjects

摘要: Команда S3 App или S3 использует объект списка или listobjectv2 API S3 для запроса объектов из контейнера S3. В некоторых случаях PowerScale OneFS S3 возвращает неверный результат, если dirCache присутствует, но не выполняет запрос. Приложение S3 перестает отвечать из-за бесконечного цикла объектов списка. ...

本文适用于 本文不适用于 本文并非针对某种特定的产品。 本文并非包含所有产品版本。
查看其他资源

症状

Приложение S3 перестает отвечать из-за незавершенного списка контейнера.

Команда S3 ls bucket многократно получает одни и те же объекты, возвращенные в списке с разбивкой на страницы.

原因

Это может привести к проблеме с кэшем S3. 
 
Если клиент запрашивает ListObjects При max entry = 1000 внутренне мы можем получить 10 000 записей (если каталог широкий), но вернуть клиенту только 1000 из них, а оставшиеся 9000 использовать повторно для будущего запроса. При следующем запросе, если кэш уже имеется, и в каталоге все еще есть файлы, которые еще не были возвращены клиенту, а в текущем кэше недостаточно записей для выполнения запроса, возникает проблема и возвращаются неверные результаты.

解决方案

Технические специалисты Dell работают над окончательным решением этой проблемы. Ожидается выпуск

накопительного исправления (RUP).В настоящее время временное решение проблемы заключается в настройке S3 ls DIR_CACHE_TTL временно на 0: 
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Если процесс S3 перезапускается или узел перезагружается, снова примените временное решение к узлу, так как при перезапуске S3 значение по умолчанию восстанавливается к 1 часу по умолчанию.

Перейти к ручному DIR_CACHE_TTL. 
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

受影响的产品

Isilon, PowerScale
文章属性
文章编号: 000223936
文章类型: Solution
上次修改时间: 07 4月 2026
版本:  4
从其他戴尔用户那里查找问题的答案
支持服务
检查您的设备是否在支持服务涵盖的范围内。