бесконечное перечисление объектов контейнера S3 с помощью API ListObjects или ListObjectsV2
Summary: Приложение S3 или s3cmd использует объект списка или listobjectv2 API S3 для запроса объектов из корзины s3, в некоторых редких случаях Powerscale OneFS s3 возвращает неверный результат, если dirCache присутствует, но не выполняет запрос, приложение S3 зависает из-за того, что объекты списка попадают в бесконечный цикл. ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Приложение S3 зависает из-за того, что не удается завершить перечисление контейнера.
S3cmd ls bucket многократно возвращает одни и те же объекты в списке с разбивкой на страницы.
S3cmd ls bucket многократно возвращает одни и те же объекты в списке с разбивкой на страницы.
Cause
Это может привести к ошибке кэша s3 # PSCALE-217613.
Если клиент запрашивает ListObjects с max entry = 1000, то внутренне мы получаем 10 000 записей (если каталог очень широкий) и возвращаем 1000 из них клиенту, а затем повторно используем оставшиеся 9000 для будущего запроса. При следующем запросе, если есть кэш, а в каталоге еще есть файлы, которые еще не возвращены клиенту, а в текущем кэше недостаточно записей для выполнения запроса, мы сталкиваемся с ошибкой и возвращаем неверный результат.
Resolution
Инженерный отдел работает над окончательным исправлением, и патч RUP будет выпущен, как только он будет готов.
Текущее временное решение заключается в том, чтобы временно настроить s3 ls DIR_CACHE_TTL значение 0:
Текущее временное решение заключается в том, чтобы временно настроить s3 ls DIR_CACHE_TTL значение 0:
# isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
В случае перезапуска процесса s3 или перезагрузки узла снова примените временное решение к узлу, поскольку при перезапуске s3 оно было возвращено к значению по умолчанию 1 час.
Чтобы отключить вручную DIR_CACHE_TTL:
#isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"
Affected Products
Isilon, PowerScaleArticle Properties
Article Number: 000223936
Article Type: Solution
Last Modified: 11 Jun 2024
Version: 3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.