бесконечное перечисление объектов контейнера S3 с помощью API ListObjects или ListObjectsV2

Summary: Приложение S3 или s3cmd использует объект списка или listobjectv2 API S3 для запроса объектов из корзины s3, в некоторых редких случаях Powerscale OneFS s3 возвращает неверный результат, если dirCache присутствует, но не выполняет запрос, приложение S3 зависает из-за того, что объекты списка попадают в бесконечный цикл. ...

Bu makale şunlar için geçerlidir: Bu makale şunlar için geçerli değildir: Bu makale, belirli bir ürüne bağlı değildir. Bu makalede tüm ürün sürümleri tanımlanmamıştır.
Diğer kaynaklara göz atın

Symptoms

Приложение S3 зависает из-за того, что не удается завершить перечисление контейнера.
S3cmd ls bucket многократно возвращает одни и те же объекты в списке с разбивкой на страницы.

Cause

Это может привести к ошибке кэша s3 # PSCALE-217613. 
 
Если клиент запрашивает ListObjects с max entry = 1000, то внутренне мы получаем 10 000 записей (если каталог очень широкий) и возвращаем 1000 из них клиенту, а затем повторно используем оставшиеся 9000 для будущего запроса. При следующем запросе, если есть кэш, а в каталоге еще есть файлы, которые еще не возвращены клиенту, а в текущем кэше недостаточно записей для выполнения запроса, мы сталкиваемся с ошибкой и возвращаем неверный результат.

Resolution

Инженерный отдел работает над окончательным исправлением, и патч RUP будет выпущен, как только он будет готов. 
Текущее временное решение заключается в том, чтобы временно настроить s3 ls DIR_CACHE_TTL значение 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

В случае перезапуска процесса s3 или перезагрузки узла снова примените временное решение к узлу, поскольку при перезапуске s3 оно было возвращено к значению по умолчанию 1 час. 
Чтобы отключить вручную DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Etkilenen Ürünler

Isilon, PowerScale
Makale Özellikleri
Article Number: 000223936
Article Type: Solution
Son Değiştirme: 11 Haz 2024
Version:  3
Sorularınıza diğer Dell kullanıcılarından yanıtlar bulun
Destek Hizmetleri
Aygıtınızın Destek Hizmetleri kapsamında olup olmadığını kontrol edin.