нескінченний список циклів об'єктів сегмента S3 за допомогою API ListObjects або ListObjectsV2

Сводка: S3 App або s3cmd використовує S3 API listobject або listobjectv2 для запиту об'єктів із сегмента s3, у якомусь кутовому випадку Powerscale OneFS s3 повертає неправильний результат, якщо dirCache є, але він не виконує запит, додаток S3 зависає через об'єкти списку, які потрапляють у нескінченний цикл. ...

Данная статья применяется к Данная статья не применяется к Эта статья не привязана к какому-либо конкретному продукту. В этой статье указаны не все версии продуктов.
Ознакомьтесь с другими ресурсами

Симптомы

Додаток S3 просто зависає через лістинг, який не можна завершити.
Сегмент S3cmd ls багаторазово отримує одні й ті самі об'єкти, повернуті в розбитий на сторінки список.

Причина

Це може статися через помилку кешу s3# PSCALE-217613. 
 
Якщо клієнт запитує ListObjects з max entry = 1000, внутрішньо ми отримуємо 10 000 записів (якщо каталог дуже широкий) і повертаємо 1000 з них клієнту, а потім повторно використовуємо решту 9000 для майбутнього запиту. При наступному запиті, якщо кеш є, а в каталозі все ще є файли, які ще не повернуті клієнту, а поточний кеш не має достатнього запису для виконання запиту, ми стикаємося з помилкою і повертаємо неправильний результат.

Разрешение

Інженери працюють над постійним виправленням, і патч RUP буде випущений, як тільки він буде готовий. 
Поточним обхідним шляхом є тимчасове налаштування s3 ls DIR_CACHE_TTL до 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

У випадку, якщо процес s3 перезапускається або вузол перезавантажується, будь ласка, застосуйте обхідний шлях ще раз до вузла, оскільки він був повернутий до стандартних 1 годин, коли s3 перезапустився. 
Вимкнення вручну DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Затронутые продукты

Isilon, PowerScale
Свойства статьи
Номер статьи: 000223936
Тип статьи: Solution
Последнее изменение: 11 Jun 2024
Версия:  3
Получите ответы на свои вопросы от других пользователей Dell
Услуги технической поддержки
Проверьте, распространяются ли на ваше устройство услуги технической поддержки.