нескінченний список циклів об'єктів сегмента S3 за допомогою API ListObjects або ListObjectsV2
Summary: S3 App або s3cmd використовує S3 API listobject або listobjectv2 для запиту об'єктів із сегмента s3, у якомусь кутовому випадку Powerscale OneFS s3 повертає неправильний результат, якщо dirCache є, але він не виконує запит, додаток S3 зависає через об'єкти списку, які потрапляють у нескінченний цикл. ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
Додаток S3 просто зависає через лістинг, який не можна завершити.
Сегмент S3cmd ls багаторазово отримує одні й ті самі об'єкти, повернуті в розбитий на сторінки список.
Сегмент S3cmd ls багаторазово отримує одні й ті самі об'єкти, повернуті в розбитий на сторінки список.
Cause
Це може статися через помилку кешу s3# PSCALE-217613.
Якщо клієнт запитує ListObjects з max entry = 1000, внутрішньо ми отримуємо 10 000 записів (якщо каталог дуже широкий) і повертаємо 1000 з них клієнту, а потім повторно використовуємо решту 9000 для майбутнього запиту. При наступному запиті, якщо кеш є, а в каталозі все ще є файли, які ще не повернуті клієнту, а поточний кеш не має достатнього запису для виконання запиту, ми стикаємося з помилкою і повертаємо неправильний результат.
Resolution
Інженери працюють над постійним виправленням, і патч RUP буде випущений, як тільки він буде готовий.
Поточним обхідним шляхом є тимчасове налаштування s3 ls DIR_CACHE_TTL до 0:
Поточним обхідним шляхом є тимчасове налаштування s3 ls DIR_CACHE_TTL до 0:
# isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
У випадку, якщо процес s3 перезапускається або вузол перезавантажується, будь ласка, застосуйте обхідний шлях ще раз до вузла, оскільки він був повернутий до стандартних 1 годин, коли s3 перезапустився.
Вимкнення вручну DIR_CACHE_TTL:
#isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"
Affected Products
Isilon, PowerScaleArticle Properties
Article Number: 000223936
Article Type: Solution
Last Modified: 11 Jun 2024
Version: 3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.