нескінченний список циклів об'єктів сегмента S3 за допомогою API ListObjects або ListObjectsV2

Résumé: S3 App або s3cmd використовує S3 API listobject або listobjectv2 для запиту об'єктів із сегмента s3, у якомусь кутовому випадку Powerscale OneFS s3 повертає неправильний результат, якщо dirCache є, але він не виконує запит, додаток S3 зависає через об'єкти списку, які потрапляють у нескінченний цикл. ...

Cet article concerne Cet article ne concerne pas Cet article n’est associé à aucun produit spécifique. Toutes les versions du produit ne sont pas identifiées dans cet article.
Consulter d’autres ressources

Symptômes

Додаток S3 просто зависає через лістинг, який не можна завершити.
Сегмент S3cmd ls багаторазово отримує одні й ті самі об'єкти, повернуті в розбитий на сторінки список.

Cause

Це може статися через помилку кешу s3# PSCALE-217613. 
 
Якщо клієнт запитує ListObjects з max entry = 1000, внутрішньо ми отримуємо 10 000 записів (якщо каталог дуже широкий) і повертаємо 1000 з них клієнту, а потім повторно використовуємо решту 9000 для майбутнього запиту. При наступному запиті, якщо кеш є, а в каталозі все ще є файли, які ще не повернуті клієнту, а поточний кеш не має достатнього запису для виконання запиту, ми стикаємося з помилкою і повертаємо неправильний результат.

Résolution

Інженери працюють над постійним виправленням, і патч RUP буде випущений, як тільки він буде готовий. 
Поточним обхідним шляхом є тимчасове налаштування s3 ls DIR_CACHE_TTL до 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

У випадку, якщо процес s3 перезапускається або вузол перезавантажується, будь ласка, застосуйте обхідний шлях ще раз до вузла, оскільки він був повернутий до стандартних 1 годин, коли s3 перезапустився. 
Вимкнення вручну DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Produits concernés

Isilon, PowerScale
Propriétés de l’article
Numéro d’article: 000223936
Type d’article: Solution
Dernière modification: 11 juin 2024
Version:  3
Trouvez des réponses à vos questions auprès d’autres utilisateurs Dell
Services de support
Vérifiez si votre appareil est couvert par les services de support.