нескінченний список циклів об'єктів сегмента S3 за допомогою API ListObjects або ListObjectsV2

Resumen: S3 App або s3cmd використовує S3 API listobject або listobjectv2 для запиту об'єктів із сегмента s3, у якомусь кутовому випадку Powerscale OneFS s3 повертає неправильний результат, якщо dirCache є, але він не виконує запит, додаток S3 зависає через об'єкти списку, які потрапляють у нескінченний цикл. ...

Este artículo se aplica a Este artículo no se aplica a Este artículo no está vinculado a ningún producto específico. No se identifican todas las versiones del producto en este artículo.
Consulte estos recursos

Síntomas

Додаток S3 просто зависає через лістинг, який не можна завершити.
Сегмент S3cmd ls багаторазово отримує одні й ті самі об'єкти, повернуті в розбитий на сторінки список.

Causa

Це може статися через помилку кешу s3# PSCALE-217613. 
 
Якщо клієнт запитує ListObjects з max entry = 1000, внутрішньо ми отримуємо 10 000 записів (якщо каталог дуже широкий) і повертаємо 1000 з них клієнту, а потім повторно використовуємо решту 9000 для майбутнього запиту. При наступному запиті, якщо кеш є, а в каталозі все ще є файли, які ще не повернуті клієнту, а поточний кеш не має достатнього запису для виконання запиту, ми стикаємося з помилкою і повертаємо неправильний результат.

Resolución

Інженери працюють над постійним виправленням, і патч RUP буде випущений, як тільки він буде готовий. 
Поточним обхідним шляхом є тимчасове налаштування s3 ls DIR_CACHE_TTL до 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

У випадку, якщо процес s3 перезапускається або вузол перезавантажується, будь ласка, застосуйте обхідний шлях ще раз до вузла, оскільки він був повернутий до стандартних 1 годин, коли s3 перезапустився. 
Вимкнення вручну DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Productos afectados

Isilon, PowerScale
Propiedades del artículo
Número del artículo: 000223936
Tipo de artículo: Solution
Última modificación: 11 jun 2024
Versión:  3
Encuentre respuestas a sus preguntas de otros usuarios de Dell
Servicios de soporte
Compruebe si el dispositivo está cubierto por los servicios de soporte.