нескінченний список циклів об'єктів сегмента S3 за допомогою API ListObjects або ListObjectsV2

Sammanfattning: S3 App або s3cmd використовує S3 API listobject або listobjectv2 для запиту об'єктів із сегмента s3, у якомусь кутовому випадку Powerscale OneFS s3 повертає неправильний результат, якщо dirCache є, але він не виконує запит, додаток S3 зависає через об'єкти списку, які потрапляють у нескінченний цикл. ...

Den här artikeln gäller för Den här artikeln gäller inte för Den här artikeln är inte kopplad till någon specifik produkt. Alla produktversioner identifieras inte i den här artikeln.
Kolla in andra resurser

Symptom

Додаток S3 просто зависає через лістинг, який не можна завершити.
Сегмент S3cmd ls багаторазово отримує одні й ті самі об'єкти, повернуті в розбитий на сторінки список.

Orsak

Це може статися через помилку кешу s3# PSCALE-217613. 
 
Якщо клієнт запитує ListObjects з max entry = 1000, внутрішньо ми отримуємо 10 000 записів (якщо каталог дуже широкий) і повертаємо 1000 з них клієнту, а потім повторно використовуємо решту 9000 для майбутнього запиту. При наступному запиті, якщо кеш є, а в каталозі все ще є файли, які ще не повернуті клієнту, а поточний кеш не має достатнього запису для виконання запиту, ми стикаємося з помилкою і повертаємо неправильний результат.

Upplösning

Інженери працюють над постійним виправленням, і патч RUP буде випущений, як тільки він буде готовий. 
Поточним обхідним шляхом є тимчасове налаштування s3 ls DIR_CACHE_TTL до 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

У випадку, якщо процес s3 перезапускається або вузол перезавантажується, будь ласка, застосуйте обхідний шлях ще раз до вузла, оскільки він був повернутий до стандартних 1 годин, коли s3 перезапустився. 
Вимкнення вручну DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Berörda produkter

Isilon, PowerScale
Artikelegenskaper
Artikelnummer: 000223936
Artikeltyp: Solution
Senast ändrad: 11 juni 2024
Version:  3
Få svar på dina frågor från andra Dell-användare
Supporttjänster
Kontrollera om din enhet omfattas av supporttjänster.