výpis smyček objektů kbelíku S3 donekonečna pomocí rozhraní API ListObjects nebo ListObjectsV2

Summary: Aplikace S3 nebo nástroj s3cmd používá rozhraní API S3 listobject nebo listobjectv2 k dotazování objektů z kbelíku s3. V některých vzácných případech vrátí systém Powerscale OneFS s3 nesprávný výsledek, pokud je k dispozici složka dirCache, ale požadavek nesplní, aplikace S3 zamrzne, protože objekty seznamu narazí do nekonečné smyčky. ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Aplikace S3 právě zamrzne kvůli uvedení, kbelík nelze dokončit.
Kbelík S3cmd ls opakovaně vrací stejné objekty ve stránkovaném seznamu.

Cause

Může se jednat o chybu # mezipaměti s3 PSCALE-217613. 
 
Pokud klient požaduje ListObjects s maximální položkou = 1000, interně dostaneme 10 000 položek (pokud je adresář velmi široký) a vrátíme 1000 z nich klientovi, pak znovu použijeme zbývajících 9000 pro budoucí požadavek. Při dalším požadavku, pokud existuje mezipaměť a v adresáři jsou stále soubory, které ještě nejsou vráceny klientovi, a aktuální mezipaměť nemá dostatek záznamů pro splnění požadavku, narazíme na chybu a vrátíme špatný výsledek.

Resolution

Technický tým pracuje na trvalé opravě a oprava RUP bude vydána, jakmile bude připravena. 
Aktuální zástupné řešení spočívá v dočasné konfiguraci s3 ls DIR_CACHE_TTL na 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

V případě, že se proces s3 restartuje nebo se uzel restartuje, použijte na uzel znovu zástupné řešení, protože po restartování s3 se vrátil zpět na výchozí hodnotu po 1 hodině. 
Vypnutí ručního DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Affected Products

Isilon, PowerScale
Article Properties
Article Number: 000223936
Article Type: Solution
Last Modified: 11 Jun 2024
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.