wyświetlanie listy obiektów zasobnika S3 zapętla się w nieskończoność przy użyciu interfejsu API ListObjects lub ListObjectsV2

Zhrnutie: Aplikacja S3 lub s3cmd używa interfejsu API S3 listobject lub listobjectv2 do wykonywania zapytań dotyczących obiektów z zasobnika s3, w niektórych przypadkach Powerscale OneFS s3 zwraca nieprawidłowy wynik, jeśli dirCache istnieje, ale nie spełnia żądania, aplikacja S3 zawiesza się, ponieważ obiekty listy trafiają w nieskończoną pętlę. ...

Tento článok sa vzťahuje na Tento článok sa nevzťahuje na Tento článok nie je viazaný na žiadny konkrétny produkt. V tomto článku nie sú uvedené všetky verzie produktov.
Pozrite si ďalšie zdroje

Symptómy

Aplikacja S3 zawiesza się z powodu ukończenia listy zasobników.
S3cmd ls bucket wielokrotnie zwraca te same obiekty na liście podzielonej na strony.

Príčina

Może to trafić błąd pamięci podręcznej s3# PSCALE-217613. 
 
Jeśli klient zażąda ListObjects z maksymalnym wpisem = 1000, wewnętrznie otrzymujemy 10 000 wpisów (jeśli katalog jest bardzo szeroki) i zwracamy 1000 z nich klientowi, a następnie ponownie używamy pozostałych 9000 do przyszłego żądania. Przy następnym żądaniu, jeśli istnieje pamięć podręczna, a w katalogu nadal znajdują się pliki, które nie zostały jeszcze zwrócone klientowi, a bieżąca pamięć podręczna nie ma wystarczającej liczby wpisów, aby spełnić żądanie, uderzamy w błąd i zwracamy nieprawidłowy wynik.

Riešenie

Inżynierowie pracują nad trwałą poprawką, a poprawka RUP zostanie wydana, gdy będzie gotowa. 
Bieżące obejście polega na tymczasowym skonfigurowaniu s3 ls DIR_CACHE_TTL do 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

W przypadku ponownego uruchomienia procesu s3 lub ponownego uruchomienia węzła należy ponownie zastosować obejście w węźle, ponieważ zostało ono przywrócone do wartości domyślnej 1 godziny po ponownym uruchomieniu s3. 
Aby wyłączyć ręczne DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Dotknuté produkty

Isilon, PowerScale
Vlastnosti článku
Číslo článku: 000223936
Typ článku: Solution
Dátum poslednej úpravy: 11 jún 2024
Verzia:  3
Nájdite odpovede na svoje otázky od ostatných používateľov spoločnosti Dell
Služby podpory
Skontrolujte, či sa na vaše zariadenie vzťahujú služby podpory.