wyświetlanie listy obiektów zasobnika S3 zapętla się w nieskończoność przy użyciu interfejsu API ListObjects lub ListObjectsV2

Résumé: Aplikacja S3 lub s3cmd używa interfejsu API S3 listobject lub listobjectv2 do wykonywania zapytań dotyczących obiektów z zasobnika s3, w niektórych przypadkach Powerscale OneFS s3 zwraca nieprawidłowy wynik, jeśli dirCache istnieje, ale nie spełnia żądania, aplikacja S3 zawiesza się, ponieważ obiekty listy trafiają w nieskończoną pętlę. ...

Cet article concerne Cet article ne concerne pas Cet article n’est associé à aucun produit spécifique. Toutes les versions du produit ne sont pas identifiées dans cet article.
Consulter d’autres ressources

Symptômes

Aplikacja S3 zawiesza się z powodu ukończenia listy zasobników.
S3cmd ls bucket wielokrotnie zwraca te same obiekty na liście podzielonej na strony.

Cause

Może to trafić błąd pamięci podręcznej s3# PSCALE-217613. 
 
Jeśli klient zażąda ListObjects z maksymalnym wpisem = 1000, wewnętrznie otrzymujemy 10 000 wpisów (jeśli katalog jest bardzo szeroki) i zwracamy 1000 z nich klientowi, a następnie ponownie używamy pozostałych 9000 do przyszłego żądania. Przy następnym żądaniu, jeśli istnieje pamięć podręczna, a w katalogu nadal znajdują się pliki, które nie zostały jeszcze zwrócone klientowi, a bieżąca pamięć podręczna nie ma wystarczającej liczby wpisów, aby spełnić żądanie, uderzamy w błąd i zwracamy nieprawidłowy wynik.

Résolution

Inżynierowie pracują nad trwałą poprawką, a poprawka RUP zostanie wydana, gdy będzie gotowa. 
Bieżące obejście polega na tymczasowym skonfigurowaniu s3 ls DIR_CACHE_TTL do 0:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

W przypadku ponownego uruchomienia procesu s3 lub ponownego uruchomienia węzła należy ponownie zastosować obejście w węźle, ponieważ zostało ono przywrócone do wartości domyślnej 1 godziny po ponownym uruchomieniu s3. 
Aby wyłączyć ręczne DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Produits concernés

Isilon, PowerScale
Propriétés de l’article
Numéro d’article: 000223936
Type d’article: Solution
Dernière modification: 11 juin 2024
Version:  3
Trouvez des réponses à vos questions auprès d’autres utilisateurs Dell
Services de support
Vérifiez si votre appareil est couvert par les services de support.