listar S3-bucket-objekt oändligt med API ListObjects eller ListObjectsV2

Podsumowanie: S3-appen eller s3cmd använder S3 API listobject eller listobjectv2 för att fråga objekt från s3-bucketen, i något hörnfall returnerar Powerscale OneFS s3 fel resultat om dirCache finns där men den inte uppfyller begäran, S3-appen hänger sig på grund av att listobjekt träffar oändlig loop. ...

Ten artykuł dotyczy Ten artykuł nie dotyczy Ten artykuł nie jest powiązany z żadnym konkretnym produktem. Nie wszystkie wersje produktu zostały zidentyfikowane w tym artykule.
Sprawdź inne zasoby

Objawy

S3-appen hänger sig bara på grund av att listan över en hink inte kan slutföras.
S3cmd ls bucket får upprepade gånger samma objekt returnerade i en sidnumrerad lista.

Przyczyna

Detta kan leda till en s3-cachebugg# PSCALE-217613. 
 
Om klienten begär ListObjects med max entry = 1000 internt får vi 10 000 poster (om katalogen är mycket bred) och returnerar 1000 av dem till klienten och återanvänder sedan återstående 9000 för framtida begäran. Vid nästa begäran, om det finns en cache och det fortfarande finns filer under katalogen som ännu inte har returnerats till klienten, och den aktuella cachen inte har tillräckligt med post för att uppfylla begäran, träffar vi en bugg och returnerar fel resultat.

Rozwiązanie

Teknikerna arbetar med den permanenta korrigeringen och RUP-patchen kommer att släppas när den är klar. 
Den aktuella lösningen är att konfigurera s3 ls DIR_CACHE_TTL till 0 tillfälligt:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

Om s3-processen startas om eller om en nod startas om tillämpar du lösningen igen på noden eftersom den har återställts till standardvärdet 1 timme när s3 startades om. 
För att stänga av manuellt DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Produkty, których dotyczy problem

Isilon, PowerScale
Właściwości artykułu
Numer artykułu: 000223936
Typ artykułu: Solution
Ostatnia modyfikacja: 11 cze 2024
Wersja:  3
Znajdź odpowiedzi na swoje pytania u innych użytkowników produktów Dell
Usługi pomocy technicznej
Sprawdź, czy Twoje urządzenie jest objęte usługą pomocy technicznej.