listar S3-bucket-objekt oändligt med API ListObjects eller ListObjectsV2

Summary: S3-appen eller s3cmd använder S3 API listobject eller listobjectv2 för att fråga objekt från s3-bucketen, i något hörnfall returnerar Powerscale OneFS s3 fel resultat om dirCache finns där men den inte uppfyller begäran, S3-appen hänger sig på grund av att listobjekt träffar oändlig loop. ...

Bu makale şunlar için geçerlidir: Bu makale şunlar için geçerli değildir: Bu makale, belirli bir ürüne bağlı değildir. Bu makalede tüm ürün sürümleri tanımlanmamıştır.
Diğer kaynaklara göz atın

Symptoms

S3-appen hänger sig bara på grund av att listan över en hink inte kan slutföras.
S3cmd ls bucket får upprepade gånger samma objekt returnerade i en sidnumrerad lista.

Cause

Detta kan leda till en s3-cachebugg# PSCALE-217613. 
 
Om klienten begär ListObjects med max entry = 1000 internt får vi 10 000 poster (om katalogen är mycket bred) och returnerar 1000 av dem till klienten och återanvänder sedan återstående 9000 för framtida begäran. Vid nästa begäran, om det finns en cache och det fortfarande finns filer under katalogen som ännu inte har returnerats till klienten, och den aktuella cachen inte har tillräckligt med post för att uppfylla begäran, träffar vi en bugg och returnerar fel resultat.

Resolution

Teknikerna arbetar med den permanenta korrigeringen och RUP-patchen kommer att släppas när den är klar. 
Den aktuella lösningen är att konfigurera s3 ls DIR_CACHE_TTL till 0 tillfälligt:  
# isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"

Om s3-processen startas om eller om en nod startas om tillämpar du lösningen igen på noden eftersom den har återställts till standardvärdet 1 timme när s3 startades om. 
För att stänga av manuellt DIR_CACHE_TTL:  
#isi_for_array -X  "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"

Etkilenen Ürünler

Isilon, PowerScale
Makale Özellikleri
Article Number: 000223936
Article Type: Solution
Son Değiştirme: 11 Haz 2024
Version:  3
Sorularınıza diğer Dell kullanıcılarından yanıtlar bulun
Destek Hizmetleri
Aygıtınızın Destek Hizmetleri kapsamında olup olmadığını kontrol edin.