listar S3-bucket-objekt oändligt med API ListObjects eller ListObjectsV2
Summary: S3-appen eller s3cmd använder S3 API listobject eller listobjectv2 för att fråga objekt från s3-bucketen, i något hörnfall returnerar Powerscale OneFS s3 fel resultat om dirCache finns där men den inte uppfyller begäran, S3-appen hänger sig på grund av att listobjekt träffar oändlig loop. ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
S3-appen hänger sig bara på grund av att listan över en hink inte kan slutföras.
S3cmd ls bucket får upprepade gånger samma objekt returnerade i en sidnumrerad lista.
S3cmd ls bucket får upprepade gånger samma objekt returnerade i en sidnumrerad lista.
Cause
Detta kan leda till en s3-cachebugg# PSCALE-217613.
Om klienten begär ListObjects med max entry = 1000 internt får vi 10 000 poster (om katalogen är mycket bred) och returnerar 1000 av dem till klienten och återanvänder sedan återstående 9000 för framtida begäran. Vid nästa begäran, om det finns en cache och det fortfarande finns filer under katalogen som ännu inte har returnerats till klienten, och den aktuella cachen inte har tillräckligt med post för att uppfylla begäran, träffar vi en bugg och returnerar fel resultat.
Resolution
Teknikerna arbetar med den permanenta korrigeringen och RUP-patchen kommer att släppas när den är klar.
Den aktuella lösningen är att konfigurera s3 ls DIR_CACHE_TTL till 0 tillfälligt:
Den aktuella lösningen är att konfigurera s3 ls DIR_CACHE_TTL till 0 tillfälligt:
# isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl on 0"
Om s3-processen startas om eller om en nod startas om tillämpar du lösningen igen på noden eftersom den har återställts till standardvärdet 1 timme när s3 startades om.
För att stänga av manuellt DIR_CACHE_TTL:
#isi_for_array -X "/usr/likewise/bin/lwsm inject s3 s3_ls_set_dir_cache_ttl off"
Affected Products
Isilon, PowerScaleArticle Properties
Article Number: 000223936
Article Type: Solution
Last Modified: 11 June 2024
Version: 3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.