ECS:寫入大型檔案失敗,S3 通訊協定出現 500 個錯誤
Summary: 寫入大型檔案失敗,S3 通訊協定出現 500 個錯誤。
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
使用 S3 通訊協定寫入大型檔案 (多個 GB 或更大) 失敗,並出現 500 個錯誤。
Cause
使用「HTTP PUT」或「HTTPS PUT」將檔案寫入彈性雲伺服器。S3 PUT 命令不會部分添加物件,請求是寫入成功或失敗(全部或全無)。
作為“全有或全無”操作,大型文件數據傳輸期間的任何中斷都會導致該寫入完全失敗。該失敗的唯一資源是重試整個寫入操作,並希望在下一次嘗試時成功。
作為“全有或全無”操作,大型文件數據傳輸期間的任何中斷都會導致該寫入完全失敗。該失敗的唯一資源是重試整個寫入操作,並希望在下一次嘗試時成功。
Resolution
對於大型檔(GB 或更大),建議使用多部分上傳 (MPU) 而不是 PUT 操作。提出此建議是為了避免寫入完成時間過長 (根據 AWS 最佳實務,為 100MB 或更大)。
例:
80GB 的檔案會進行分塊,每個區塊都會傳送到 ECS。如果任何分段上傳失敗,則只會重試單個分段的上傳,而不是整個物件的上傳。
MPU 的性能預計將優於單個大型 PUT,因為 MPU 操作可以是多線程的。因此,MPU的使用可以更好地利用多個連接和頻寬。這意味著可以同時發送多個部件,從而提高寫入大文件的整體性能。
例:
80GB 的檔案會進行分塊,每個區塊都會傳送到 ECS。如果任何分段上傳失敗,則只會重試單個分段的上傳,而不是整個物件的上傳。
MPU 的性能預計將優於單個大型 PUT,因為 MPU 操作可以是多線程的。因此,MPU的使用可以更好地利用多個連接和頻寬。這意味著可以同時發送多個部件,從而提高寫入大文件的整體性能。
Additional Information
供應用程式開發人員從 PUT 切換到 MPU 使用的資源:
TransferManager (適用於 Java 的 AWS 開發工具包 - 1.12.588) (amazon.com)
AWS MPU 概觀:(包括 MPU 最佳實務)
使用分段上傳上傳和複製物件 - Amazon Simple Storage Service
Affected Products
ECS ApplianceProducts
ECS ApplianceArticle Properties
Article Number: 000048288
Article Type: Solution
Last Modified: 08 Sept 2025
Version: 5
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.