ECS:S3 协议写入大型文件失败并显示 500 个错误
Summary: S3 协议写入大型文件失败,并显示 500 个错误。
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
使用 S3 协议写入大型文件(数 GB 或更大)失败,出现 500 个错误。
Cause
使用“HTTP PUT”或“HTTPS PUT”将文件写入 ECS。S3 PUT 命令不会部分添加对象,请求是成功写入或失败写入(全有或全无)。
作为“全有或全无”作,大型文件数据传输过程中的任何中断都会导致该写入完全失败。失败的唯一方法是重试整个写入作,并希望下次尝试成功。
作为“全有或全无”作,大型文件数据传输过程中的任何中断都会导致该写入完全失败。失败的唯一方法是重试整个写入作,并希望下次尝试成功。
Resolution
对于大型文件(GB 或更大),建议应使用分段上传 (MPU) 而不是 PUT作。提出此建议是为了避免过长的写入完成时间(根据 AWS 最佳实践,100MB 或更大)。
例:
对一个 80GB 的文件进行分块,每个区块发送到 ECS。如果任何分段上传失败,则只会重试上传单个分段,而不是整个对象。
MPU 的性能预计会优于单个大型 PUT,因为 MPU作可以是多线程的。因此,使用 MPU 可以更好地利用多个连接和带宽。这意味着可以并发发送多个部分,从而提高写入大文件的整体性能。
例:
对一个 80GB 的文件进行分块,每个区块发送到 ECS。如果任何分段上传失败,则只会重试上传单个分段,而不是整个对象。
MPU 的性能预计会优于单个大型 PUT,因为 MPU作可以是多线程的。因此,使用 MPU 可以更好地利用多个连接和带宽。这意味着可以并发发送多个部分,从而提高写入大文件的整体性能。
Additional Information
供应用程序开发人员从 PUT 切换到 MPU 用法的资源:
TransferManager (适用于 Java 的 AWS 开发工具包 - 1.12.588) (amazon.com)
AWS MPU 概述:(包括 MPU 最佳实践)
使用分段上传上传和复制对象 - Amazon Simple Storage Service
Affected Products
ECS ApplianceProducts
ECS ApplianceArticle Properties
Article Number: 000048288
Article Type: Solution
Last Modified: 08 Sep 2025
Version: 5
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.