ECS:S3 协议写入大型文件失败并显示 500 个错误

摘要: S3 协议写入大型文件失败,并显示 500 个错误。

本文章適用於 本文章不適用於 本文無關於任何特定產品。 本文未識別所有產品版本。

症狀

使用 S3 协议写入大型文件(数 GB 或更大)失败,出现 500 个错误。

原因

使用“HTTP PUT”或“HTTPS PUT”将文件写入 ECS。S3 PUT 命令不会部分添加对象,请求是成功写入或失败写入(全有或全无)。

作为“全有或全无”作,大型文件数据传输过程中的任何中断都会导致该写入完全失败。失败的唯一方法是重试整个写入作,并希望下次尝试成功。

解析度

对于大型文件(GB 或更大),建议应使用分段上传 (MPU) 而不是 PUT作。提出此建议是为了避免过长的写入完成时间(根据 AWS 最佳实践,100MB 或更大)。

例:
对一个 80GB 的文件进行分块,每个区块发送到 ECS。如果任何分段上传失败,则只会重试上传单个分段,而不是整个对象。  
MPU 的性能预计会优于单个大型 PUT,因为 MPU作可以是多线程的。因此,使用 MPU 可以更好地利用多个连接和带宽。这意味着可以并发发送多个部分,从而提高写入大文件的整体性能。

其他資訊

供应用程序开发人员从 PUT 切换到 MPU 用法的资源:
TransferManager (适用于 Java 的 AWS 开发工具包 - 1.12.588) (amazon.com)本超链接将引导您访问非 Dell Technologies 运营的网站。

AWS MPU 概述:(包括 MPU 最佳实践)
使用分段上传上传和复制对象 - Amazon Simple Storage Service本超链接将引导您访问非 Dell Technologies 运营的网站。

受影響的產品

ECS Appliance

產品

ECS Appliance
文章屬性
文章編號: 000048288
文章類型: Solution
上次修改時間: 08 9月 2025
版本:  5
向其他 Dell 使用者尋求您問題的答案
支援服務
檢查您的裝置是否在支援服務的涵蓋範圍內。