ECS. Сбой записи больших файлов с ошибкой 500 для протокола S3

Сбой записи больших файлов (несколько Гбайт или больше) с помощью протокола S3 с ошибкой 500.

Использование «HTTP PUT» или «HTTPS PUT» для записи файлов в ECS. Команда S3 PUT не добавляет объект частично, запрос является либо успешной, либо неудачной записью (все или ничего).

Поскольку это операция «все или ничего», любое прерывание во время передачи данных большого размера приводит к полному сбою записи. Единственный ресурс для устранения этого сбоя — повторить всю операцию записи и надеяться, что она будет успешной при следующей попытке.

Для больших файлов (Гбайт или больше) рекомендуется использовать многокомпонентную загрузку (MPU) вместо операции PUT. Рекомендация сделана для того, чтобы избежать длительного времени завершения завершения записи (100 Мбайт или больше в соответствии с рекомендациями AWS).

Пример:
Файл размером 80 Гбайт будет разбит на фрагменты, и каждый фрагмент будет отправлен в ECS. Если какая-либо часть загружается сбоем, повторная попытка будет выполнена только для одной части, а не для всего объекта.  
Ожидается, что производительность микропроцессоров будет выше, чем у одного большого PUT, поскольку операции с MPU могут быть многопоточными. В результате использование микропроцессоров позволяет лучше использовать несколько подключений и пропускную способность. Это означает, что несколько частей могут быть отправлены одновременно, что повышает общую производительность при записи больших файлов.

Ресурсы для разработчиков приложений, переходящих с PUT на использование MPU:
TransferManager (AWS SDK для Java – 1.12.588) (amazon.com)

Обзор AWS MPU: (включая передовые подходы для MPU)
Загрузка и копирование объектов с помощью составной загрузки – Amazon Simple Storage Service