ЕКС: Помилка запису великих файлів з 500 помилками для протоколу S3

Не вдається записати великі файли (кілька Гб або більше) за протоколом S3 з 500 помилками.

Використання "HTTP PUT" або "HTTPS PUT" для запису файлів до ECS. Команда S3 PUT не додає об'єкт частково, запит або успішний, або невдалий запис (все або нічого).

Як операція «все або нічого», будь-який збій під час передачі даних великого файлу призводить до повного збою цього запису. Єдиний ресурс для цієї невдачі — повторити всю операцію запису та сподіватися, що вона увінчається успіхом під час наступної спроби.

Для великих файлів (ГБ або більше) рекомендується використовувати Multi Part Uploads (MPU) замість операції PUT. Рекомендація зроблена для того, щоб уникнути тривалого часу завершення запису (100 МБ або більше, згідно з найкращою практикою AWS).

Приклад:
Файл розміром 80 ГБ буде розділено на фрагменти, і кожен фрагмент буде надіслано до ECS. Якщо завантаження будь-якої частини не вдасться, повторно буде здійснено спробу завантаження лише однієї частини, а не повного об'єкта.  
Очікується, що продуктивність MPU буде кращою, ніж одного великого PUT, оскільки операції MPU можуть бути багатопотоковими. Як наслідок, використання MPU дозволяє краще використовувати кілька з'єднань і пропускну здатність. Це означає, що кілька частин можуть надсилатися одночасно, що покращує загальну продуктивність під час запису великих файлів.

Ресурси для розробників додатків, які переходять з використання PUT на MPU:
TransferManager (AWS SDK для Java - 1.12.588) (amazon.com)

Огляд AWS MPU: (включає найкращі практики MPU)
Завантаження та копіювання об'єктів за допомогою багаточастинного завантаження - Amazon Simple Storage Service