ECS: Schreiben großer Dateien schlägt mit 500 Fehlern für das S3-Protokoll fehl

Das Schreiben großer Dateien (mehrere GB oder größer) mithilfe des S3-Protokolls schlägt mit 500 Fehlern fehl.

Verwenden Sie "HTTP PUT" oder "HTTPS PUT", um die Dateien in ECS zu schreiben. Mit dem S3 PUT-Befehl wird ein Objekt nicht teilweise hinzugefügt. Die Anforderung ist entweder ein erfolgreicher oder fehlgeschlagener Schreibvorgang (alles oder nichts).

Da es sich um einen "Alles-oder-Nichts"-Vorgang handelt, führt jede Unterbrechung während der Datenübertragung einer großen Datei zu einem vollständigen Fehlschlagen dieses Schreibvorgangs. Die einzige Ressource für diesen Fehler besteht darin, den gesamten Schreibvorgang erneut zu versuchen und zu hoffen, dass er beim nächsten Versuch erfolgreich ist.

Für große Dateien (GB oder größer) wird empfohlen, Multi Part Uploads (MPU) anstelle des PUT-Vorgangs zu verwenden. Die Empfehlung wird ausgesprochen, um lange Schreibabschlusszeiten zu vermeiden (100 MB oder mehr, gemäß AWS Best Practice).

Beispiel:
Eine Datei mit 80 GB wird in Blöcke aufgeteilt und jeder Block wird an ECS gesendet. Wenn ein Teil-Upload fehlschlägt, wird nur der Upload des einzelnen Teils statt des vollständigen Objekts erneut versucht.  
Es wird erwartet, dass die Performance von MPUs besser als die eines einzigen großen PUT ist, da MPU-Vorgänge Multithreading ablaufen können. Infolgedessen können bei der Nutzung von MPUs mehrere Verbindungen und die Bandbreite besser genutzt werden. Das bedeutet, dass mehr als ein Teil gleichzeitig gesendet werden kann, was die Gesamtleistung beim Schreiben großer Dateien verbessert.

Ressourcen für Anwendungsentwickler, die von einer PUT- auf eine MPU-Nutzung umsteigen:
TransferManager (AWS SDK for Java - 1.12.588) (amazon.com)

AWS MPU – Übersicht: (einschließlich Best Practices für MPU)
Hochladen und Kopieren von Objekten mithilfe des mehrteiligen Uploads - Amazon Simple Storage Service