ECS: Skriving av store filer mislykkes med 500 feil for S3-protokollen

Skriving av store filer (flere GB eller større) ved hjelp av S3-protokollen mislykkes med 500 feil.

Bruk "HTTP PUT" eller "HTTPS PUT" til å skrive filene til ECS. S3 PUT-kommandoen legger ikke til et objekt delvis, forespørselen er enten en vellykket eller mislykket skriving (alt eller ingenting).

Som en "alt eller ingenting"-operasjon resulterer enhver avbrudd under dataoverføringen av en stor fil i en fullstendig feil i den skrivingen. Den eneste ressursen for den feilen er å prøve hele skriveoperasjonen på nytt og håpe at den lykkes ved neste forsøk.

For store filer (GB eller større) anbefales det at Multi Part Uploads (MPU) brukes i stedet for PUT-operasjonen. Anbefalingen er gjort for å unngå lange skrivefullføringstider (100 MB eller større, i henhold til beste praksis for AWS).

Eksempel:
En fil på 80 GB blir segmentert, og hver del sendes til ECS. Hvis opplasting av deler mislykkes, er det bare opplastingen av enkeltdelen som prøves på nytt, i stedet for hele objektet.  
Ytelsen til MPUer forventes å være bedre enn en enkelt stor PUT fordi MPU-operasjoner kan være flertrådede. Som et resultat utnytter bruk av MPU-er bedre flere tilkoblinger og båndbredde. Det betyr at mer enn én del kan sendes samtidig, noe som forbedrer den generelle ytelsen ved skriving av store filer.

Ressurser for applikasjonsutviklere som bytter fra PUT til en MPU-bruk:
TransferManager (AWS SDK for Java - 1.12.588) (amazon.com)

Oversikt over AWS MPU: (inkluderer anbefalte fremgangsmåter for MPU)
Laste opp og kopiere objekter ved hjelp av opplasting av flere deler - Amazon Simple Storage Service