ECS: Het schrijven van grote bestanden mislukt met 500-fouten voor S3-protocol

Het schrijven van grote bestanden (meerdere GB of groter) met behulp van het S3-protocol mislukt met 500-fouten.

Gebruik "HTTP PUT" of "HTTPS PUT" om de bestanden naar het ECS te schrijven. De opdracht S3 PUT voegt een object niet gedeeltelijk toe, de aanvraag is geslaagd of mislukt (alles of niets).

Als een 'alles of niets'-bewerking resulteert elke verstoring tijdens de gegevensoverdracht van een groot bestand in een volledige mislukking van die schrijfbewerking. De enige bron voor die mislukking is om de hele schrijfbewerking opnieuw te proberen en te hopen dat het bij de volgende poging lukt.

Voor grote bestanden (GB of groter) wordt aanbevolen om Multi Part Uploads (MPU) te gebruiken in plaats van de PUT-bewerking. De aanbeveling wordt gedaan om lange voltooiingstijden voor schrijfbewerkingen te voorkomen (100 MB of groter, volgens de best practices van AWS).

Voorbeeld:
Een bestand van 80 GB wordt in stukjes opgedeeld en elke brok wordt naar het ECS gestuurd. Als het uploaden van een onderdeel mislukt, wordt alleen het uploaden van het enkele onderdeel opnieuw geprobeerd in plaats van het volledige object.  
De prestaties van MPU's zullen naar verwachting beter zijn dan die van één grote PUT, omdat MPU-bewerkingen multithreaded kunnen zijn. Als gevolg hiervan maakt het gebruik van MPU's beter gebruik van meerdere verbindingen en bandbreedte. Dat betekent dat meer dan één onderdeel tegelijkertijd kan worden verzonden, waardoor de algehele prestaties bij het schrijven van grote bestanden worden verbeterd.

Bronnen voor applicatieontwikkelaars die overstappen van PUT naar een MPU usage:
TransferManager (AWS SDK for Java - 1.12.588) (amazon.com)

Overzicht van AWS MPU: (inclusief MPU best practices)
Objecten uploaden en kopiëren met behulp van uploaden in meerdere delen - Amazon Simple Storage Service