ECS: Suurten tiedostojen kirjoittaminen epäonnistuu ja S3-protokollassa on 500 virhettä

Suurten tiedostojen (useita gigatavuja tai suurempien) kirjoittaminen S3-protokollalla epäonnistuu ja virheitä on 500.

Kirjoita tiedostot ECS:ään HTTP PUT- tai HTTPS PUT -komennoilla. S3 PUT -komento ei lisää objektia osittain, pyyntö on joko onnistunut tai epäonnistunut kirjoitus (kaikki tai ei mitään).

Kaikki tai ei mitään -toiminnon tapauksessa mikä tahansa häiriö suuren tiedoston tiedonsiirron aikana johtaa kyseisen kirjoituksen täydelliseen epäonnistumiseen. Ainoa syy tähän epäonnistumiseen on yrittää koko kirjoitustoimintoa uudelleen ja toivoa, että se onnistuu seuraavalla yrityksellä.

Suurille tiedostoille (Gt tai suurempi) suositellaan käytettäväksi PU (Multi Part Uploads) -toimintoa PUT-toiminnon sijaan. Suositus on tehty pitkien kirjoitusten valmistumisaikojen välttämiseksi (100 Mt tai enemmän AWS:n parhaiden käytäntöjen mukaisesti).

Esimerkki:
80 Gt:n tiedosto ositetaan ja jokainen osa lähetetään ECS:ään. Jos jonkin osan lataus epäonnistuu, vain yksittäisen osan latausta yritetään uudelleen koko objektin sijaan.  
MPU:iden suorituskyvyn odotetaan olevan parempi kuin yhden suuren PUT:n, koska MPU-toiminnot voivat olla monisäikeisiä. Tämän seurauksena MPU: iden käyttö hyödyntää paremmin useita yhteyksiä ja kaistanleveyttä. Tämä tarkoittaa, että useita osia voidaan lähettää samanaikaisesti, mikä parantaa yleistä suorituskykyä suurten tiedostojen kirjoittamisessa.

Resursseja sovelluskehittäjille, jotka siirtyvät PUT:sta MPU:hun käyttö:
TransferManager (AWS SDK for Java - 1.12.588) (amazon.com)

AWS:n MPU-yleiskatsaus: (sisältää MPU:n parhaat käytännöt)
Objektien lataaminen ja kopioiminen moniosaisella latauksella – Amazon Simple Storage Service