ECS: Det går inte att skriva stora filer med 500 fel för S3-protokollet

Det går inte att skriva stora filer (flera GB eller större) med S3-protokollet och 500 fel.

Använd "HTTP PUT" eller "HTTPS PUT" för att skriva filerna till ECS. S3 PUT-kommandot lägger inte till ett objekt delvis, begäran är antingen en lyckad eller misslyckad skrivning (allt eller inget).

Som en "allt eller inget"-åtgärd resulterar eventuella störningar under dataöverföringen av en stor fil i ett fullständigt fel i skrivningen. Den enda resursen för det felet är att försöka utföra hela skrivåtgärden igen och hoppas att den lyckas vid nästa försök.

För stora filer (GB eller större) rekommenderar vi att MPU (Multi Part Uploads) används i stället för PUT-åtgärden. Rekommendationen görs för att undvika långa skrivslutförandetider (100 MB eller större, enligt AWS bästa praxis).

Exempel:
En fil på 80 GB segmenteras och varje block skickas till ECS. Om någon deluppladdning misslyckas görs endast ett nytt försök att ladda upp den enskilda delen i stället för det fullständiga objektet.  
Prestandan för MPU:er förväntas vara bättre än en enda stor PUT eftersom MPU-åtgärder kan vara flertrådade. Det innebär att användningen av MPU:er gör att flera anslutningar och bandbredd används bättre. Det innebär att mer än en del kan skickas samtidigt, vilket förbättrar den övergripande prestandan när du skriver stora filer.

Resurser för programutvecklare som byter från PUT till en MPU-användning:
TransferManager (AWS SDK för Java – 1.12.588) (amazon.com)

Översikt över AWS MPU: (inkluderar bästa praxis för MPU)
Ladda upp och kopiera objekt med hjälp av multipart-uppladdning - Amazon Simple Storage Service