ECS: Skrivning af store filer mislykkes med 500 fejl for S3-protokol

Skrivning af store filer (flere GB eller større) ved hjælp af S3-protokollen mislykkes med 500 fejl.

Brug af "HTTP PUT" eller "HTTPS PUT" til at skrive filerne til ECS. S3 PUT-kommandoen tilføjer ikke et objekt delvist, anmodningen er enten en vellykket eller mislykket skrivning (alt eller intet).

Som en 'alt eller intet' handling resulterer enhver afbrydelse under dataoverførslen af en stor fil i en fuldstændig fejl i denne skrivning. Den eneste ressource til denne fejl er at prøve hele skrivehandlingen igen og håbe, at den lykkes ved næste forsøg.

For store filer (GB eller større) anbefales det, at Multi Part Uploads (MPU) bruges i stedet for PUT-handlingen. Anbefalingen fremsættes for at undgå lange skriveafslutningstider (100 MB eller større i henhold til AWS bedste praksis).

Eksempel:
En 80 GB fil ville blive chunked og hver del sendes til ECS. Hvis en delupload mislykkes, vil kun upload af den enkelte del blive forsøgt igen i stedet for det fulde objekt.  
MPU'ers ydeevne forventes at være bedre end en enkelt stor PUT, fordi MPU-operationer kan være flertrådede. Som følge heraf gør brugen af MPU'er bedre brug af flere forbindelser og båndbredde. Det betyder, at mere end én del kan sendes samtidigt, hvilket forbedrer den samlede ydeevne ved skrivning af store filer.

Ressourcer for programudviklere, der skifter fra PUT til en MPU anvendelse:
TransferManager (AWS SDK for Java - 1.12.588) (amazon.com)

AWS MPU oversigt: (omfatter bedste praksis for MPU)
Upload og kopiering af objekter ved hjælp af upload af flere dele - Amazon Simple Storage Service