ECS: Scrittura di file di grandi dimensioni con errore 500 per il protocollo S3

La scrittura di file di grandi dimensioni (più GB o superiori) utilizzando il protocollo S3 non riesce con 500 errori.

Utilizzo di "HTTP PUT" o "HTTPS PUT" per scrivere i file in ECS. Il comando PUT di S3 non aggiunge un oggetto parzialmente, la richiesta è una scrittura riuscita o non riuscita (tutto o niente).

Come operazione "tutto o niente", qualsiasi interruzione durante il trasferimento dei dati di un file di grandi dimensioni comporta un errore completo di tale scrittura. L'unica risorsa per questo errore è riprovare l'intera operazione di scrittura e sperare che abbia esito positivo al tentativo successivo.

Per i file di grandi dimensioni (GB o superiori) è consigliabile utilizzare le MPU (Multi Part Upload) anziché l'operazione PUT. La raccomandazione viene fornita al fine di evitare lunghi tempi di completamento della scrittura (100 MB o superiore, secondo le best practice AWS).

Esempio:
Un file da 80 GB verrebbe suddiviso in blocchi e ogni blocco viene inviato a ECS. Se il caricamento di una parte non riesce, verrà tentato di caricare solo la singola parte anziché l'oggetto completo.  
Le prestazioni delle MPU dovrebbero essere migliori rispetto a una singola PUT di grandi dimensioni perché le operazioni MPU possono essere multithread. Di conseguenza, l'utilizzo delle MPU migliora l'utilizzo di più connessioni e larghezza di banda. Ciò significa che è possibile inviare più di una parte contemporaneamente, migliorando le prestazioni complessive nella scrittura di file di grandi dimensioni.

Risorse per gli sviluppatori di applicazioni che passano dall'utilizzo di PUT a quello di MPU:
TransferManager (SDK AWS per Java - 1.12.588) (amazon.com)

Panoramica dell'MPU AWS: (include le best practice MPU)
Caricamento e copia di oggetti utilizzando il caricamento in più parti - Amazon Simple Storage Service