ECS : Échec de l’écriture de fichiers volumineux avec des erreurs 500 pour le protocole S3

L’écriture de fichiers volumineux (plusieurs Go ou plus) à l’aide du protocole S3 échoue avec des erreurs 500.

Utilisation de « HTTP PUT » ou « HTTPS PUT » pour écrire les fichiers dans ECS. La commande S3 PUT n’ajoute pas d’objet partiellement. La demande est une écriture réussie ou en échec (tout ou rien).

Dans le cadre d’une opération « tout ou rien », toute interruption lors du transfert de données d’un fichier volumineux entraîne l’échec complet de l’écriture. La seule ressource pour cet échec est de réessayer l’ensemble de l’opération d’écriture et d’espérer qu’elle aboutisse lors de la prochaine tentative.

Pour les fichiers volumineux (Go ou plus), il est recommandé d’utiliser Multi Part Uploads (MPU) au lieu de l’opération PUT. Cette recommandation est faite afin d’éviter les longs délais d’exécution des écritures (100 Mo ou plus, conformément aux bonnes pratiques AWS).

Exemple:
Un fichier de 80 Go est fragmenté et chaque fragment est envoyé à ECS. En cas d’échec du téléchargement d’une partie, seul le téléchargement de la partie individuelle est retenté, et non celui de l’objet complet.  
Les performances des MPU devraient être supérieures à celles d’un PUT volumineux, car les opérations MPU peuvent être multithread. Par conséquent, l’utilisation des MPU permet une meilleure utilisation des connexions multiples et de la bande passante. Cela signifie que plusieurs parties peuvent être envoyées simultanément, ce qui améliore les performances globales lors de l’écriture de fichiers volumineux.

Ressources pour les développeurs d’applications passant d’une utilisation PUT à une utilisation MPU :
TransferManager (AWS SDK for Java - 1.12.588) (amazon.com)

Présentation d’AWS MPU : (inclut les pratiques d’excellence en matière de MPU)
Téléchargement et copie d’objets à l’aide du téléchargement en plusieurs parties - Amazon Simple Storage Service