ECS: Büyük dosyaların yazılması S3 Protokolü için 500 hatasıyla başarısız oluyor

S3 protokolü kullanılarak büyük dosyalara (birden çok GB veya daha büyük) yazma işlemi 500 hatayla başarısız oluyor.

Dosyaları ECS'ye yazmak için "HTTP PUT" veya "HTTPS PUT" kullanma. S3 PUT komutu kısmen bir nesne eklemez. İstek başarılı veya başarısız bir yazma işlemidir (ya hep ya hiç).

Ya hep ya hiç" işlemi olarak, büyük bir dosyanın veri aktarımı sırasındaki herhangi bir kesinti, bu yazma işleminin tamamen başarısız olmasına neden olur. Bu başarısızlık için tek kaynak, tüm yazma işlemini yeniden denemek ve bir sonraki denemede başarılı olmasını ummaktır.

Büyük dosyalar (GB veya daha büyük) için PUT işlemi yerine Çok Parçalı Yüklemelerin (MPU) kullanılması önerilir. Bu öneri, uzun yazma tamamlanma sürelerinden (AWS en iyi uygulamasına göre 100 MB veya daha fazla) kaçınmak için yapılmıştır.

Örnek:
80 GB'lık bir dosya öbek haline getirilir ve her öbek ECS'ye gönderilir. Herhangi bir parçanın karşıya yüklenmesi başarısız olursa tam nesne yerine yalnızca tek bir parçanın yüklenmesi tekrar denenir.  
MPU işlemleri çok iş parçacıklı olabileceğinden, MPU'ların performansının tek bir büyük PUT'den daha iyi olması beklenir. Sonuç olarak, MPU'ların kullanımı birden çok bağlantıyı ve bant genişliğini daha iyi kullanır. Bu, aynı anda birden fazla parçanın gönderilebileceği anlamına gelir ve büyük dosyaların yazılmasındaki genel performansı artırır.

PUT'den MPU kullanımına geçiş yapan uygulama geliştiricileri için kaynaklar:
TransferManager (Java için AWS SDK - 1.12.588) (amazon.com)

AWS MPU'ya genel bakış: (MPU en iyi uygulamalarını içerir)
Çok parçalı yükleme kullanarak nesneleri karşıya yükleme ve kopyalama - Amazon Simple Storage Service