ECS: Zápis velkých souborů selhává s 500 chybami pro protokol S3

Zápis velkých souborů (více GB nebo větších) pomocí protokolu S3 selhává s 500 chybami.

Pomocí příkazu "HTTP PUT" nebo "HTTPS PUT" zapište soubory do systému ECS. Příkaz S3 PUT nepřidá objekt částečně, požadavek je úspěšný nebo neúspěšný zápis (všechno nebo nic).

Vzhledem k tomu, že se jedná o operaci "všechno nebo nic", jakékoli přerušení přenosu dat velkého souboru má za následek úplné selhání tohoto zápisu. Jediným prostředkem pro toto selhání je zopakovat celou operaci zápisu a doufat, že při příštím pokusu proběhne úspěšně.

U velkých souborů (GB a větších) se doporučuje místo operace PUT použít funkci MPU (Multi Part Uploads). Toto doporučení se provádí, aby se zabránilo dlouhým časům dokončení zápisu (100 MB nebo více, podle osvědčených postupů AWS).

Příklad:
Soubor o velikosti 80 GB bude rozdělen na bloky a každý kus je odeslán do systému ECS. Pokud se nahrávání některé části nezdaří, bude se opakovat pouze nahrání jedné části, nikoli celého objektu.  
Očekává se, že výkon MPU bude lepší než u jednoho velkého PUT, protože operace MPU mohou být vícevláknové. Výsledkem je, že použití MPU lépe využívá více připojení a šířku pásma. To znamená, že současně lze odeslat více než jednu část, což zlepšuje celkový výkon při zápisu velkých souborů.

Zdroje pro vývojáře aplikací, kteří přecházejí z PUT na MPU:
TransferManager (AWS SDK pro Java – 1.12.588) (amazon.com)

Přehled AWS MPU: (včetně osvědčených postupů pro MPU)
Nahrávání a kopírování objektů pomocí nahrávání s více částmi – služba Amazon Simple Storage Service