Мне нужны Multi-Part DOWNLOADS от Amazon S3 для огромных файлов

Я знаю, что Amazon S3 добавил многопользовательскую загрузку для огромных файлов. Это здорово. То, что мне также нужно, - это аналогичная функциональность на стороне клиента для клиентов, которые получают частичный способ загрузки гигабайтного файла плюс ошибки.

Я понимаю, что у браузеров есть некоторый уровень повторной попытки и возобновление работы, но когда вы говорите об огромных файлах, я бы хотел получить, где они остановились, независимо от типа ошибки.

Любые идеи?

Спасибо, Brian

Ответ 1

S3 поддерживает стандартный HTTP-заголовок "Range", если вы хотите создать собственное решение.

S3 Получение объектов

Ответ 2

Я использую aria2c. Для частного контента вы можете использовать "GetPreSignedUrlRequest" для генерации временных частных URL-адресов, которые вы можете передать в aria2c

Ответ 3

Просто обновление для текущей ситуации, S3 изначально поддерживает многопользовательский GET, а также PUT. https://www.youtube.com/watch?v=uXHw0Xae2ww (zip вперед до 26:00).

Ответ 4

ПРИМЕЧАНИЕ. Только для пользователя Ruby

Попробуйте aws-sdk gem от Ruby и загрузите

object = AWS::S3::Object.new(...)
object.download_file('path/to/file.rb')

Потому что он загружает большой файл с multipart по умолчанию.

Файлы размером более 5 МБ загружаются с использованием метода multipart

http://docs.aws.amazon.com/sdkforruby/api/Aws/S3/Object.html#download_file-instance_method