Загрузка больших файлов на S3 с поддержкой резюме

(Я новичок в Amazon AWS/S3, поэтому, пожалуйста, несите меня)

Моя конечная цель - позволить моим пользователям загружать файлы на S3 с помощью своего веб-браузера, мои требования:

  • Я должен обрабатывать большие файлы (2 ГБ +)
  • Я должен поддерживать паузу/резюме с индикатором прогресса
  • (Необязательно, но желательно!) Возможность возобновить загрузку, если соединение временно выпало.

Мой вопрос из двух частей:

  • Я читал о многостраничной загрузке S3, но не понял, как я могу выполнить паузу/резюме для загрузок на основе веб-браузера.

Возможно ли это сделать для больших файлов? Если да, то как?

  • Должен ли я загружать файлы в EC2, а затем переместить их на S3, как только закончите? Можно Я (надежно) загружаю файлы непосредственно на S3 вместо использования темпа. веб-сервер?

Если вы можете загрузить непосредственно на S3, как я могу обрабатывать паузу/возобновление?

PS. Я использую PHP 5.2 +

ОТВЕТЫ

Ответ 1

Обновление 20150527

Между тем доступный AWS SDK для JavaScript (в браузере) поддерживает Amazon S3, включая класс ManagedUpload, чтобы поддерживать множественные аспекты загрузки используемого варианта (подробнее см. предыдущее обновление). Теперь это может быть лучшим решением для вашего сценария, см., Например, Загрузка локального файла с помощью API файлов для краткого примера, в котором используется HTML5 File API в свою очередь - вводное сообщение в блоге Объявление управляющего загрузчика Amazon S3 в AWS SDK для JavaScript содержит более подробную информацию об этой функции SDK.

Обновление 20120412

Мой первоначальный ответ, по-видимому, пропустил главное, поэтому уточнить:

Если вы хотите сделать загрузку на основе браузера через простые формы HTML, вам будет ограничено использование операции POST Object, которая добавляет объект к указанному ведру с использованием форм HTML:

POST - это альтернативная форма PUT, которая позволяет загружать на основе браузера как способ размещения объектов в ведрах. Параметры, которые передаются в PUT через HTTP-заголовки вместо этого передаются как поля формы в POST в многокомпонентный/форматированный текст. [...]

Загрузка выполняется в одной операции здесь, поэтому не поддерживает приостановку/возобновление и ограничивает максимальный размер оригинального объекта размером 5 гигабайт (ГБ) или меньше.

Вы можете преодолеть оба ограничения только с помощью Используя API REST для загрузки многостраничных файлов вместо, который, в свою очередь, используется SDK, например, AWS SDK для PHP для реализации этой функции.

Для управления транзакцией, инициированной через браузер, очевидно, требуется сервер (например, EC2) (что позволяет вам облегчить S3 Bucket Policies и/или IAM Policies для управления доступом легко).

В качестве альтернативы может использоваться библиотека JavaScript и выполнение этой клиентской стороны, см., например, jQuery Upload Progress и AJAX file upload для исходного указателя. К сожалению, канонический JavaScript SDK для AWS не доступен (aws-lib на удивление даже не поддерживает S3) - видимо, некоторые вилки knox добавили многостраничную загрузку, см., например, slakis fork, я не использовал ни одного из них для используемого варианта.

Исходный ответ

Если вы можете загрузить [большие файлы] прямо на S3, как я могу обрабатывать пауза/резюме?

AWS SDK для PHP поддерживает загрузку больших файлов в Amazon S3 с помощью Низкоуровневый PHP API для загрузки многостраничных файлов:

AWS SDK для PHP предоставляет низкоуровневый API, который очень похож на API-интерфейс Amazon S3 REST для многостраничной загрузки (см. Использование API REST для Multipart Upload). Использовать низкоуровневый API, если вам нужно приостановить и возобновлять многостраничные загрузки, изменять размеры деталей во время загрузки или не выполнять заранее знайте размер данных. Используйте API высокого уровня (см. Использование PHP-API высокого уровня для загрузки многостраничных файлов), когда вы не выполняете имеют эти требования. [акцент мой]

Amazon S3 может обрабатывать объекты от 1 байта до 5 терабайт (TB), см. соответствующий вводный пост Amazon S3 - Ограничение размера объекта сейчас 5 TB:

[...] Теперь клиенты могут хранить чрезвычайно большие файлы как отдельные объекты, что значительно упрощает их хранение опыт. Amazon S3 делает бухгалтерию за кулисами для наших клиентов, поэтому теперь вы можете ПОЛУЧИТЬ этот большой объект, как и вы любой другой объект Amazon S3.

Чтобы хранить более крупные объекты, вы должны использовать новый API многостраничной загрузки, о котором я писал в прошлом месяце, чтобы загрузить объект в частей. [...]

Ответ 2

Я не знаю ни одного флеш-загрузчика, предлагающего что-либо более мощное, чем стандартная HTTP-почта, но вы могли бы разработать собственное программное обеспечение для флеш-памяти для клиента с координирующим программным обеспечением на сервере.