Как загружать большие файлы на Heroku (особенно видео)

Обновление:

ОП здесь. Я до сих пор не совсем понимаю, почему я получаю именно эту ошибку 413, но мне удалось найти решение, которое работает с помощью s3_swf_upload гем. Реализация включает флэш-память, что далеко не идеально, но это было единственное решение (из 3 или 4, которые я пробовал), которое я смог заставить работать.

Как указал Нил (спасибо, Нил!), я должен был получить сообщение об ошибке «H12 — тайм-аут запроса». И я столкнулся с этой ошибкой после повторных испытаний. Проблема возникает, когда вы пытаетесь загрузить большие файлы на сервер heroku с вашего контроллера (используя веб-дино), потому что серверу требуется слишком много времени, чтобы ответить на почтовый запрос.

Правильный подход — отправить файл напрямую на s3, минуя героку.

Вот общий обзор моего подхода:

1. Используйте гем s3_swf_upload, чтобы предоставить форму прямой загрузки на s3.
2. Определите, когда файл будет загружен, с помощью функции обратного вызова javascript, предоставленной в драгоценном камне.
3. Используя javascript, отправьте рельсам почтовое сообщение, чтобы ваш сервер знал, что загрузка файла завершена.
4. Контроллер, который отвечает на публикацию javascript, делает две вещи: (a) присваивает атрибут s3_key видеообъекту (подается как параметр в форме). (b) запускает фоновую задачу с помощью гема delayed_job.
5. Фоновая задача извлекает файл из s3. Для этого я использовал гем aws-sdk, так как он уже был включен в s3_swf_upload. Обратите внимание, что это заметно отличается от драгоценного камня aws-s3 (фактически они конфликтуют друг с другом).
6. После того, как файл был получен из s3, я использовал гем vimeo, чтобы загрузить его на vimeo (все еще в задний план).

Приведенная выше реализация работает, но не идеальна. Для файлов размером около 500 МБ вы все равно столкнетесь с ошибками R14 в рабочих динамометрах. Это происходит из-за того, что heroku выделяет только 512 МБ памяти на dyno, поэтому вы не можете загрузить весь файл в память сразу. Обойти эту проблему можно путем реализации своего рода фрагментации на последнем шаге, когда вы извлекаете файл из s3 и загружаете его в vimeo по частям. Я все еще работаю над этой частью, и я хотел бы услышать любые ваши предложения.

Надеюсь, это может помочь кому-то. Не стесняйтесь задавать мне любые вопросы. Как я уже сказал, мое решение не идеально, поэтому не стесняйтесь добавлять свой собственный ответ, если считаете, что он может быть лучше.

Я думаю, что лучшим вариантом здесь действительно является загрузка непосредственно на S3. Это намного дешевле и намного безопаснее, чем позволять пользователям загружать файлы на ваш собственный сервер (или в данном случае на Heroku). Это также хорошо зарекомендовавший себя шаблон, используемый многими платформами видеохостинга (я знаю, что vzaar делает это).

Ознакомьтесь с подключаемым модулем загрузки jQuery, который позволяет напрямую загружать файлы в S3: https://github.com/blueimp/jQuery-File-Upload

Также проверьте Railscasts по этой теме: #381 и #383.

Ваша самая большая проблема заключается не в размере файлов, а в том, что вы ожидаете, что пользователь загрузит большие файлы в Heroku, а затем передаст их дальше. Проблема здесь в том, что все запросы на платформе Heroku должны возвращать первый байт в течение 30 секунд, что в вашем случае очень маловероятно.

Поэтому вам нужно подумать о том, чтобы заставить пользователей загружать файлы напрямую на S3/Vimeo/куда угодно, а затем подключать данные вашего приложения к этим загруженным ресурсам.

Если вы используете Ruby, возможно, стоит взглянуть на драгоценный камень прямой передачи несущей, чтобы узнать, как это делается. В противном случае есть сторонние службы, которые позволяют вам сделать это с помощью некоторого кода, который вы можете добавить на страницу, но за них взимается дополнительная плата.