Каков самый простой способ запуска скриптов python на сервере облаков?

У меня есть веб-обход python script, на который уходит много часов, и он не может быть запущен полностью на моей локальной машине. Есть ли удобный способ развернуть это на простой веб-сервер? script в основном загружает веб-страницы в текстовые файлы. Как это лучше всего сделать? Спасибо!

Ответ 1

Поскольку вы сказали, что производительность - это проблема, и вы делаете веб-скребок, первое, что нужно попробовать, - это Scrapy framework - it это очень быстрая и простая в использовании веб-скребка. scrapyd инструмент позволит вам распространять обход - вы можете иметь несколько служб scrapyd, работающих на разных серверах, и разделять нагрузку между ними. См:

Существует также Scrapy Cloud:

Scrapy Cloud объединяет высокоэффективную разработку Scrapy окружающей среды с надежной, полнофункциональной производственной средой для развертывание и запуск ваших обходов. Это похоже на Heroku для Scrapy, хотя другие технологии будут поддерживаться в ближайшем будущем. Он работает верхней части платформы Scrapinghub, что означает, что ваш проект может масштабироваться при необходимости.

Ответ 2

Есть несколько мест, где вы можете это сделать. Просто google для "python in the cloud", вы придумаете несколько, например https://www.pythonanywhere.com/.

Кроме того, есть также несколько облачных IDE, которые по существу дают вам небольшую виртуальную машину бесплатно, где вы можете разработать свой код в веб-среде IDE, а также запустить ее в виртуальной машине, одним из примеров является http://www.c9.io.

Ответ 3

В качестве альтернативы уже предоставленным решениям я бы предложил Heroku. Вы можете не просто легко развертывать веб-сайт, но и сценарии для запуска ботов.

Базовая учетная запись бесплатна и довольно гибкая.

Эта запись в блоге, этот и это видео содержит практические примеры того, как заставить его работать.

Ответ 4

В качестве другой альтернативы, вы можете скопировать и вставить свой скрипт в WayScript (не нужно менять код или что-то настраивать).

Вот учебник.