Знаете ли вы/используете любую распределенную очередь заданий для python? Можете ли вы поделиться ссылками или инструментами
Реализация очереди заданий для python
Ответ 1
В дополнение к многопроцессорной обработке также используется проект Celery, если вы используете Django.
Ответ 2
Pyres - это квест, созданный в python. Resque используется Github в качестве очереди сообщений. Оба используют Redis в качестве бэкэнда очереди и предоставляют веб-приложение мониторинга.
Ответ 3
Там также есть "башмак" Сильвена Хельлегауарха, который вы можете найти здесь:
Он описывает себя следующим образом:
- bucker - это система очередей, которая поддерживает несколько хранилищ для очереди (memcached, Amazon SQS) и управляется XML-сообщениями, отправленными по TCP-соединениям между клиентом и сервером очереди.
Ответ 4
Посмотрите beanstalkd
Ответ 5
redqueue? Он реализован в инфраструктуре python + tornado, говорит о протоколе memcached и может быть постоянным в файлах журналов. В настоящее время он также может вести себя как beanstalkd, путь резервирования/удаления в протоколе memcache.
Ответ 6
Если вы считаете, что сельдерей слишком тяжелый для ваших нужд, вы можете посмотреть на простоту распределенной задачи:
Ответ 7
Это на год поздно или что-то еще, но это то, что я взломал вместе, чтобы сделать очередь процессов, выполняющих их только по Х-числу за раз. http://github.com/goosemo/job_queue
Ответ 8
Вероятно, вы хотите посмотреть на очередь многопроцессорности. Включенный в Python 2.6, получите его на PyPI для более ранних версий Python.
Документация по стандартной библиотеке: http://docs.python.org/library/multiprocessing.html На PyPI: http://pypi.python.org/pypi/multiprocessing
Ответ 9
Также есть Unix 'at'
Для получения дополнительной информации: человек в