Я получаю ошибку twisted.internet.error.ReactorNotRestartable
при выполнении следующего кода:
from time import sleep
from scrapy import signals
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from scrapy.xlib.pydispatch import dispatcher
result = None
def set_result(item):
result = item
while True:
process = CrawlerProcess(get_project_settings())
dispatcher.connect(set_result, signals.item_scraped)
process.crawl('my_spider')
process.start()
if result:
break
sleep(3)
В первый раз, когда он работает, я получаю сообщение об ошибке. Я создаю переменную process
каждый раз, так что проблема?