Я только что установил scrapy и выполнил их простой dmoz tutorial, который работает. Я просто просмотрел базовую обработку файлов для python и попытался заставить искателя прочитать список URL-адресов из файла, но получил некоторые ошибки. Возможно, это неправильно, но я сделал это. Кто-нибудь, пожалуйста, покажет мне пример чтения списка URL-адресов в scrapy? Спасибо заранее.
from scrapy.spider import BaseSpider
class DmozSpider(BaseSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
f = open("urls.txt")
start_urls = f
def parse(self, response):
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)