У меня есть Spider, который сбрасывает данные, которые нельзя сохранить в одном классе.
Для иллюстрации у меня есть один элемент профиля, и каждый элемент профиля может иметь неизвестное количество комментариев. Вот почему я хочу реализовать элемент профиля и комментарий. Я знаю, что могу передать их на мой конвейер, просто используя выход.
-
Однако я не знаю, как конвейер с одной функцией parse_item может обрабатывать два разных класса элементов?
-
Или можно использовать разные функции parse_item?
-
Или мне нужно использовать несколько конвейеров?
-
Или возможно ли записать Итератор в поле поля Scrapy?
comments_list=[]
comments=response.xpath(somexpath)
for x in comments.extract():
comments_list.append(x)
ScrapyItem['comments'] =comments_list