Взаимодействие двух пауков в фреймфорке scrapy

@Matcher · Регистрация: 22.02.2017

Студворк — интернет-сервис помощи студентам

Здравствуйте, как сделать в scrapy так, чтобы один паук вернул данные, которые пропарсил, а второй паук принял эти возвращенные первым пауком данные и, используя их, начал свою работу?

На официальном сайте такой пример:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import scrapy
from scrapy.crawler import CrawlerProcess
 
class MySpider1(scrapy.Spider):
    # Your first spider definition
    ...
 
class MySpider2(scrapy.Spider):
    # Your second spider definition
    ...
 
process = CrawlerProcess()
 
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start() # the script will block here until all crawling jobs are finished

Но он мне не подходит, потому что в crawl передается класс(в данном случае MySpider1), а не объект и я не могу получить возвращаемые данные, чтобы передать их второму пауку...

@Headmaster · 12.04.2017, 16:32

Костыльно, но всё же:

Python
1
2
3
4
import subprocess
 
subprocess.call("spider crawl MySpider2", shell=True)
subprocess.call("spider crawl MySpider2", shell=True)

@Matcher · 12.04.2017, 23:15 **[ТС]**

Headmaster, а как без костылей?

@Headmaster · 13.04.2017, 09:54

Сообщение от Matcher

а как без костылей?

Опиши, хоть примерно, что формирует 1-ый паук для 2-ого. Ссылки?

Добавлено через 10 часов 30 минут
Если в общих чертах, то вот тебе небольшой теоретический вброс/совет: для каждого паука можно создать отдельный файл

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: показать затраченные материалы за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В качестве. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@Matcher 0 / 0 / 0 Регистрация: 22.02.2017 Сообщений: 10
	12.04.2017, 23:15 [ТС]
	Headmaster, а как без костылей? 0

Опции темы