Взаимодействие двух пауков в фреймфорке scrapy

@Matcher · Регистрация: 22.02.2017

Студворк — интернет-сервис помощи студентам

Здравствуйте, как сделать в scrapy так, чтобы один паук вернул данные, которые пропарсил, а второй паук принял эти возвращенные первым пауком данные и, используя их, начал свою работу?

На официальном сайте такой пример:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import scrapy
from scrapy.crawler import CrawlerProcess
 
class MySpider1(scrapy.Spider):
    # Your first spider definition
    ...
 
class MySpider2(scrapy.Spider):
    # Your second spider definition
    ...
 
process = CrawlerProcess()
 
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start() # the script will block here until all crawling jobs are finished

Но он мне не подходит, потому что в crawl передается класс(в данном случае MySpider1), а не объект и я не могу получить возвращаемые данные, чтобы передать их второму пауку...

@Headmaster · 12.04.2017, 16:32

Костыльно, но всё же:

Python
1
2
3
4
import subprocess
 
subprocess.call("spider crawl MySpider2", shell=True)
subprocess.call("spider crawl MySpider2", shell=True)

@Matcher · 12.04.2017, 23:15 **[ТС]**

Headmaster, а как без костылей?

@Headmaster · 13.04.2017, 09:54

Сообщение от Matcher

а как без костылей?

Опиши, хоть примерно, что формирует 1-ый паук для 2-ого. Ссылки?

Добавлено через 10 часов 30 минут
Если в общих чертах, то вот тебе небольшой теоретический вброс/совет: для каждого паука можно создать отдельный файл

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@Matcher 0 / 0 / 0 Регистрация: 22.02.2017 Сообщений: 10
	12.04.2017, 23:15 [ТС]
	Headmaster, а как без костылей? 0