Scrapy, определенное количество пауков за раз

20.06.2017, 12:28. Показов 1540. Ответов 0

Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам

Есть управляющий скрипт, который запускает нескольких пауков

Python
1
2
3
4
5
s = get_project_settings()
process = CrawlerProcess(s)
for spider in spider_list:
    process.crawl(spider)
process.start()

Хочу переделать следующим образом: два паука стартуют сразу, а третий стартует только когда один завершит работу (т.е. только два в одно время).

Смотрел в сторону scrapy.signals

Python
1
2
3
4
5
6
7
8
9
10
from scrapy.xlib.pydispatch import dispatcher
 
class PageSpider(CrawlSpider):
 
    def __init__(self):
        dispatcher.connect(self.spider_closed, signals.spider_closed)
        # some code
 
    def spider_closed(self, spider):
        # some code

но не могу понять, как получить сигнал о закрытие паука в управляющей программе

cpp_developer

Эксперт

20123 / 5690 / 1417

Регистрация: 09.04.2010

Сообщений: 22,546

Блог

20.06.2017, 12:28

Ответы с готовыми решениями:

Взаимодействие двух пауков в фреймфорке scrapy
Здравствуйте, как сделать в scrapy так, чтобы один паук вернул данные, которые пропарсил, а второй паук принял эти возвращенные первым...

Запуск bat-файла определенное количество раз и определенное количество дней
1 есть .bat файл, который запускает некий скрипт. Требуется настроить его так, что бы запуск происходил определенное количество дней. Как...

Вставить в массив определенный элемент определенное количество раз на определенное место
Задачка такая: вставить в массив определенный элемент определенное количество раз на определенное место (не используя строки и insert). То,...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

raxper

Эксперт

30234 / 6612 / 1498

Регистрация: 28.12.2010

Сообщений: 21,154

Блог

20.06.2017, 12:28

Помогаю со студенческими работами здесь

Определить количество слов, которое содержат заданную букву определенное количество раз
здравствуйте. помогите пожалуйста с задачей:) дан текст. определить количество слов которое содержат заданную букву определенное...

Запуск процедуры определённое количество раз
mov cx,n starter: mov si,0 mov di,0 mov al,mas startor: cmp al,mas jle met mov al,mas mov si,di met: inc di

Сделать действие определенное количество раз
Всем доброе время суток! Подскажите как реализовать такую функцию, чтобы 1 пользователь смог купить только 2 билета в час. При покупке 3его...

Вывод результата определённое количество раз
Есть следующий код: domains x=integer i=integer k=integer predicates search(x,i,k) rez clauses

Вывести число определенное количество раз
задаётся натуральное число. сделать программу, для вывода такого количества единиц, какого это значение и задаётся натуральное число....

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:

Новые блоги и статьи Все статьи Все блоги /
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ

Наверх