Парсеры сайтов

@danilshik · Регистрация: 04.04.2015

Author24 — интернет-сервис помощи студентам

Здравствуйте, пишу парсер на связке request+Beautiful Soup 4. Переход по 170 url и парсинг ссылок занимает около 300 секунд. Мне кажется это слишком долго, возможно вы знаете более быстрые парсеры.
В Beatiful Soup 4 использовал как и lxml парсер, так и html.parser, но результаты почти одинаковые (lxml иногда бывает быстрее)
Возможно вы использовали другие связки.
Может быть urlib быстрее работает чем request? Не охота как-то переписывать код под разные связки, возможно кто-то уже опробовал их всех, и может сказать, какие из них лучше.
Для эмуляции браузера (ввод в форму и т.д) использую связки Selenium+Beatiful Soup 4, но мне кажется он все так же долго выполняет парсинг (на 30 секунд дольше чем request+Beatiful Soup). Возможно вы посоветуете другие вариант
Мой парсер парсинг выполняет онлайн (без сохранения Html страницы) в 1 поток.
Хочу переделать выполнение под несколько потоков, но для начала нужно выбрать лучшую связку.

@Avazart · 24.12.2017, 23:10

Распределить запросы между потоками/процессами

Сообщение от danilshik

Beautiful Soup 4.

Можно заменить libxml для увеличения скорости.

Jabbson · 25.12.2017, 06:39

Сообщение от danilshik

Переход по 170 url и парсинг ссылок занимает около 300 секунд. Мне кажется это слишком долго, возможно вы знаете более быстрые парсеры.

параллелить?

@danilshik 4 / 4 / 2 Регистрация: 04.04.2015 Сообщений: 186
		1
	Парсеры сайтов 24.12.2017, 21:25. Показов 611. Ответов 2 Метки нет (Все метки) Здравствуйте, пишу парсер на связке request+Beautiful Soup 4. Переход по 170 url и парсинг ссылок занимает около 300 секунд. Мне кажется это слишком долго, возможно вы знаете более быстрые парсеры. В Beatiful Soup 4 использовал как и lxml парсер, так и html.parser, но результаты почти одинаковые (lxml иногда бывает быстрее) Возможно вы использовали другие связки. Может быть urlib быстрее работает чем request? Не охота как-то переписывать код под разные связки, возможно кто-то уже опробовал их всех, и может сказать, какие из них лучше. Для эмуляции браузера (ввод в форму и т.д) использую связки Selenium+Beatiful Soup 4, но мне кажется он все так же долго выполняет парсинг (на 30 секунд дольше чем request+Beatiful Soup). Возможно вы посоветуете другие вариант Мой парсер парсинг выполняет онлайн (без сохранения Html страницы) в 1 поток. Хочу переделать выполнение под несколько потоков, но для начала нужно выбрать лучшую связку. 0

@Avazart 8385 / 6147 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	24.12.2017, 23:10	2
	Распределить запросы между потоками/процессами Сообщение от danilshik Beautiful Soup 4. Можно заменить libxml для увеличения скорости. 0

Jabbson 5898 / 3355 / 1035 Регистрация: 03.11.2009 Сообщений: 10,003
	25.12.2017, 06:39	3
	Сообщение от danilshik Переход по 170 url и парсинг ссылок занимает около 300 секунд. Мне кажется это слишком долго, возможно вы знаете более быстрые парсеры. параллелить? 0