Написание парсера для сайта, структура которого подгружается javascript

@danilshik · Регистрация: 04.04.2015

Студворк — интернет-сервис помощи студентам

Здравствуйте, попытался использовать Beautiful Soup, приходит ответ, в котором все элементы в body - являются javascript'ом. Как парсить такие сайты? Попытался использовать Selenium в 10 потоков, в итоге CPU загружено на 100%, а для того чтобы спарсить одну категорию товаров в 563 городах, и наличие этого товара в магазинах этих городов, требуется по подсчетам больше суток. Посоветуйте, что нибудь. Именно нужно скорость парсинга

@ТабуретY · 04.04.2018, 12:28

Нужно использовать headless браузеры в таких случаях

@danilshik · 04.04.2018, 12:29 **[ТС]**

Сообщение от ТабуретY

Нужно использовать headless браузеры в таких случаях

Какие вы посоветуете?

@ТабуретY · 04.04.2018, 12:38

Вот список https://github.com/dhamaniasad/HeadlessBrowsers
Я как-то использовал Nightmare. но на js

а вообще, то есть же сайты где парсят не задорого или даже бесплатно если не очень много, там можно посмотреть

@IRIP · 04.04.2018, 16:22

> Написание парсера для сайта, структура которого подгружается javascript - Python

wget site or webpage
and scrap info =)

russian idea!

Новые блоги и статьи Все статьи Все блоги /
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ

@danilshik 4 / 4 / 2 Регистрация: 04.04.2015 Сообщений: 186

	Написание парсера для сайта, структура которого подгружается javascript 04.04.2018, 11:31. Показов 1058. Ответов 4 Метки нет (Все метки) Здравствуйте, попытался использовать Beautiful Soup, приходит ответ, в котором все элементы в body - являются javascript'ом. Как парсить такие сайты? Попытался использовать Selenium в 10 потоков, в итоге CPU загружено на 100%, а для того чтобы спарсить одну категорию товаров в 563 городах, и наличие этого товара в магазинах этих городов, требуется по подсчетам больше суток. Посоветуйте, что нибудь. Именно нужно скорость парсинга 0

@ТабуретY 1741 / 913 / 480 Регистрация: 05.12.2013 Сообщений: 3,074
	04.04.2018, 12:28
	Нужно использовать headless браузеры в таких случаях 0

@ТабуретY 1741 / 913 / 480 Регистрация: 05.12.2013 Сообщений: 3,074
	04.04.2018, 12:38
	Вот список https://github.com/dhamaniasad/HeadlessBrowsers Я как-то использовал Nightmare. но на js а вообще, то есть же сайты где парсят не задорого или даже бесплатно если не очень много, там можно посмотреть 0

@IRIP 514 / 146 / 28 Регистрация: 18.04.2015 Сообщений: 1,904 Записей в блоге: 16
	04.04.2018, 16:22
	> Написание парсера для сайта, структура которого подгружается javascript - Python wget site or webpage and scrap info =) russian idea! 0