Парсинг содержимого страницы, которое формируется через AJAX

@Challenger85 · Регистрация: 15.10.2015

Студворк — интернет-сервис помощи студентам

Доброго времени.
Подскажите как можно реализовать парсинг содержимого, формируемого AJAX? BS4 не делает request на AJAX, а парсит начальный html.

@Welemir1 · 17.08.2020, 14:09

Challenger85, селениум

@Challenger85 · 17.08.2020, 19:17 **[ТС]**

С Селениумом такая проблема -

Code
1
Message: 'chromedriver' executable needs to be in PATH

Прописал абсолютный путь к драйверу (он там есть и его версия совпадает с версией браузера), прописал путь к бинарнику самого браузера, но проблема та же.

Python
1
2
3
4
5
6
7
8
9
10
11
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
 
 
def getting_scripts(url='https://russiaedu.ru/schools'):
    options = Options()
    options.binary_location = "/usr/bin/google-chrome"
    driver = Chrome(executable_path='/usr/bin/chromedriver', options=options)
    driver.get(url)
    table = driver.find_element_by_tag_name('table')
    pprint(table)

Может ли быть проблема в виртуальном окружении? И если да, то как её решить? Драйвер я допустим закину в bin виртуалки, но браузер как ставить туда?

@Welemir1 · 17.08.2020, 19:19

Challenger85, нужно просто прямыми руками скопировать драйвер в папку, затем добавить эту папку в PATH твоей ОС, больше никаких путей никуда прописывать не надо. Ну и читать доку самого селениума

@Challenger85 · 17.08.2020, 19:21 **[ТС]**

Драйвер скопирован, в path ОС добавлен. Но та же ошибка.

@Welemir1 · 19.08.2020, 09:33

Challenger85, очевидно что ты что-то делаешь не так, в доках написаны варианты установки и как запускать драйвер на разных ОС, я никогда путь не прописываю в коде, просто использую PATH

@АмигоСП · 19.08.2020, 22:05

Challenger85, прежде, чем парсить сайт, нужно хорошенько покопаться в браузере. Куда какие запросы идут и всё тому подобное. Благодаря этому, в большинстве случаев, достаточно будет библиотеки requests.

Python
1
2
3
4
5
6
7
8
9
10
11
import requests
 
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0',
           'Accept': 'application/json, text/javascript, */*; q=0.01'}
 
url = 'https://russiaedu.ru/_ajax/schools?edu_school_filter%5BschoolName%5D=&edu_school_filter%5Bregion%5D=' \
      '&edu_school_filter%5Bdistrict%5D=&edu_school_filter%5BformType%5D=&edu_school_filter%5BownershipType%5D=' \
      '&edu_school_filter%5B_token%5D=mZ4TgkB-uxCGEws3rnAwECJLcbCLooAiS2kGOogr0cA&pp=10&pageNumber=1&direction='
 
json_ = requests.get(url, headers=headers)
print(json_.json())

Новые блоги и статьи Все статьи Все блоги /
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .

@Challenger85 1 / 1 / 1 Регистрация: 15.10.2015 Сообщений: 112

	Парсинг содержимого страницы, которое формируется через AJAX 17.08.2020, 12:13. Показов 4016. Ответов 6 Метки нет (Все метки) Доброго времени. Подскажите как можно реализовать парсинг содержимого, формируемого AJAX? BS4 не делает request на AJAX, а парсит начальный html. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	17.08.2020, 14:09
	Challenger85, селениум 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	17.08.2020, 19:19
	Challenger85, нужно просто прямыми руками скопировать драйвер в папку, затем добавить эту папку в PATH твоей ОС, больше никаких путей никуда прописывать не надо. Ну и читать доку самого селениума 0

@Challenger85 1 / 1 / 1 Регистрация: 15.10.2015 Сообщений: 112
	17.08.2020, 19:21 [ТС]
	Драйвер скопирован, в path ОС добавлен. Но та же ошибка. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	19.08.2020, 09:33
	Challenger85, очевидно что ты что-то делаешь не так, в доках написаны варианты установки и как запускать драйвер на разных ОС, я никогда путь не прописываю в коде, просто использую PATH 0