Парсинг страницы со скриптами javascript

@Ryder95 · Регистрация: 24.10.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте, столкнулся с такой проблемой!
Нужно спарсить сайт, но практически весь контент на нём появляется с помощью javascript, причём связи между готовой html страничкой в браузере и неготовой страничкой исходного кода я не нашёл. Вот такой вопрос: можно ли получить страницу в Python, собрать её и избавиться таким образом от javascript-ов и спокойно парсить? Или, может быть, есть модуль для изначального поиска по странице с javascript-ами?

На всякий случай, сайт hackerrank.com. Мне нужно скачать все мои конечные решения всех моих задач

Спасибо заранее за помощь

@ivitaliy · 29.09.2015, 15:12

Похоже на то, что контент подгружается с помощью технологии AJAX. Если это так, то понадобится HTTP сниффер для отслеживания запросов. Дальше нужно повторять запросы и парсить результаты.

@Ryder95 · 29.09.2015, 15:15 **[ТС]**

Не подскажете, как пользоваться http снифером и каким образом ajax подгружает контент?

@ivitaliy · 29.09.2015, 15:23

Если пользуетесь Firefox, могу посоветовать дополнение HttpFox. Принцип работы любого сниффера одинаковый - отслеживать запросы, которые делает пользователь, либо, как в вашем случае javascript код. Если сервер отвечает на запрос, отслеживается также и ответ. Может быть, не понятно, если никогда не занимались этим, но как только установите сниффер, все должно прояснится. После того, как поймете, куда идут запросы, повторите их и начинайте анализировать ответ. Про Ajax.

@alex925 · 29.09.2015, 15:46

Все тупо и просто, берешь selenium, используешь любой понравившийся браузер и все готово.

Сообщение от ivitaliy

Если пользуетесь Firefox, могу посоветовать дополнение HttpFox.

Тоже занимался подобными вещами, в firefox великолепные инструменты разработчики сразу из коробки есть, ни какие расширения не нужны.

@scio me nescire · 29.09.2015, 17:01

Ryder95,
В общем там все довольно просто вот такой запрос шлется при логине на выделенный мной адрес
далее внизу вы можете увидеть данные которые пересылаются на https://www.hackerrank.com/auth/login

Парсинг страницы со скриптами javascript

вот они:
login:test
password:test
remember_me:false
fallback:true

следовательно в любой удобной для вас библиотеке делаете POST запрос с такими же данными
типа:

Python
1
2
data = {'login': 'test', 'password': 'test', 'remember_me': 'false', 'fallback': 'true'}
r = requests.post("https://www.hackerrank.com/auth/login", data=data)

далее в r у вас будет лежать Response от сервера в json

Не по теме:

фак как миниатюру убрать ?

@Ryder95 · 30.09.2015, 12:39 **[ТС]**

Не могли бы родсказать, что именно нужно достать из selenium-а? Скажем так, с помощью requests я достал много информации (разделы, подразделы), кроме главной (задачи и их решения):

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import requests, getpass, json, os
session=requests.Session()
login=input("Введите логин: ")
password=getpass.getpass("Введите пароль: ")
response=session.get("https://www.hackerrank.com/login",\
auth=(login, password))
auth_page=response.text
if auth_page.find("<!DOCTYPE html>")!=-1:
    print("Авторизация пройдена успешно")
else:
    print("Ошибка авторизации")
    input()
    exit(255)
response=session.get("https://www.hackerrank.com/domains")
print(dir(response.json))
domains_page=response.text
parts=None
try:
    index=domains_page.index("HR.PREFETCH_DATA = ")
    domains_page=domains_page[index+19:]
    index=domains_page.index(";")
    domains_page=domains_page[:index]
    parts=json.loads(domains_page)
except:
    exit(254)

Теперь бы мне получить просто html содержимое файла
В общем, всё, что сделал selenium - это открыл браузер, причём без моего логина, что, в общем, не удивительно, ведь я не знаю, как в нём залогиниться(

UPD:
Лазая в Google Chrome, нашёл такую штуку:

В нём хранится весь мой код.
Не подскажите, как же достать его оттуда с помощью кода Python?

@Ryder95 · 30.09.2015, 12:42 **[ТС]**

Хотя нет, здесь не просто мой код, а тот код, который отображается при открытии каждой задачи

@ivitaliy · 30.09.2015, 12:50

Нужно запустить selenium, потом открыть браузер и авторизоваться. Затем остановить selenium и посмотреть куда и какие запросы шли. Проанализировать и повторить запросы в Python.

@alex925 · 30.09.2015, 13:02

Сообщение от Ryder95

Теперь бы мне получить просто html содержимое файла

А в чем проблема то? У объекта browser есть метод, который возвращает html.

Алгоритм то работы простой, сначала делаешь тоже самое, что в ручную (загружаешь страницу, тыкаешь на нужные кнопки), а потом просто вытягиваешь html парсишь его.

http://selenium-python.readthe... arted.html

Python
1
driver.page_source

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@Ryder95 9 / 9 / 8 Регистрация: 24.10.2013 Сообщений: 215

	Парсинг страницы со скриптами javascript 29.09.2015, 14:38. Показов 21620. Ответов 9 Метки нет (Все метки) Здравствуйте, столкнулся с такой проблемой! Нужно спарсить сайт, но практически весь контент на нём появляется с помощью javascript, причём связи между готовой html страничкой в браузере и неготовой страничкой исходного кода я не нашёл. Вот такой вопрос: можно ли получить страницу в Python, собрать её и избавиться таким образом от javascript-ов и спокойно парсить? Или, может быть, есть модуль для изначального поиска по странице с javascript-ами? На всякий случай, сайт hackerrank.com. Мне нужно скачать все мои конечные решения всех моих задач Спасибо заранее за помощь 0

@ivitaliy 34 / 20 / 9 Регистрация: 29.08.2015 Сообщений: 87
	29.09.2015, 15:12
	Похоже на то, что контент подгружается с помощью технологии AJAX. Если это так, то понадобится HTTP сниффер для отслеживания запросов. Дальше нужно повторять запросы и парсить результаты. 0

@Ryder95 9 / 9 / 8 Регистрация: 24.10.2013 Сообщений: 215
	29.09.2015, 15:15 [ТС]
	Не подскажете, как пользоваться http снифером и каким образом ajax подгружает контент? 0

@ivitaliy 34 / 20 / 9 Регистрация: 29.08.2015 Сообщений: 87
	29.09.2015, 15:23
	Если пользуетесь Firefox, могу посоветовать дополнение HttpFox. Принцип работы любого сниффера одинаковый - отслеживать запросы, которые делает пользователь, либо, как в вашем случае javascript код. Если сервер отвечает на запрос, отслеживается также и ответ. Может быть, не понятно, если никогда не занимались этим, но как только установите сниффер, все должно прояснится. После того, как поймете, куда идут запросы, повторите их и начинайте анализировать ответ. Про Ajax. 0

@Ryder95 9 / 9 / 8 Регистрация: 24.10.2013 Сообщений: 215
	30.09.2015, 12:42 [ТС]
	Хотя нет, здесь не просто мой код, а тот код, который отображается при открытии каждой задачи 0

@ivitaliy 34 / 20 / 9 Регистрация: 29.08.2015 Сообщений: 87
	30.09.2015, 12:50
	Нужно запустить selenium, потом открыть браузер и авторизоваться. Затем остановить selenium и посмотреть куда и какие запросы шли. Проанализировать и повторить запросы в Python. 0