Задержка на requests

@Кирилл12321 · Регистрация: 02.01.2019

Студворк — интернет-сервис помощи студентам

Подключился к сайту через get. На этом сайте первые 5-10 секунд прогружаются задания, после чего они становятся видны. Соответственно и в структуре страницы html они появляются после 5-10 секунд ожидания. Как сделать это ожидание? Знаю, что есть timeout, у меня не получилось. Нужно же чтобы get делался непрерывно это время и через 10 секунд вывел код страницы. Какие идеи?

@Welemir1 · 16.08.2019, 06:02

Кирилл12321, я помню, что ты дизайнер, но прочесть бы тебе про работу хттп и браузеры. Твои задания прогружаются отдельным скриптом, который лежит на сайте, то есть в первоначальном коде страницы их (данных) нет, потому реквестс тебе их не вернет ни при каких обстоятельствах. Почему? потому что в отличие от браузера, реквестс не выполняет скрипты на странице, не умеет в джаваскрипт, это не ее работа.
Решение? Использовать например селениум, это библиотека использующая настоящий браузер, то есть все поведение в ней соответствует тому, что ты видишь в своем Огнелисе. У селениума можно тоже установить твои куки (уже полученные в другой теме), перейти на страницу, подождать сколько угодно времени и выгрузить данные. Причем селениум умеет их парсить, то есть можно выгрузить только то, что тебе нужно.
Где, как? Документация!

Плюс: освоив селениум в достаточной степени можешь фрилансить еще и на нем - это популярная либа для скрапинга данных в инете и для автоматизации тестирования!

@Кирилл12321 · 16.08.2019, 11:35 **[ТС]**

Блин, да, ты чертовски прав) Когда спать ложился понял, что динамическая часть страницы не будет постоянно меняться в html. Но селениум не поддерживается на heroku. Я же уже написал скрипт на селениуме. Значит надо как то через request прогружать наверно. Или загрузить селениум на heroku, но информации как это сделать не нашел.

Добавлено через 1 минуту
Хотя с heroku сейчас попробую разобраться. Может подскажешь просто как на будущее можно со скриптами прогружать?

@Welemir1 · 16.08.2019, 11:39

Сообщение от Кирилл12321

Подскажи просто как на будущее можно со скриптами прогружать?

чего? по-русски пиши или на английском, я других не знаю языков.

@Кирилл12321 · 16.08.2019, 11:47 **[ТС]**

Сообщение от Welemir1

Твои задания прогружаются отдельным скриптом

Этот скрипт можно прогружать через requests?)

@Welemir1 · 16.08.2019, 12:00

Сообщение от Кирилл12321

Этот скрипт можно прогружать через requests?)

загрузить то можно, выполнить нельзя, это джаваскрипт код.
так, а там точно нет апи на сайте, ведь херней какой-то занимаешься, если вдруг окажется что есть

@Кирилл12321 · 16.08.2019, 12:08 **[ТС]**

Да не, они против ботов. Не даст поддержка api

Добавлено через 57 секунд
Но спасибо ОГРОМНЕЙШЕЕ. Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально!

@Welemir1 · 16.08.2019, 12:15

Сообщение от Кирилл12321

Это гениально!

основы веба...

@Garry Galler · 16.08.2019, 15:44

Сообщение от Кирилл12321

Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально!

Нет тут ничего гениального. Просто сайт тебя опознал по "печенькам" и решил, что можно не запускать капчу. На любом другом сайте может быть настроено совсем по-другому и авторизация не отменит прохождение капчи. Кроме того, как только сайт видит, что с аккаунта поступает много запросов похожих на автоматические - он опять может включить капчу.
А нынешние гугл-капчи программно уже не обходятся. Только посредством человеко-ботов из Восточной Азии.

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит переходные токи и напряжения на элементах схемы. . . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133

	Задержка на requests 15.08.2019, 23:56. Показов 11823. Ответов 8 Метки нет (Все метки) Подключился к сайту через get. На этом сайте первые 5-10 секунд прогружаются задания, после чего они становятся видны. Соответственно и в структуре страницы html они появляются после 5-10 секунд ожидания. Как сделать это ожидание? Знаю, что есть timeout, у меня не получилось. Нужно же чтобы get делался непрерывно это время и через 10 секунд вывел код страницы. Какие идеи? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	16.08.2019, 06:02
	Сообщение было отмечено Кирилл12321 как решение Решение Кирилл12321, я помню, что ты дизайнер, но прочесть бы тебе про работу хттп и браузеры. Твои задания прогружаются отдельным скриптом, который лежит на сайте, то есть в первоначальном коде страницы их (данных) нет, потому реквестс тебе их не вернет ни при каких обстоятельствах. Почему? потому что в отличие от браузера, реквестс не выполняет скрипты на странице, не умеет в джаваскрипт, это не ее работа. Решение? Использовать например селениум, это библиотека использующая настоящий браузер, то есть все поведение в ней соответствует тому, что ты видишь в своем Огнелисе. У селениума можно тоже установить твои куки (уже полученные в другой теме), перейти на страницу, подождать сколько угодно времени и выгрузить данные. Причем селениум умеет их парсить, то есть можно выгрузить только то, что тебе нужно. Где, как? Документация! Плюс: освоив селениум в достаточной степени можешь фрилансить еще и на нем - это популярная либа для скрапинга данных в инете и для автоматизации тестирования! 1

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133
	16.08.2019, 11:35 [ТС]
	Блин, да, ты чертовски прав) Когда спать ложился понял, что динамическая часть страницы не будет постоянно меняться в html. Но селениум не поддерживается на heroku. Я же уже написал скрипт на селениуме. Значит надо как то через request прогружать наверно. Или загрузить селениум на heroku, но информации как это сделать не нашел. Добавлено через 1 минуту Хотя с heroku сейчас попробую разобраться. Может подскажешь просто как на будущее можно со скриптами прогружать? 0

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133
	16.08.2019, 12:08 [ТС]
	Да не, они против ботов. Не даст поддержка api Добавлено через 57 секунд Но спасибо ОГРОМНЕЙШЕЕ. Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально! 0