Задержка на requests

@Кирилл12321 · Регистрация: 02.01.2019

Студворк — интернет-сервис помощи студентам

Подключился к сайту через get. На этом сайте первые 5-10 секунд прогружаются задания, после чего они становятся видны. Соответственно и в структуре страницы html они появляются после 5-10 секунд ожидания. Как сделать это ожидание? Знаю, что есть timeout, у меня не получилось. Нужно же чтобы get делался непрерывно это время и через 10 секунд вывел код страницы. Какие идеи?

@Welemir1 · 16.08.2019, 06:02

Кирилл12321, я помню, что ты дизайнер, но прочесть бы тебе про работу хттп и браузеры. Твои задания прогружаются отдельным скриптом, который лежит на сайте, то есть в первоначальном коде страницы их (данных) нет, потому реквестс тебе их не вернет ни при каких обстоятельствах. Почему? потому что в отличие от браузера, реквестс не выполняет скрипты на странице, не умеет в джаваскрипт, это не ее работа.
Решение? Использовать например селениум, это библиотека использующая настоящий браузер, то есть все поведение в ней соответствует тому, что ты видишь в своем Огнелисе. У селениума можно тоже установить твои куки (уже полученные в другой теме), перейти на страницу, подождать сколько угодно времени и выгрузить данные. Причем селениум умеет их парсить, то есть можно выгрузить только то, что тебе нужно.
Где, как? Документация!

Плюс: освоив селениум в достаточной степени можешь фрилансить еще и на нем - это популярная либа для скрапинга данных в инете и для автоматизации тестирования!

@Кирилл12321 · 16.08.2019, 11:35 **[ТС]**

Блин, да, ты чертовски прав) Когда спать ложился понял, что динамическая часть страницы не будет постоянно меняться в html. Но селениум не поддерживается на heroku. Я же уже написал скрипт на селениуме. Значит надо как то через request прогружать наверно. Или загрузить селениум на heroku, но информации как это сделать не нашел.

Добавлено через 1 минуту
Хотя с heroku сейчас попробую разобраться. Может подскажешь просто как на будущее можно со скриптами прогружать?

@Welemir1 · 16.08.2019, 11:39

Сообщение от Кирилл12321

Подскажи просто как на будущее можно со скриптами прогружать?

чего? по-русски пиши или на английском, я других не знаю языков.

@Кирилл12321 · 16.08.2019, 11:47 **[ТС]**

Сообщение от Welemir1

Твои задания прогружаются отдельным скриптом

Этот скрипт можно прогружать через requests?)

@Welemir1 · 16.08.2019, 12:00

Сообщение от Кирилл12321

Этот скрипт можно прогружать через requests?)

загрузить то можно, выполнить нельзя, это джаваскрипт код.
так, а там точно нет апи на сайте, ведь херней какой-то занимаешься, если вдруг окажется что есть

@Кирилл12321 · 16.08.2019, 12:08 **[ТС]**

Да не, они против ботов. Не даст поддержка api

Добавлено через 57 секунд
Но спасибо ОГРОМНЕЙШЕЕ. Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально!

@Welemir1 · 16.08.2019, 12:15

Сообщение от Кирилл12321

Это гениально!

основы веба...

@Garry Galler · 16.08.2019, 15:44

Сообщение от Кирилл12321

Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально!

Нет тут ничего гениального. Просто сайт тебя опознал по "печенькам" и решил, что можно не запускать капчу. На любом другом сайте может быть настроено совсем по-другому и авторизация не отменит прохождение капчи. Кроме того, как только сайт видит, что с аккаунта поступает много запросов похожих на автоматические - он опять может включить капчу.
А нынешние гугл-капчи программно уже не обходятся. Только посредством человеко-ботов из Восточной Азии.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133

	Задержка на requests 15.08.2019, 23:56. Показов 11802. Ответов 8 Метки нет (Все метки) Подключился к сайту через get. На этом сайте первые 5-10 секунд прогружаются задания, после чего они становятся видны. Соответственно и в структуре страницы html они появляются после 5-10 секунд ожидания. Как сделать это ожидание? Знаю, что есть timeout, у меня не получилось. Нужно же чтобы get делался непрерывно это время и через 10 секунд вывел код страницы. Какие идеи? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	16.08.2019, 06:02
	Сообщение было отмечено Кирилл12321 как решение Решение Кирилл12321, я помню, что ты дизайнер, но прочесть бы тебе про работу хттп и браузеры. Твои задания прогружаются отдельным скриптом, который лежит на сайте, то есть в первоначальном коде страницы их (данных) нет, потому реквестс тебе их не вернет ни при каких обстоятельствах. Почему? потому что в отличие от браузера, реквестс не выполняет скрипты на странице, не умеет в джаваскрипт, это не ее работа. Решение? Использовать например селениум, это библиотека использующая настоящий браузер, то есть все поведение в ней соответствует тому, что ты видишь в своем Огнелисе. У селениума можно тоже установить твои куки (уже полученные в другой теме), перейти на страницу, подождать сколько угодно времени и выгрузить данные. Причем селениум умеет их парсить, то есть можно выгрузить только то, что тебе нужно. Где, как? Документация! Плюс: освоив селениум в достаточной степени можешь фрилансить еще и на нем - это популярная либа для скрапинга данных в инете и для автоматизации тестирования! 1

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133
	16.08.2019, 11:35 [ТС]
	Блин, да, ты чертовски прав) Когда спать ложился понял, что динамическая часть страницы не будет постоянно меняться в html. Но селениум не поддерживается на heroku. Я же уже написал скрипт на селениуме. Значит надо как то через request прогружать наверно. Или загрузить селениум на heroku, но информации как это сделать не нашел. Добавлено через 1 минуту Хотя с heroku сейчас попробую разобраться. Может подскажешь просто как на будущее можно со скриптами прогружать? 0

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133
	16.08.2019, 12:08 [ТС]
	Да не, они против ботов. Не даст поддержка api Добавлено через 57 секунд Но спасибо ОГРОМНЕЙШЕЕ. Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально! 0