Задержка на requests

@Кирилл12321 · Регистрация: 02.01.2019

Студворк — интернет-сервис помощи студентам

Подключился к сайту через get. На этом сайте первые 5-10 секунд прогружаются задания, после чего они становятся видны. Соответственно и в структуре страницы html они появляются после 5-10 секунд ожидания. Как сделать это ожидание? Знаю, что есть timeout, у меня не получилось. Нужно же чтобы get делался непрерывно это время и через 10 секунд вывел код страницы. Какие идеи?

@Welemir1 · 16.08.2019, 06:02

Кирилл12321, я помню, что ты дизайнер, но прочесть бы тебе про работу хттп и браузеры. Твои задания прогружаются отдельным скриптом, который лежит на сайте, то есть в первоначальном коде страницы их (данных) нет, потому реквестс тебе их не вернет ни при каких обстоятельствах. Почему? потому что в отличие от браузера, реквестс не выполняет скрипты на странице, не умеет в джаваскрипт, это не ее работа.
Решение? Использовать например селениум, это библиотека использующая настоящий браузер, то есть все поведение в ней соответствует тому, что ты видишь в своем Огнелисе. У селениума можно тоже установить твои куки (уже полученные в другой теме), перейти на страницу, подождать сколько угодно времени и выгрузить данные. Причем селениум умеет их парсить, то есть можно выгрузить только то, что тебе нужно.
Где, как? Документация!

Плюс: освоив селениум в достаточной степени можешь фрилансить еще и на нем - это популярная либа для скрапинга данных в инете и для автоматизации тестирования!

@Кирилл12321 · 16.08.2019, 11:35 **[ТС]**

Блин, да, ты чертовски прав) Когда спать ложился понял, что динамическая часть страницы не будет постоянно меняться в html. Но селениум не поддерживается на heroku. Я же уже написал скрипт на селениуме. Значит надо как то через request прогружать наверно. Или загрузить селениум на heroku, но информации как это сделать не нашел.

Добавлено через 1 минуту
Хотя с heroku сейчас попробую разобраться. Может подскажешь просто как на будущее можно со скриптами прогружать?

@Welemir1 · 16.08.2019, 11:39

Сообщение от Кирилл12321

Подскажи просто как на будущее можно со скриптами прогружать?

чего? по-русски пиши или на английском, я других не знаю языков.

@Кирилл12321 · 16.08.2019, 11:47 **[ТС]**

Сообщение от Welemir1

Твои задания прогружаются отдельным скриптом

Этот скрипт можно прогружать через requests?)

@Welemir1 · 16.08.2019, 12:00

Сообщение от Кирилл12321

Этот скрипт можно прогружать через requests?)

загрузить то можно, выполнить нельзя, это джаваскрипт код.
так, а там точно нет апи на сайте, ведь херней какой-то занимаешься, если вдруг окажется что есть

@Кирилл12321 · 16.08.2019, 12:08 **[ТС]**

Да не, они против ботов. Не даст поддержка api

Добавлено через 57 секунд
Но спасибо ОГРОМНЕЙШЕЕ. Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально!

@Welemir1 · 16.08.2019, 12:15

Сообщение от Кирилл12321

Это гениально!

основы веба...

@Garry Galler · 16.08.2019, 15:44

Сообщение от Кирилл12321

Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально!

Нет тут ничего гениального. Просто сайт тебя опознал по "печенькам" и решил, что можно не запускать капчу. На любом другом сайте может быть настроено совсем по-другому и авторизация не отменит прохождение капчи. Кроме того, как только сайт видит, что с аккаунта поступает много запросов похожих на автоматические - он опять может включить капчу.
А нынешние гугл-капчи программно уже не обходятся. Только посредством человеко-ботов из Восточной Азии.

Новые блоги и статьи Все статьи Все блоги /
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .	Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133

	Задержка на requests 15.08.2019, 23:56. Показов 11854. Ответов 8 Метки нет (Все метки) Подключился к сайту через get. На этом сайте первые 5-10 секунд прогружаются задания, после чего они становятся видны. Соответственно и в структуре страницы html они появляются после 5-10 секунд ожидания. Как сделать это ожидание? Знаю, что есть timeout, у меня не получилось. Нужно же чтобы get делался непрерывно это время и через 10 секунд вывел код страницы. Какие идеи? 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	16.08.2019, 06:02
	Сообщение было отмечено Кирилл12321 как решение Решение Кирилл12321, я помню, что ты дизайнер, но прочесть бы тебе про работу хттп и браузеры. Твои задания прогружаются отдельным скриптом, который лежит на сайте, то есть в первоначальном коде страницы их (данных) нет, потому реквестс тебе их не вернет ни при каких обстоятельствах. Почему? потому что в отличие от браузера, реквестс не выполняет скрипты на странице, не умеет в джаваскрипт, это не ее работа. Решение? Использовать например селениум, это библиотека использующая настоящий браузер, то есть все поведение в ней соответствует тому, что ты видишь в своем Огнелисе. У селениума можно тоже установить твои куки (уже полученные в другой теме), перейти на страницу, подождать сколько угодно времени и выгрузить данные. Причем селениум умеет их парсить, то есть можно выгрузить только то, что тебе нужно. Где, как? Документация! Плюс: освоив селениум в достаточной степени можешь фрилансить еще и на нем - это популярная либа для скрапинга данных в инете и для автоматизации тестирования! 1

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133
	16.08.2019, 11:35 [ТС]
	Блин, да, ты чертовски прав) Когда спать ложился понял, что динамическая часть страницы не будет постоянно меняться в html. Но селениум не поддерживается на heroku. Я же уже написал скрипт на селениуме. Значит надо как то через request прогружать наверно. Или загрузить селениум на heroku, но информации как это сделать не нашел. Добавлено через 1 минуту Хотя с heroku сейчас попробую разобраться. Может подскажешь просто как на будущее можно со скриптами прогружать? 0

@Кирилл12321 9 / 3 / 0 Регистрация: 02.01.2019 Сообщений: 133
	16.08.2019, 12:08 [ТС]
	Да не, они против ботов. Не даст поддержка api Добавлено через 57 секунд Но спасибо ОГРОМНЕЙШЕЕ. Удивился, когда через куки получилось войти авторизованным и обойти капчу... Это гениально! 0