Взаимодействие с сайтами

@Banka11 · Регистрация: 25.10.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте, заинтересовала тема написания всевозможных ботов, хочу начать изучать методы реализации, но пока даже смутно понимаю как правильно составить запрос в гугле))
Интересует взаимодействие с всевозможными сайтами типа букмекеров/казино или биржи на которой отсутствует апи, со всеми вытекающими. То есть сбор информации, переход по страницам, ввод данных в окна, ставки и тд... Не знаю как все это правильно уместить в короткую фразу...
Подскажите куда копать или какие то ресурсы где можно наковырять подобную информацию, спасибо...

@Resistanse · 15.11.2018, 13:51

Сообщение от Banka11

Здравствуйте, заинтересовала тема написания всевозможных ботов, хочу начать изучать методы реализации, но пока даже смутно понимаю как правильно составить запрос в гугле))
Интересует взаимодействие с всевозможными сайтами типа букмекеров/казино или биржи на которой отсутствует апи, со всеми вытекающими. То есть сбор информации, переход по страницам, ввод данных в окна, ставки и тд... Не знаю как все это правильно уместить в короткую фразу...
Подскажите куда копать или какие то ресурсы где можно наковырять подобную информацию, спасибо...

Тут зависит от конкретного сайта, на некоторых сайтах информация подгружается через ajax запросы, соответственно можно делать запрос к API(хотя сам сайт может его и не афишировать), это самый легкий путь. Найти ajax запрос можно через просмотр кода->Network->XHR(это Google Chrome, погугли парсинг ajax), в основном данные передаются в виде JSON(в таком случае можно обойтись библиотекой requests и модулем json). Если не нашел нужный ajax запрос, то тогда делаешь http запрос на саму страницу и парсишь библиотекой beautifulsoup4. Для имитации браузера можно воспользоваться selenium web driver. А реализацию ставок и т.д. я бы предпочел делать в виде расширения на javascript для того же google chrome

@Banka11 · 15.11.2018, 14:09 **[ТС]**

Resistanse, А почему реализацию ставок через javascript? На python сложнее или другие причины?

@Resistanse · 15.11.2018, 14:15

Сообщение от Banka11

А почему реализацию ставок через javascript? На python сложнее или другие причины?

Можно конечно и на питоне, но на js такое проще реализовать(имхо). Тут уже от сайта зависит

@IRIP · 15.11.2018, 14:51

Banka11,

библиотека requests

@Banka11 · 15.11.2018, 19:46 **[ТС]**

IRIP, А как реализовать саму ставку? Слегка подробнее если можно, в теории...

@Resistanse · 15.11.2018, 22:24

Сообщение от Banka11

А как реализовать саму ставку? Слегка подробнее если можно, в теории...

Ну есть форма с кнопкой ставки, открываешь мониторинг запросов в браузере(просмотр кода->Network->XHR) и смотришь куда уходит запрос и какие передаются параметры. Делаешь запрос на этот url и все. Ну кстати при нажатии на кнопку запрос может никуда и не уходить, тогда для ставки нужно буделт использовать selenuim web driver или как я писал выше нужно писать на js код, который будет имитировать клик по кнопке

@Banka11 · 15.11.2018, 23:19 **[ТС]**

Resistanse, Спасибо, отдаленно понял схему... А более подробно не знаете где почитать можно? Или такие ресурсы врядли есть, только изучать библиотеки?

@Resistanse · 15.11.2018, 23:40

Сообщение от Banka11

Спасибо, отдаленно понял схему... А более подробно не знаете где почитать можно? Или такие ресурсы врядли есть, только изучать библиотеки?

Конкретно по парсингу, да и вообще по питону можно глянуть канал на ютубе Олега Молчанова, у него есть отдельный плейлист. А так да, изучать библиотеки, ну и еще надо знать как это все работает)

@Banka11 · 18.11.2018, 11:15 **[ТС]**

Сообщение от Resistanse

можно глянуть канал на ютубе Олега Молчанова

Посмотрел видосы по парсингу, как то оно у него медленно парсится... Если парсить букмекеров в лайф играх например, там кефы должны обновлятся как можно чаще, 5-10 сек макс... Такой метод наверно не особо подходит, инетересно как парсят сканеры у которых задержка по 2-3 сек....

@Resistanse · 18.11.2018, 20:01

Сообщение от Banka11

Посмотрел видосы по парсингу, как то оно у него медленно парсится... Если парсить букмекеров в лайф играх например, там кефы должны обновлятся как можно чаще, 5-10 сек макс... Такой метод наверно не особо подходит, инетересно как парсят сканеры у которых задержка по 2-3 сек....

Тогда тебе надо познавать асинхронное программирование, для этого подойдет модуль asyncio + модуль aiohttp.

@Banka11 · 18.11.2018, 20:41 **[ТС]**

Сообщение от Resistanse

для этого подойдет модуль asyncio + модуль aiohttp.

А немножко подробнее, но при этом в двух словах?) В чем разница, какие плюсы?
П.с. И в плане банов как вопрос решается обычно? Используют тучу айпишников для парсинга или как то проще?

@Resistanse · 18.11.2018, 20:54

Сообщение от Banka11

А немножко подробнее, но при этом в двух словах?) В чем разница, какие плюсы?
П.с. И в плане банов как вопрос решается обычно? Используют тучу айпишников для парсинга или как то проще?

В двух словах вряд ли получится, но плюс асинхронного программирования в том, что веб запросы не блокируют основной поток выполнения скрипта. Из-за этого получается офигенный такой прирост в скорости. Почитай про asyncio. А на счет банов да, надо юзать прокси

@IRIP · 18.11.2018, 22:07

Banka11, все у него правильно. Когда работаешь с vk.com нужно четко понимать, что максимум 3 запроса в секунду

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .

@Banka11 0 / 0 / 0 Регистрация: 25.10.2018 Сообщений: 25

	Взаимодействие с сайтами 15.11.2018, 13:25. Показов 13176. Ответов 13 Метки нет (Все метки) Здравствуйте, заинтересовала тема написания всевозможных ботов, хочу начать изучать методы реализации, но пока даже смутно понимаю как правильно составить запрос в гугле)) Интересует взаимодействие с всевозможными сайтами типа букмекеров/казино или биржи на которой отсутствует апи, со всеми вытекающими. То есть сбор информации, переход по страницам, ввод данных в окна, ставки и тд... Не знаю как все это правильно уместить в короткую фразу... Подскажите куда копать или какие то ресурсы где можно наковырять подобную информацию, спасибо... 0

@Banka11 0 / 0 / 0 Регистрация: 25.10.2018 Сообщений: 25
	15.11.2018, 14:09 [ТС]
	Resistanse, А почему реализацию ставок через javascript? На python сложнее или другие причины? 0

@IRIP 514 / 146 / 28 Регистрация: 18.04.2015 Сообщений: 1,904 Записей в блоге: 16
	15.11.2018, 14:51
	Banka11, библиотека requests 0

@Banka11 0 / 0 / 0 Регистрация: 25.10.2018 Сообщений: 25
	15.11.2018, 19:46 [ТС]
	IRIP, А как реализовать саму ставку? Слегка подробнее если можно, в теории... 0

@Banka11 0 / 0 / 0 Регистрация: 25.10.2018 Сообщений: 25
	15.11.2018, 23:19 [ТС]
	Resistanse, Спасибо, отдаленно понял схему... А более подробно не знаете где почитать можно? Или такие ресурсы врядли есть, только изучать библиотеки? 0

@IRIP 514 / 146 / 28 Регистрация: 18.04.2015 Сообщений: 1,904 Записей в блоге: 16
	18.11.2018, 22:07
	Banka11, все у него правильно. Когда работаешь с vk.com нужно четко понимать, что максимум 3 запроса в секунду 0