Какие вы используете библиотеки для web?

@weblord · Регистрация: 16.10.2016

Студворк — интернет-сервис помощи студентам

Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией?

@Garry Galler · 17.12.2016, 17:37

Сообщение от weblord

"спарсить, ввести данные в форму, нажать на кнопку и т. п."

Писал ботов для для сайтов имеющих веб-интерфейс поиска по внутренней базе (гос. сайты юрид. направленности) - то есть куча разных кнопочек, селектов, полей ввода, чекбокосв и пр. Ни разу (пока) не понадобилось имитировать нажатия на элементы форм: связки lxml+requests (отправка данных из форм - это, как правило, post c набором параметров)+исследование внутреннего API сайта - вполне хватало для решения сложных задач.

А если по теме, то есть такой монстр как scrapy и с документацией (на анг.) у него все в порядке - (в pdf ~ 700 стр.).
Лично не пробовал - просто читал, что вроде как имеет весьма мощный функционал. Но, подозреваю, что для обычных ботопарсеров он будет как из пушки по воробьям.

@weblord · 17.12.2016, 18:06 **[ТС]**

Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы?

@Garry Galler · 17.12.2016, 18:34

weblord,
C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации.

@weblord · 17.12.2016, 18:46 **[ТС]**

Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал...

Jabbson · 17.12.2016, 19:32

weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом?

@weblord · 17.12.2016, 19:39 **[ТС]**

Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить..

@Garry Galler · 17.12.2016, 21:20

Сообщение от weblord

как прописать код для авторизации на каком-либо сайте

Зависит от типа авторизации на сайте. Типы авторизации нужно знать и понимать.

Сообщение от weblord

оно все равно показывало, что код выполнен

Проверка на авторизацию делается не по OK 200, а 1) либо по специфичному для каждого сайта атрибуту, который будет наличествовать в содержимом возвращенной страницы, 2) либо анализируя куки, в которых должен появиться некий токен авторизации.

Многие вещи, которые вы пытаетесь делать имитацией кликов, на самом деле делаются обычными post\get запросами.
Откройте в любом браузере средства разработчика (Ctrl-Shift-I) и понаблюдайте за вкладкой Network (и подвкладках Headers\Response\Cookies) при кликах на сайте. Понимание того, что происходит за кулисами браузера это и есть стартовый уровень понимания web и того, как с ним нужно работать.

@weblord · 21.12.2016, 12:38 **[ТС]**

Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться

Буду благодарен за пояснение, а еще больше за примеры.

P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys.
Это сразу понятно, а вот как это реализовать в requests...

@Garry Galler · 21.12.2016, 18:07

Общий обзор способов аутентификации (термин авторизация часто отождествляется в разговорной речи с аутентификацией, но точнее будет именно первый термин)
Тоже самое можно глянуть в вики в разделе Аутентификация в Интернете.

Пример аутентификации посредством форм вам уже показали в другом разделе, поэтому приведу пример (все еще использующейся на некоторых сайтах) так называемой HTTP аутентификации (она же Basic):

Python
1
2
3
4
5
6
7
8
9
10
11
12
# пример из документации 
requests.get('https://api.github.com/user', auth=('user', 'pass'))   # здесь ничего кодировать не нужно - все будет сделано за вас
 
# а вот что скрывается за ним, если захотеть выполнить такую аутентификацию вручную:
import base64
headers={
   #... # какие-то заголовки
   "Authorization": "Basic %s" %  base64.b64encode(b'user:pass') # пара логин:пароль кодируется base64 и отправляется сайту прямо в заголовке
} 
requests.get('https://api.github.com/user', headers=headers )
 
PS: Для того, чтобы сайт опознал нас не единожды, а также и последующих запросах других страниц сайта - необходимо ему каждый раз снова и снова отправлять эти данные. Такая вот схема авторизации\аутентификации.

Новые блоги и статьи Все статьи Все блоги /
Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111

	Какие вы используете библиотеки для web? 17.12.2016, 15:46. Показов 907. Ответов 9 Метки нет (Все метки) Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией? 0

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	17.12.2016, 18:06 [ТС]
	Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы? 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	17.12.2016, 18:34
	weblord, C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации. 1

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	17.12.2016, 18:46 [ТС]
	Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал... 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	17.12.2016, 19:32
	weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом? 0

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	17.12.2016, 19:39 [ТС]
	Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить.. 0

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	21.12.2016, 12:38 [ТС]
	Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться Буду благодарен за пояснение, а еще больше за примеры. P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys. Это сразу понятно, а вот как это реализовать в requests... 0