Какие вы используете библиотеки для web?

@weblord · Регистрация: 16.10.2016

Студворк — интернет-сервис помощи студентам

Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией?

@Garry Galler · 17.12.2016, 17:37

Сообщение от weblord

"спарсить, ввести данные в форму, нажать на кнопку и т. п."

Писал ботов для для сайтов имеющих веб-интерфейс поиска по внутренней базе (гос. сайты юрид. направленности) - то есть куча разных кнопочек, селектов, полей ввода, чекбокосв и пр. Ни разу (пока) не понадобилось имитировать нажатия на элементы форм: связки lxml+requests (отправка данных из форм - это, как правило, post c набором параметров)+исследование внутреннего API сайта - вполне хватало для решения сложных задач.

А если по теме, то есть такой монстр как scrapy и с документацией (на анг.) у него все в порядке - (в pdf ~ 700 стр.).
Лично не пробовал - просто читал, что вроде как имеет весьма мощный функционал. Но, подозреваю, что для обычных ботопарсеров он будет как из пушки по воробьям.

@weblord · 17.12.2016, 18:06 **[ТС]**

Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы?

@Garry Galler · 17.12.2016, 18:34

weblord,
C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации.

@weblord · 17.12.2016, 18:46 **[ТС]**

Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал...

Jabbson · 17.12.2016, 19:32

weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом?

@weblord · 17.12.2016, 19:39 **[ТС]**

Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить..

@Garry Galler · 17.12.2016, 21:20

Сообщение от weblord

как прописать код для авторизации на каком-либо сайте

Зависит от типа авторизации на сайте. Типы авторизации нужно знать и понимать.

Сообщение от weblord

оно все равно показывало, что код выполнен

Проверка на авторизацию делается не по OK 200, а 1) либо по специфичному для каждого сайта атрибуту, который будет наличествовать в содержимом возвращенной страницы, 2) либо анализируя куки, в которых должен появиться некий токен авторизации.

Многие вещи, которые вы пытаетесь делать имитацией кликов, на самом деле делаются обычными post\get запросами.
Откройте в любом браузере средства разработчика (Ctrl-Shift-I) и понаблюдайте за вкладкой Network (и подвкладках Headers\Response\Cookies) при кликах на сайте. Понимание того, что происходит за кулисами браузера это и есть стартовый уровень понимания web и того, как с ним нужно работать.

@weblord · 21.12.2016, 12:38 **[ТС]**

Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться

Буду благодарен за пояснение, а еще больше за примеры.

P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys.
Это сразу понятно, а вот как это реализовать в requests...

@Garry Galler · 21.12.2016, 18:07

Общий обзор способов аутентификации (термин авторизация часто отождествляется в разговорной речи с аутентификацией, но точнее будет именно первый термин)
Тоже самое можно глянуть в вики в разделе Аутентификация в Интернете.

Пример аутентификации посредством форм вам уже показали в другом разделе, поэтому приведу пример (все еще использующейся на некоторых сайтах) так называемой HTTP аутентификации (она же Basic):

Python
1
2
3
4
5
6
7
8
9
10
11
12
# пример из документации 
requests.get('https://api.github.com/user', auth=('user', 'pass'))   # здесь ничего кодировать не нужно - все будет сделано за вас
 
# а вот что скрывается за ним, если захотеть выполнить такую аутентификацию вручную:
import base64
headers={
   #... # какие-то заголовки
   "Authorization": "Basic %s" %  base64.b64encode(b'user:pass') # пара логин:пароль кодируется base64 и отправляется сайту прямо в заголовке
} 
requests.get('https://api.github.com/user', headers=headers )
 
PS: Для того, чтобы сайт опознал нас не единожды, а также и последующих запросах других страниц сайта - необходимо ему каждый раз снова и снова отправлять эти данные. Такая вот схема авторизации\аутентификации.

Новые блоги и статьи Все статьи Все блоги /
Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111

	Какие вы используете библиотеки для web? 17.12.2016, 15:46. Показов 920. Ответов 9 Метки нет (Все метки) Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией? 0

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	17.12.2016, 18:06 [ТС]
	Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы? 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	17.12.2016, 18:34
	weblord, C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации. 1

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	17.12.2016, 18:46 [ТС]
	Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал... 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	17.12.2016, 19:32
	weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом? 0

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	17.12.2016, 19:39 [ТС]
	Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить.. 0

@weblord 1 / 1 / 2 Регистрация: 16.10.2016 Сообщений: 111
	21.12.2016, 12:38 [ТС]
	Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться Буду благодарен за пояснение, а еще больше за примеры. P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys. Это сразу понятно, а вот как это реализовать в requests... 0