Форум программистов, компьютерный форум CyberForum.ru

Python: Web

Войти
Регистрация
Восстановить пароль
 
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
#1

Какие вы используете библиотеки для web? - Python

17.12.2016, 15:46. Просмотров 229. Ответов 9
Метки нет (Все метки)

Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией?
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
17.12.2016, 15:46     Какие вы используете библиотеки для web?
Посмотрите здесь:

Установка библиотеки Python для MySql Python
Какие библиотеки стоит знать в любом случае Python
Python Доделать web интерфейс
Ошибка при запуске web-приложения на Python + Flask + MySQL Python
Работы с web терминалом (Virtualbox, Bash) Python
Какие бесплатные ресурсы можете посоветовать для изучения Python в плане Web? Python

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Garry Galler
560 / 446 / 114
Регистрация: 28.10.2013
Сообщений: 993
17.12.2016, 17:37     Какие вы используете библиотеки для web? #2
Цитата Сообщение от weblord Посмотреть сообщение
"спарсить, ввести данные в форму, нажать на кнопку и т. п."
Писал ботов для для сайтов имеющих веб-интерфейс поиска по внутренней базе (гос. сайты юрид. направленности) - то есть куча разных кнопочек, селектов, полей ввода, чекбокосв и пр. Ни разу (пока) не понадобилось имитировать нажатия на элементы форм: связки lxml+requests (отправка данных из форм - это, как правило, post c набором параметров)+исследование внутреннего API сайта - вполне хватало для решения сложных задач.

А если по теме, то есть такой монстр как scrapy и с документацией (на анг.) у него все в порядке - (в pdf ~ 700 стр.).
Лично не пробовал - просто читал, что вроде как имеет весьма мощный функционал. Но, подозреваю, что для обычных ботопарсеров он будет как из пушки по воробьям.
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 18:06  [ТС]     Какие вы используете библиотеки для web? #3
Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы?
Garry Galler
560 / 446 / 114
Регистрация: 28.10.2013
Сообщений: 993
17.12.2016, 18:34     Какие вы используете библиотеки для web? #4
weblord,
C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации.
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 18:46  [ТС]     Какие вы используете библиотеки для web? #5
Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал...
Jabbson
Модератор
Эксперт по компьютерным сетям
3060 / 2161 / 427
Регистрация: 03.11.2009
Сообщений: 6,841
Записей в блоге: 3
17.12.2016, 19:32     Какие вы используете библиотеки для web? #6
weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом?
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 19:39  [ТС]     Какие вы используете библиотеки для web? #7
Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить..
Garry Galler
560 / 446 / 114
Регистрация: 28.10.2013
Сообщений: 993
17.12.2016, 21:20     Какие вы используете библиотеки для web? #8
Цитата Сообщение от weblord Посмотреть сообщение
как прописать код для авторизации на каком-либо сайте
Зависит от типа авторизации на сайте. Типы авторизации нужно знать и понимать.

Цитата Сообщение от weblord Посмотреть сообщение
оно все равно показывало, что код выполнен
Проверка на авторизацию делается не по OK 200, а 1) либо по специфичному для каждого сайта атрибуту, который будет наличествовать в содержимом возвращенной страницы, 2) либо анализируя куки, в которых должен появиться некий токен авторизации.

Многие вещи, которые вы пытаетесь делать имитацией кликов, на самом деле делаются обычными post\get запросами.
Откройте в любом браузере средства разработчика (Ctrl-Shift-I) и понаблюдайте за вкладкой Network (и подвкладках Headers\Response\Cookies) при кликах на сайте. Понимание того, что происходит за кулисами браузера это и есть стартовый уровень понимания web и того, как с ним нужно работать.
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
21.12.2016, 12:38  [ТС]     Какие вы используете библиотеки для web? #9
Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться Буду благодарен за пояснение, а еще больше за примеры.

P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys.
Это сразу понятно, а вот как это реализовать в requests...
Garry Galler
560 / 446 / 114
Регистрация: 28.10.2013
Сообщений: 993
21.12.2016, 18:07     Какие вы используете библиотеки для web? #10
Общий обзор способов аутентификации (термин авторизация часто отождествляется в разговорной речи с аутентификацией, но точнее будет именно первый термин)
Тоже самое можно глянуть в вики в разделе Аутентификация в Интернете.

Пример аутентификации посредством форм вам уже показали в другом разделе, поэтому приведу пример (все еще использующейся на некоторых сайтах) так называемой HTTP аутентификации (она же Basic):
Python
1
2
3
4
5
6
7
8
9
10
11
12
# пример из документации 
requests.get('https://api.github.com/user', auth=('user', 'pass'))   # здесь ничего кодировать не нужно - все будет сделано за вас
 
# а вот что скрывается за ним, если захотеть выполнить такую аутентификацию вручную:
import base64
headers={
   #... # какие-то заголовки
   "Authorization": "Basic %s" %  base64.b64encode(b'user:pass') # пара логин:пароль кодируется base64 и отправляется сайту прямо в заголовке
} 
requests.get('https://api.github.com/user', headers=headers )
 
PS: Для того, чтобы сайт опознал нас не единожды, а также и последующих запросах других страниц сайта - необходимо ему каждый раз снова и снова отправлять эти данные. Такая вот схема авторизации\аутентификации.
Yandex
Объявления
21.12.2016, 18:07     Какие вы используете библиотеки для web?
Ответ Создать тему
Опции темы

Текущее время: 15:05. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru