Форум программистов, компьютерный форум CyberForum.ru

Python: Web

Войти
Регистрация
Восстановить пароль
 
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
#1

Какие вы используете библиотеки для web? - Python

17.12.2016, 15:46. Просмотров 254. Ответов 9
Метки нет (Все метки)

Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией?
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
17.12.2016, 15:46     Какие вы используете библиотеки для web?
Посмотрите здесь:
Какие бесплатные ресурсы можете посоветовать для изучения Python в плане Web? Python
Какие библиотеки стоит знать в любом случае Python
Установка библиотеки Python для MySql Python
Какие библиотеки вы используете? C#
Какие библиотеки и фреймворки вы используете JavaScript
Какие математические библиотеки вы используете? C++
Какие языки/технологии вы используете в web-разработке? Web
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Garry Galler
635 / 515 / 135
Регистрация: 28.10.2013
Сообщений: 1,184
17.12.2016, 17:37     Какие вы используете библиотеки для web? #2
Цитата Сообщение от weblord Посмотреть сообщение
"спарсить, ввести данные в форму, нажать на кнопку и т. п."
Писал ботов для для сайтов имеющих веб-интерфейс поиска по внутренней базе (гос. сайты юрид. направленности) - то есть куча разных кнопочек, селектов, полей ввода, чекбокосв и пр. Ни разу (пока) не понадобилось имитировать нажатия на элементы форм: связки lxml+requests (отправка данных из форм - это, как правило, post c набором параметров)+исследование внутреннего API сайта - вполне хватало для решения сложных задач.

А если по теме, то есть такой монстр как scrapy и с документацией (на анг.) у него все в порядке - (в pdf ~ 700 стр.).
Лично не пробовал - просто читал, что вроде как имеет весьма мощный функционал. Но, подозреваю, что для обычных ботопарсеров он будет как из пушки по воробьям.
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 18:06  [ТС]     Какие вы используете библиотеки для web? #3
Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы?
Garry Galler
635 / 515 / 135
Регистрация: 28.10.2013
Сообщений: 1,184
17.12.2016, 18:34     Какие вы используете библиотеки для web? #4
weblord,
C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации.
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 18:46  [ТС]     Какие вы используете библиотеки для web? #5
Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал...
Jabbson
Модератор
Эксперт по компьютерным сетям
3127 / 2206 / 452
Регистрация: 03.11.2009
Сообщений: 6,980
Записей в блоге: 3
17.12.2016, 19:32     Какие вы используете библиотеки для web? #6
weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом?
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 19:39  [ТС]     Какие вы используете библиотеки для web? #7
Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить..
Garry Galler
635 / 515 / 135
Регистрация: 28.10.2013
Сообщений: 1,184
17.12.2016, 21:20     Какие вы используете библиотеки для web? #8
Цитата Сообщение от weblord Посмотреть сообщение
как прописать код для авторизации на каком-либо сайте
Зависит от типа авторизации на сайте. Типы авторизации нужно знать и понимать.

Цитата Сообщение от weblord Посмотреть сообщение
оно все равно показывало, что код выполнен
Проверка на авторизацию делается не по OK 200, а 1) либо по специфичному для каждого сайта атрибуту, который будет наличествовать в содержимом возвращенной страницы, 2) либо анализируя куки, в которых должен появиться некий токен авторизации.

Многие вещи, которые вы пытаетесь делать имитацией кликов, на самом деле делаются обычными post\get запросами.
Откройте в любом браузере средства разработчика (Ctrl-Shift-I) и понаблюдайте за вкладкой Network (и подвкладках Headers\Response\Cookies) при кликах на сайте. Понимание того, что происходит за кулисами браузера это и есть стартовый уровень понимания web и того, как с ним нужно работать.
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
21.12.2016, 12:38  [ТС]     Какие вы используете библиотеки для web? #9
Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться Буду благодарен за пояснение, а еще больше за примеры.

P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys.
Это сразу понятно, а вот как это реализовать в requests...
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
21.12.2016, 18:07     Какие вы используете библиотеки для web?
Еще ссылки по теме:
Visual Basic Какие расширения для IDE вы используете?
Какие редакторы вы используете для верстки?
Какие Вы используете программы для создания/редактирования сайтов
Какие фреймворки используете Вы? HTML, CSS
Какие Вы используете фриланс-биржи

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Garry Galler
635 / 515 / 135
Регистрация: 28.10.2013
Сообщений: 1,184
21.12.2016, 18:07     Какие вы используете библиотеки для web? #10
Общий обзор способов аутентификации (термин авторизация часто отождествляется в разговорной речи с аутентификацией, но точнее будет именно первый термин)
Тоже самое можно глянуть в вики в разделе Аутентификация в Интернете.

Пример аутентификации посредством форм вам уже показали в другом разделе, поэтому приведу пример (все еще использующейся на некоторых сайтах) так называемой HTTP аутентификации (она же Basic):
Python
1
2
3
4
5
6
7
8
9
10
11
12
# пример из документации 
requests.get('https://api.github.com/user', auth=('user', 'pass'))   # здесь ничего кодировать не нужно - все будет сделано за вас
 
# а вот что скрывается за ним, если захотеть выполнить такую аутентификацию вручную:
import base64
headers={
   #... # какие-то заголовки
   "Authorization": "Basic %s" %  base64.b64encode(b'user:pass') # пара логин:пароль кодируется base64 и отправляется сайту прямо в заголовке
} 
requests.get('https://api.github.com/user', headers=headers )
 
PS: Для того, чтобы сайт опознал нас не единожды, а также и последующих запросах других страниц сайта - необходимо ему каждый раз снова и снова отправлять эти данные. Такая вот схема авторизации\аутентификации.
Yandex
Объявления
21.12.2016, 18:07     Какие вы используете библиотеки для web?
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru