Форум программистов, компьютерный форум CyberForum.ru
Наши страницы

Python: Web

Войти
Регистрация
Восстановить пароль
 
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
#1

Какие вы используете библиотеки для web? - Python

17.12.2016, 15:46. Просмотров 265. Ответов 9
Метки нет (Все метки)

Привет форумчанам! Нужно написать бот для сайта (его функции из разряда "спарсить, ввести данные в форму, нажать на кнопку и т. п.". Попробовал selenium, с ним у меня никак не вяжется. Grab, как по мне, не очень продуман (ограничен функционал). lxml, как я понял, ONLY парсинг.. Больше особо вариантов я не видел. В общем, можете посоветовать нормальные фреймворки для написания web-ботов с хорошей документацией?
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
17.12.2016, 15:46
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Какие вы используете библиотеки для web? (Python):

Какие библиотеки python для преобразования файлов разных типов в xml? - Python
Нужно преобразовать файлы разных типов (html, txt, pdf) в xml.

Какие бесплатные ресурсы можете посоветовать для изучения Python в плане Web? - Python
Доброго времени суток, формчане. Какие бесплатные ресурсы можете посоветовать для изучения Python в плане Web? Хочу научиться писать...

Парсер - какие библиотеки использовать??? - Python
shlex или parser? Есть строка, которая содержит формули. Нужно проинтерпретировать их. Например #(3="df",6="") соответсвует функция,...

Какие библиотеки стоит знать в любом случае - Python
Здравствуйте, вопрос такой: на какие django модули не идущие из коробки стоит обратить внимание ? Например бытует мнение что...

Какие библиотеки вы используете? - C#
Какие библиотеки вы используете в своих .net приложениях ?

Какие библиотеки и фреймворки вы используете - JavaScript
Кто что использует ?

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Garry Galler
759 / 581 / 158
Регистрация: 28.10.2013
Сообщений: 1,370
17.12.2016, 17:37 #2
Цитата Сообщение от weblord Посмотреть сообщение
"спарсить, ввести данные в форму, нажать на кнопку и т. п."
Писал ботов для для сайтов имеющих веб-интерфейс поиска по внутренней базе (гос. сайты юрид. направленности) - то есть куча разных кнопочек, селектов, полей ввода, чекбокосв и пр. Ни разу (пока) не понадобилось имитировать нажатия на элементы форм: связки lxml+requests (отправка данных из форм - это, как правило, post c набором параметров)+исследование внутреннего API сайта - вполне хватало для решения сложных задач.

А если по теме, то есть такой монстр как scrapy и с документацией (на анг.) у него все в порядке - (в pdf ~ 700 стр.).
Лично не пробовал - просто читал, что вроде как имеет весьма мощный функционал. Но, подозреваю, что для обычных ботопарсеров он будет как из пушки по воробьям.
1
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 18:06  [ТС] #3
Спасибо за ответ в теме, я пробовал разобраться в requests, только ничего толком не понятно, примеры, указанные в документации у меня не работают видимо, да и инфы по этому в рунете мало... А как вы разобрались в requests, может посоветуете какие-либо ресурсы?
0
Garry Galler
759 / 581 / 158
Регистрация: 28.10.2013
Сообщений: 1,370
17.12.2016, 18:34 #4
weblord,
C requests проблем быть не должно, при условии что вы изначально в теме что такое get\post запросы, http-ответы и как устроен web изнутри. Сама requests всего лишь высокоуровневая (и, следовательно, упрощенная) обертка над более сложными модулями. Вся документация умещается на 30 страницах. Из публикаций по теме how to use могу сослаться на эту статейку - по сути вольный перевод части офиц. документации.
1
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 18:46  [ТС] #5
Уже видел, но спасибо. Все равно непонятно, например, как прописать код для авторизации на каком-либо сайте (я пробовал разные методы, но даже если я подставлял в качестве логина и пароля неверные данные, оно все равно показывало, что код выполнен. Но КАК, если я изначально дал неверные данные для авторизации? И т. п.). А что, если мне надо нажать на какую-то кнопку (предположим, хочу, чтобы бот ставил лайки)? В общем, документацию на английском я не всегда понимаю, а на русском вообще материалов кот наплакал...
0
Jabbson
Модератор
Эксперт по компьютерным сетям
3141 / 2219 / 455
Регистрация: 03.11.2009
Сообщений: 7,001
Записей в блоге: 3
17.12.2016, 19:32 #6
weblord, да я гляжу, Вы в пух и прах разнесли все эти ужасные продукты, которые использует весь мир? Может дело не в них? Может не хватает понимая технологии в целом?
0
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
17.12.2016, 19:39  [ТС] #7
Я ни в коем случае не хочу их раскритиковать, а как раз говорю, что у меня их не получается освоить..
0
Garry Galler
759 / 581 / 158
Регистрация: 28.10.2013
Сообщений: 1,370
17.12.2016, 21:20 #8
Цитата Сообщение от weblord Посмотреть сообщение
как прописать код для авторизации на каком-либо сайте
Зависит от типа авторизации на сайте. Типы авторизации нужно знать и понимать.

Цитата Сообщение от weblord Посмотреть сообщение
оно все равно показывало, что код выполнен
Проверка на авторизацию делается не по OK 200, а 1) либо по специфичному для каждого сайта атрибуту, который будет наличествовать в содержимом возвращенной страницы, 2) либо анализируя куки, в которых должен появиться некий токен авторизации.

Многие вещи, которые вы пытаетесь делать имитацией кликов, на самом деле делаются обычными post\get запросами.
Откройте в любом браузере средства разработчика (Ctrl-Shift-I) и понаблюдайте за вкладкой Network (и подвкладках Headers\Response\Cookies) при кликах на сайте. Понимание того, что происходит за кулисами браузера это и есть стартовый уровень понимания web и того, как с ним нужно работать.
1
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
21.12.2016, 12:38  [ТС] #9
Спасибо за помощь. Если не сложно, можете кинуть ссылку, где описаны типы авторизации в контексте requests (я не смог найти)? Потом, не очень понятно, как работать с post-запросами (чтобы кликать на кнопки, заполнять формы и т. д.). Как указать в requests, с каким конкретно элементом работать, как показать, чтобы он кликал, либо заполнял? Для вас это наверняка очень глупые вопросы, но я только начинающий, и пока не смог разобраться Буду благодарен за пояснение, а еще больше за примеры.

P. S. Скажем, в selenium, чтобы найти какой-то элемент и заполнить его, нужно прописывать find_by_ и потом send_keys.
Это сразу понятно, а вот как это реализовать в requests...
0
Garry Galler
759 / 581 / 158
Регистрация: 28.10.2013
Сообщений: 1,370
21.12.2016, 18:07 #10
Общий обзор способов аутентификации (термин авторизация часто отождествляется в разговорной речи с аутентификацией, но точнее будет именно первый термин)
Тоже самое можно глянуть в вики в разделе Аутентификация в Интернете.

Пример аутентификации посредством форм вам уже показали в другом разделе, поэтому приведу пример (все еще использующейся на некоторых сайтах) так называемой HTTP аутентификации (она же Basic):
Python
1
2
3
4
5
6
7
8
9
10
11
12
# пример из документации 
requests.get('https://api.github.com/user', auth=('user', 'pass'))   # здесь ничего кодировать не нужно - все будет сделано за вас
 
# а вот что скрывается за ним, если захотеть выполнить такую аутентификацию вручную:
import base64
headers={
   #... # какие-то заголовки
   "Authorization": "Basic %s" %  base64.b64encode(b'user:pass') # пара логин:пароль кодируется base64 и отправляется сайту прямо в заголовке
} 
requests.get('https://api.github.com/user', headers=headers )
 
PS: Для того, чтобы сайт опознал нас не единожды, а также и последующих запросах других страниц сайта - необходимо ему каждый раз снова и снова отправлять эти данные. Такая вот схема авторизации\аутентификации.
1
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
21.12.2016, 18:07
Привет! Вот еще темы с ответами:

Какие математические библиотеки вы используете? - C++
Товарищи, а какие матлибы вы используете? (если используете). Особенно интересует БПФ.

Какие библиотеки\фреймворки используете именно вы - C++
Какие библиотеки\фреймворки используете именно вы для разработки ПО\игр (Отдельно для каждого). Заранее спасибо за ответ.

Какие языки/технологии вы используете в web-разработке? - Web
Перефразировал прошлый опрос

Какие редакторы вы используете для верстки? - Web-дизайн
Я провужу опрос для диплома. Ответьте пожалуйста. Какие редакторы вы используете для верстки? 1. Визуальный редактор 2. Тексовый...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Yandex
Объявления
21.12.2016, 18:07
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru