Создание примитивного веб-сервиса для парсинга

@zhurban · Регистрация: 14.11.2017

Студворк — интернет-сервис помощи студентам

Здравствуйте. Есть задание: нужно создать веб-сервис с виде сайта. Сайт простенький - форма входа\регистрации и форма ввода ссылки для парсинга. Страница по ссылке будет парситься, и результат быдет выводиться пользователю в виде таблицы.
Для парсинга введенной страницы сайта нужно быть авторизованым пользователем на нем (для этого предпологается завести специальный аккаунт). Так же чтобы спарсить все данные на странице нужно будет тыкнуть пару кнопок\ссылок\заполнить формы. Но я в этом ещё слабо плаваю, и меня интересует пару моментов:

1. Какой фреймворк использовать для такого примитивного сайта (слышал что bottle очень легковесный и простой, но может у кого-то будут варианты по их мнению лучше)

2. Какие библиотеки\модули лучше использовать для парсинга информации

3. Какие библиотеки\модули лучше использовать для авторизации\эмуляции заполнения форм\эмуляции нажатия кнопок

Да, в интернете полно гайдов по парсингу и прочему, но хотел бы услышать советы, замечания и возможно настановы от обитателей форума чтобы знать куда лучше "копать".
Спасибо за внимание, буду рад любому совету

@Garry Galler · 30.06.2020, 18:21

1)
Можете рассмотреть еще cherrypy. В отличие от bottle он имеет встроенный многопоточный сервер, который можно (как пишут) использовать не только для разработки. В bottle же есть только сервер разработки (однопоточный wsgiref) - на проде к нему нужно будет скорей всего подключать что-то типа gunicorn или тот же cherrypy (как сказано выше, он имеет встроенный многопоточный сервер). Ну и авторизация в cherry уже есть. В Bottle нужно подключать плагин.

Ну а прочие варианты не трудно предугадать: Flask и далее - Django как мегамонстр web-разработки.

Сервера, поддерживаемые bottle для подключения в качестве application server:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
cgi     Run as CGI script
flup    flup    Run as FastCGI process
gae gae Helper for Google App Engine deployments
wsgiref wsgiref Single-threaded default server
cherrypy    cherrypy    Multi-threaded and very stable
paste   paste   Multi-threaded, stable, tried and tested
waitress    waitress    Multi-threaded, poweres Pyramid
gunicorn    gunicorn    Pre-forked, partly written in C
eventlet    eventlet    Asynchronous framework with WSGI support.
gevent  gevent  Asynchronous (greenlets)
diesel  diesel  Asynchronous (greenlets)
fapws3  fapws3  Asynchronous (network side only), written in C
tornado tornado Asynchronous, powers some parts of Facebook
twisted twisted Asynchronous, well tested but… twisted
meinheld    meinheld    Asynchronous, partly written in C
bjoern  bjoern  Asynchronous, very fast and written in C

2) lxml (ну, это мой выбор, другие назовут BeautifulSoup4 как более простую для новичков, но я уже не раз высказывался о том, что новички ее все равно неверно используют, чему способствует сам API библиотеки).

@zhurban · 30.06.2020, 19:57 **[ТС]**

Garry Galler, спасибо вам большое за совет, снимаю шляпу

Добавлено через 1 час 20 минут
Garry Galler, извините за возможно глупый вопрос, но:
Как я и упоминал, спарсить нужные данные можно лишь если пользователь авторизован + нужно будет жать ещё ссылки и кнопки. И желательно чтобы сессия авторизации была активна продолжительное время, а не авторизироваться каждый раз когда приходит запрос на парсинг.
Что нужно использовать чтобы это провернуть? Может тоже какие библиотеки\модули? Или, если можете, подскажите как такие инструменты в общем называются правильно

Спасибо заранее

@Peoples · 01.07.2020, 17:17

Сообщение от zhurban

спарсить нужные данные можно лишь если пользователь авторизован + нужно будет жать ещё ссылки и кнопки.

Selenium в помощь

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@zhurban 291 / 193 / 104 Регистрация: 14.11.2017 Сообщений: 489

	Создание примитивного веб-сервиса для парсинга 30.06.2020, 17:38. Показов 2464. Ответов 3 Метки нет (Все метки) Здравствуйте. Есть задание: нужно создать веб-сервис с виде сайта. Сайт простенький - форма входа\регистрации и форма ввода ссылки для парсинга. Страница по ссылке будет парситься, и результат быдет выводиться пользователю в виде таблицы. Для парсинга введенной страницы сайта нужно быть авторизованым пользователем на нем (для этого предпологается завести специальный аккаунт). Так же чтобы спарсить все данные на странице нужно будет тыкнуть пару кнопок\ссылок\заполнить формы. Но я в этом ещё слабо плаваю, и меня интересует пару моментов: 1. Какой фреймворк использовать для такого примитивного сайта (слышал что bottle очень легковесный и простой, но может у кого-то будут варианты по их мнению лучше) 2. Какие библиотеки\модули лучше использовать для парсинга информации 3. Какие библиотеки\модули лучше использовать для авторизации\эмуляции заполнения форм\эмуляции нажатия кнопок Да, в интернете полно гайдов по парсингу и прочему, но хотел бы услышать советы, замечания и возможно настановы от обитателей форума чтобы знать куда лучше "копать". Спасибо за внимание, буду рад любому совету 0

@zhurban 291 / 193 / 104 Регистрация: 14.11.2017 Сообщений: 489
	30.06.2020, 19:57 [ТС]
	Garry Galler, спасибо вам большое за совет, снимаю шляпу Добавлено через 1 час 20 минут Garry Galler, извините за возможно глупый вопрос, но: Как я и упоминал, спарсить нужные данные можно лишь если пользователь авторизован + нужно будет жать ещё ссылки и кнопки. И желательно чтобы сессия авторизации была активна продолжительное время, а не авторизироваться каждый раз когда приходит запрос на парсинг. Что нужно использовать чтобы это провернуть? Может тоже какие библиотеки\модули? Или, если можете, подскажите как такие инструменты в общем называются правильно Спасибо заранее 0

Создание примитивного веб-сервиса для парсинга

Решение

Решение