ООП для парсинга сайтов

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Код части обучающих уроков написан с ООП. Как Вы думаете, достаточно того, что знаю (судя по общению на форуме на эту тему) или если нет, то по каких ключевым словам поискать, что надо подучить? Или надо всё ООП выучить, чтобы изучать парсинг по урокам? БьютифулСуп не смотрю. Хочу изучить на основе других модулей сначала.

@Welemir1 · 24.08.2020, 18:45

Сообщение от supmener

то по каких ключевым словам поискать,

по ключевым словам "Марк Лутц Изучаем Пайтон скачать"

@0x10 · 24.08.2020, 18:45

Судя по этому вопросу — https://www.cyberforum.ru/post14798866.html — ты не умеешь читать код. Без разницы, в какой парадигме он написан.

Рыжий Лис · 24.08.2020, 18:50

Зачем тебе ООП? Хочешь парсить сайты - парсь. Только в руки возьми requests+soup+lxml или что-нибудь подобное. Пользоваться готовыми классами (из этих библиотек) много ума не надо.

@supmener · 24.08.2020, 19:02 **[ТС]**

soup - имеется в виду БьютифулСуп?
Если не ошибаюсь, в уроке по lxml автор показывал код с ООП, в то же время сказал, что для тех, кто не знает, покажет потом без него. Другие уроки по парсингу в определенный момент переставал понимать. Думаю, может быть из-за того, что там ООП.

Рыжий Лис · 24.08.2020, 19:06

Угу

Bash
1
2
3
4
cat requirements.txt 
requests
beautifulsoup4
lxml

@supmener · 24.08.2020, 19:24 **[ТС]**

Сообщение от Рыжий Лис

cat

А что это значит?

А зачем beautifulsoup4, если есть lxml?

Рыжий Лис · 24.08.2020, 19:36

Содержимое файла вывел на консоль.

lxml-парсер в разы быстрее работает, хотя не переваривает некоторые сайты.

@Viktorrus · 24.08.2020, 21:12

supmener, Я с парсингом знаком совсем немного, начал было и забросил. Поэтому знаком только с одной технологией парсинга, это с помощью фреймворка Scrapy . Там знание ООП обязательно. Вот здесь дается пример парсинга с помощью Scrapy
https://pycoder.ru/make-simple-spider-scrapy/
Там нужно создавать структуру каталогов для парсинга.
А вот пример кода для парсинга, размещаемого в одном из каталогов

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# python 3
import scrapy
from urllib.parse import urljoin
 
 
class PycoderSpider(scrapy.Spider):
    name = "pycoder"
    start_urls = [
         'http://pycoder.ru/?page=1',
    ]
    visited_urls = []
 
    def parse(self, response):
        if response.url not in self.visited_urls:
            self.visited_urls.append(response.url)
            for post_link in response.xpath(
                    '//div[@class="post mb-2"]/h2/a/@href').extract():
                url = urljoin(response.url, post_link)
                print(url)
 
            next_pages = response.xpath(
                    '//li[contains(@class, "page-item") and'
                    ' not(contains(@class, "active"))]/a/@href').extract()
            next_page = next_pages[-1]
 
            next_page_url = urljoin(response.url+'/', next_page)
            yield response.follow(next_page_url, callback=self.parse)

Но лично что меня остановило, это необходимость изучать для данной технологии язык XPath , который довольно нудный.
Хотя не только это, а то, что парсинг пишется свой на каждый сайт, для того, что бы отслеживать изменения информации на этом сайте. Как оказалось, для меня это не настолько интересно, что бы изучать нудный язык XPath.
Может конечно другие технологии парсинга менее трудоемки, я не знаю.

@supmener · 24.08.2020, 21:22 **[ТС]**

Благодарю. В XPath почти что уже выучил многое из него, надо повторить для закрепления материала.

Сообщение от Рыжий Лис

Содержимое файла вывел на консоль

Не понял, что Вы имели в виду.

Рыжий Лис · 25.08.2020, 08:41

Забей. Просто считай, что существует где-то файл requirements.txt со следующим содержимым

Code
1
2
3
requests
beautifulsoup4
lxml

@supmener · 25.08.2020, 09:12 **[ТС]**

Теперь понял, что cat - это команда для вывода содержимого requirements.txt в консоль.

@supmener · 25.08.2020, 16:40 **[ТС]**

Начал изучать ООП полностью.
В сложных случаях Scrapy используется совместно с Selenium или похожей программой. А ещё какие из них?

@Viktorrus · 25.08.2020, 18:33

Сообщение от supmener

Начал изучать ООП полностью.

Полностью для парсинга я думаю Вам не нужно. Достаточно если из тома 2 книги Лутц М. Изучаем Python (том 2, 5-е издание, 2019) изучить только часть VI, все главы. И то, глава 30. "Перегрузка операций" скорее всего не понадобится.

Рыжий Лис · 25.08.2020, 18:47

Вообще вопрос звучит как "Я хочу изучить арифметические операции, которые мне могут пригодиться для парсинга сайтов". Да никаким боком (почти) парсинг не связан с ООП.

Хочешь парсить сайты - для общего развития почитай про dns/ip/маршрутизацию/nat/модель osi/http/https. Поставь wireshark - погоняй http-трафик.

@supmener · 25.08.2020, 19:22 **[ТС]**

Для чтения гуглить, что попадется или какую - то определенную документацию?

@Viktorrus · 26.08.2020, 13:06

Сообщение от Рыжий Лис

Да никаким боком (почти) парсинг не связан с ООП.

Смотря какие технологии парсинга Вы используете. Как я показал выше для использования технологии парсинга базирующейся на фреймворке Scrapy без ООП Вы работать не сможете.

Новые блоги и статьи Все статьи Все блоги /
Валидация и контроль данных табличной части документа перед записью Maks 22.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .	Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755

	ООП для парсинга сайтов 24.08.2020, 18:44. Показов 5764. Ответов 16 Метки нет (Все метки) Код части обучающих уроков написан с ООП. Как Вы думаете, достаточно того, что знаю (судя по общению на форуме на эту тему) или если нет, то по каких ключевым словам поискать, что надо подучить? Или надо всё ООП выучить, чтобы изучать парсинг по урокам? БьютифулСуп не смотрю. Хочу изучить на основе других модулей сначала. 0

@0x10 3258 / 2060 / 351 Регистрация: 24.11.2012 Сообщений: 4,909
	24.08.2020, 18:45
	Судя по этому вопросу — https://www.cyberforum.ru/post14798866.html — ты не умеешь читать код. Без разницы, в какой парадигме он написан. 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	24.08.2020, 18:50
	Зачем тебе ООП? Хочешь парсить сайты - парсь. Только в руки возьми requests+soup+lxml или что-нибудь подобное. Пользоваться готовыми классами (из этих библиотек) много ума не надо. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	24.08.2020, 19:02 [ТС]
	soup - имеется в виду БьютифулСуп? Если не ошибаюсь, в уроке по lxml автор показывал код с ООП, в то же время сказал, что для тех, кто не знает, покажет потом без него. Другие уроки по парсингу в определенный момент переставал понимать. Думаю, может быть из-за того, что там ООП. 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	24.08.2020, 19:36
	Содержимое файла вывел на консоль. lxml-парсер в разы быстрее работает, хотя не переваривает некоторые сайты. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	25.08.2020, 09:12 [ТС]
	Теперь понял, что cat - это команда для вывода содержимого requirements.txt в консоль. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	25.08.2020, 16:40 [ТС]
	Начал изучать ООП полностью. В сложных случаях Scrapy используется совместно с Selenium или похожей программой. А ещё какие из них? 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	25.08.2020, 18:47
	Вообще вопрос звучит как "Я хочу изучить арифметические операции, которые мне могут пригодиться для парсинга сайтов". Да никаким боком (почти) парсинг не связан с ООП. Хочешь парсить сайты - для общего развития почитай про dns/ip/маршрутизацию/nat/модель osi/http/https. Поставь wireshark - погоняй http-трафик. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	25.08.2020, 19:22 [ТС]
	Для чтения гуглить, что попадется или какую - то определенную документацию? 0