Подскажите набор инструментов для парсинга сайтов

@izuchaju_python · Регистрация: 30.06.2015

Студворк — интернет-сервис помощи студентам

Сайты разные бывают, говорят, защита с капчей, подгрузка элементов js, сайты с регистрацией, сайты, парсинг которых только через прокси возможен, правильно я понимаю? можете привести ряд примеров таких сайтов мне для практики, для учебы? Был бы благодарен. Спасибо.

@alex925 · 17.04.2016, 20:37

Apple store, wix, vk вот некоторые из

@izuchaju_python · 17.04.2016, 22:08 **[ТС]**

alex925, еще б хотелось бы сполучить список всех необходимых знаний помимо питона,BeautifulSoup,requests,re, lxml,pyqt webkit что еще нужно?

Добавлено через 1 минуту
Также интересно есть ли какие-то хорошие каналы, либо онлайн курсы, либо главы книг по парсингу, потому чтоя особо много не нашел, признаться честно...

@alex925 · 17.04.2016, 22:52

Да ты все уже вроде перечислил.

Сообщение от izuchaju_python

кже интересно есть ли какие-то хорошие каналы, либо онлайн курсы, либо главы книг по парсингу

Потому что их нет

Вообще как уже говорили, не надо столько много спрашивать, просто делай и все. Нужно обсуждать конкретные трудности.
Вообще все последние твои проблемы были связаны не с проблемами парсинга, а с не понимаем работы каких либо библиотек. Ты не понимаешь какие объекты тебе возвращаются и что с ними делать.

@izuchaju_python · 18.04.2016, 01:04 **[ТС]**

alex925, Просто брать реальную задачу и реализовывать ее? так и учиться?
а много спрашиваю от того, что как реализовать задачу, если не знаешь инструмета, каким она реализована=)

@alex925 · 18.04.2016, 07:06

Сообщение от izuchaju_python

Просто брать реальную задачу и реализовывать ее? так и учиться?

Да, все так и учатся.

@izuchaju_python · 19.04.2016, 00:15 **[ТС]**

alex925, скажите пожалуйста, а по каким материалам лучше изучать pyqt с его удобной штукой webkit?

@alex925 · 19.04.2016, 00:37

Сначала познакомься с азами Pyqt по книжке Прохоренка, а потом по статьям в сети можно, их там вагон и маленькая телега.

@izuchaju_python · 19.04.2016, 01:14 **[ТС]**

Python 3 и. PyQt Разработка припожений, насколько понял это она, хорошо, начнем изучать.

@relaxid · 19.04.2016, 12:51

Вебинар Создание парсера сайтов на языке Python
Ведущий: Дмитрий Акинин

@izuchaju_python · 19.04.2016, 22:36 **[ТС]**

relaxid, была в закладках эта страничка, даже как-то начинал смотреть...спасибо.

Добавлено через 9 часов 2 минуты
вот как этот pyqt установить в python3 yf ubuntu 32 разрядную ?! все облазил , ничего не помогает из найденного.Help.

@alex925 · 19.04.2016, 22:38

Не знаю где лазил, все проще простого

Bash
1
sudo apt-get install python3-pyqt4

@izuchaju_python · 20.04.2016, 17:59 **[ТС]**

Уже вот так установил

Bash
1
sudo apt-get install qtcreator pyqt5-dev-tools

, нашел такой вариант на англоязычном сайте. Надеюсь все сработало.

Python
1
2
from PyQt4 import QtCore
QtCore.PYQT_VERSION_STR

отобразилось '4.11.4'

Добавлено через 18 часов 38 минут
alex925, Qt is incredibly sophisticated and capable and it will take you a long time to become familiar with its available operations. цитата с одного образовательного ресурса...боюсь не потянуть...может за Selenium для Python взяться? или уже раз учить, так учить нужный инструмент? потому что пока оч тяжко все идет..

@alex925 · 20.04.2016, 18:14

Сообщение от izuchaju_python

Уже вот так установил

это ты не то ставил, тебе это вообще не нужно.

Сообщение от izuchaju_python

боюсь не потянуть

харош придуриваться, просто возьми и начни знакомиться, ничего сложного там нет

Сообщение от izuchaju_python

или уже раз учить, так учить нужный инструмент?

Именно

Сообщение от izuchaju_python

потому что пока оч тяжко все идет

Да ты ток начал и сразу хочешь все и сразу, так не бывает

@izuchaju_python · 20.04.2016, 23:22 **[ТС]**

посоветовали этот плейлист, включаю видео, может проще объяснено , чем в книге "Python 3 и. PyQt Разработка припожений"...

Добавлено через 1 час 25 минут
alex925, ответьте, пожалуйста, чем один код отличается от другого, спасибо.

Python
1
2
3
4
5
6
7
from PyQt4.QtCore import *
from PyQt4.QtGui import *
import sys
app = QApplication(sys.argv)
dialog = QDialog()
dialog.show()
app.exec_()

Python
1
2
3
4
5
6
7
from PyQt4.QtCore import *
from PyQt4.QtGui import *
import sys
app = QApplication(sys.argv)
dialog = QDialog()
dialog.show()
app.exec()

@alex925 · 21.04.2016, 05:38

izuchaju_python, Ни чем

Jabbson · 21.04.2016, 12:03

Сообщение от izuchaju_python

ответьте, пожалуйста, чем один код отличается от другого, спасибо.

Насяльника, гатова пажалуста

Подскажите набор инструментов для парсинга сайтов

@izuchaju_python · 21.04.2016, 14:37 **[ТС]**

Jabbson, lol

Новые блоги и статьи Все статьи Все блоги /
Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431

	Подскажите набор инструментов для парсинга сайтов 17.04.2016, 19:14. Показов 1789. Ответов 17 Метки нет (Все метки) Сайты разные бывают, говорят, защита с капчей, подгрузка элементов js, сайты с регистрацией, сайты, парсинг которых только через прокси возможен, правильно я понимаю? можете привести ряд примеров таких сайтов мне для практики, для учебы? Был бы благодарен. Спасибо. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	17.04.2016, 20:37
	Apple store, wix, vk вот некоторые из 1

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	17.04.2016, 22:08 [ТС]
	alex925, еще б хотелось бы сполучить список всех необходимых знаний помимо питона,BeautifulSoup,requests,re, lxml,pyqt webkit что еще нужно? Добавлено через 1 минуту Также интересно есть ли какие-то хорошие каналы, либо онлайн курсы, либо главы книг по парсингу, потому чтоя особо много не нашел, признаться честно... 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	18.04.2016, 01:04 [ТС]
	alex925, Просто брать реальную задачу и реализовывать ее? так и учиться? а много спрашиваю от того, что как реализовать задачу, если не знаешь инструмета, каким она реализована=) 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	19.04.2016, 00:15 [ТС]
	alex925, скажите пожалуйста, а по каким материалам лучше изучать pyqt с его удобной штукой webkit? 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	19.04.2016, 00:37
	Сначала познакомься с азами Pyqt по книжке Прохоренка, а потом по статьям в сети можно, их там вагон и маленькая телега. 1

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	19.04.2016, 01:14 [ТС]
	Python 3 и. PyQt Разработка припожений, насколько понял это она, хорошо, начнем изучать. 0

@relaxid 0 / 0 / 0 Регистрация: 17.09.2015 Сообщений: 18
	19.04.2016, 12:51
	Вебинар Создание парсера сайтов на языке Python Ведущий: Дмитрий Акинин 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	19.04.2016, 22:36 [ТС]
	relaxid, была в закладках эта страничка, даже как-то начинал смотреть...спасибо. Добавлено через 9 часов 2 минуты вот как этот pyqt установить в python3 yf ubuntu 32 разрядную ?! все облазил , ничего не помогает из найденного.Help. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	21.04.2016, 05:38
	izuchaju_python, Ни чем 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	21.04.2016, 14:37 [ТС]
	Jabbson, lol 0