Подскажите набор инструментов для парсинга сайтов

@izuchaju_python · Регистрация: 30.06.2015

Студворк — интернет-сервис помощи студентам

Сайты разные бывают, говорят, защита с капчей, подгрузка элементов js, сайты с регистрацией, сайты, парсинг которых только через прокси возможен, правильно я понимаю? можете привести ряд примеров таких сайтов мне для практики, для учебы? Был бы благодарен. Спасибо.

@alex925 · 17.04.2016, 20:37

Apple store, wix, vk вот некоторые из

@izuchaju_python · 17.04.2016, 22:08 **[ТС]**

alex925, еще б хотелось бы сполучить список всех необходимых знаний помимо питона,BeautifulSoup,requests,re, lxml,pyqt webkit что еще нужно?

Добавлено через 1 минуту
Также интересно есть ли какие-то хорошие каналы, либо онлайн курсы, либо главы книг по парсингу, потому чтоя особо много не нашел, признаться честно...

@alex925 · 17.04.2016, 22:52

Да ты все уже вроде перечислил.

Сообщение от izuchaju_python

кже интересно есть ли какие-то хорошие каналы, либо онлайн курсы, либо главы книг по парсингу

Потому что их нет

Вообще как уже говорили, не надо столько много спрашивать, просто делай и все. Нужно обсуждать конкретные трудности.
Вообще все последние твои проблемы были связаны не с проблемами парсинга, а с не понимаем работы каких либо библиотек. Ты не понимаешь какие объекты тебе возвращаются и что с ними делать.

@izuchaju_python · 18.04.2016, 01:04 **[ТС]**

alex925, Просто брать реальную задачу и реализовывать ее? так и учиться?
а много спрашиваю от того, что как реализовать задачу, если не знаешь инструмета, каким она реализована=)

@alex925 · 18.04.2016, 07:06

Сообщение от izuchaju_python

Просто брать реальную задачу и реализовывать ее? так и учиться?

Да, все так и учатся.

@izuchaju_python · 19.04.2016, 00:15 **[ТС]**

alex925, скажите пожалуйста, а по каким материалам лучше изучать pyqt с его удобной штукой webkit?

@alex925 · 19.04.2016, 00:37

Сначала познакомься с азами Pyqt по книжке Прохоренка, а потом по статьям в сети можно, их там вагон и маленькая телега.

@izuchaju_python · 19.04.2016, 01:14 **[ТС]**

Python 3 и. PyQt Разработка припожений, насколько понял это она, хорошо, начнем изучать.

@relaxid · 19.04.2016, 12:51

Вебинар Создание парсера сайтов на языке Python
Ведущий: Дмитрий Акинин

@izuchaju_python · 19.04.2016, 22:36 **[ТС]**

relaxid, была в закладках эта страничка, даже как-то начинал смотреть...спасибо.

Добавлено через 9 часов 2 минуты
вот как этот pyqt установить в python3 yf ubuntu 32 разрядную ?! все облазил , ничего не помогает из найденного.Help.

@alex925 · 19.04.2016, 22:38

Не знаю где лазил, все проще простого

Bash
1
sudo apt-get install python3-pyqt4

@izuchaju_python · 20.04.2016, 17:59 **[ТС]**

Уже вот так установил

Bash
1
sudo apt-get install qtcreator pyqt5-dev-tools

, нашел такой вариант на англоязычном сайте. Надеюсь все сработало.

Python
1
2
from PyQt4 import QtCore
QtCore.PYQT_VERSION_STR

отобразилось '4.11.4'

Добавлено через 18 часов 38 минут
alex925, Qt is incredibly sophisticated and capable and it will take you a long time to become familiar with its available operations. цитата с одного образовательного ресурса...боюсь не потянуть...может за Selenium для Python взяться? или уже раз учить, так учить нужный инструмент? потому что пока оч тяжко все идет..

@alex925 · 20.04.2016, 18:14

Сообщение от izuchaju_python

Уже вот так установил

это ты не то ставил, тебе это вообще не нужно.

Сообщение от izuchaju_python

боюсь не потянуть

харош придуриваться, просто возьми и начни знакомиться, ничего сложного там нет

Сообщение от izuchaju_python

или уже раз учить, так учить нужный инструмент?

Именно

Сообщение от izuchaju_python

потому что пока оч тяжко все идет

Да ты ток начал и сразу хочешь все и сразу, так не бывает

@izuchaju_python · 20.04.2016, 23:22 **[ТС]**

посоветовали этот плейлист, включаю видео, может проще объяснено , чем в книге "Python 3 и. PyQt Разработка припожений"...

Добавлено через 1 час 25 минут
alex925, ответьте, пожалуйста, чем один код отличается от другого, спасибо.

Python
1
2
3
4
5
6
7
from PyQt4.QtCore import *
from PyQt4.QtGui import *
import sys
app = QApplication(sys.argv)
dialog = QDialog()
dialog.show()
app.exec_()

Python
1
2
3
4
5
6
7
from PyQt4.QtCore import *
from PyQt4.QtGui import *
import sys
app = QApplication(sys.argv)
dialog = QDialog()
dialog.show()
app.exec()

@alex925 · 21.04.2016, 05:38

izuchaju_python, Ни чем

Jabbson · 21.04.2016, 12:03

Сообщение от izuchaju_python

ответьте, пожалуйста, чем один код отличается от другого, спасибо.

Насяльника, гатова пажалуста

Подскажите набор инструментов для парсинга сайтов

@izuchaju_python · 21.04.2016, 14:37 **[ТС]**

Jabbson, lol

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Первый деплой lagorue 16.01.2026 Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431

	Подскажите набор инструментов для парсинга сайтов 17.04.2016, 19:14. Показов 1764. Ответов 17 Метки нет (Все метки) Сайты разные бывают, говорят, защита с капчей, подгрузка элементов js, сайты с регистрацией, сайты, парсинг которых только через прокси возможен, правильно я понимаю? можете привести ряд примеров таких сайтов мне для практики, для учебы? Был бы благодарен. Спасибо. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	17.04.2016, 20:37
	Apple store, wix, vk вот некоторые из 1

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	17.04.2016, 22:08 [ТС]
	alex925, еще б хотелось бы сполучить список всех необходимых знаний помимо питона,BeautifulSoup,requests,re, lxml,pyqt webkit что еще нужно? Добавлено через 1 минуту Также интересно есть ли какие-то хорошие каналы, либо онлайн курсы, либо главы книг по парсингу, потому чтоя особо много не нашел, признаться честно... 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	18.04.2016, 01:04 [ТС]
	alex925, Просто брать реальную задачу и реализовывать ее? так и учиться? а много спрашиваю от того, что как реализовать задачу, если не знаешь инструмета, каким она реализована=) 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	19.04.2016, 00:15 [ТС]
	alex925, скажите пожалуйста, а по каким материалам лучше изучать pyqt с его удобной штукой webkit? 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	19.04.2016, 00:37
	Сначала познакомься с азами Pyqt по книжке Прохоренка, а потом по статьям в сети можно, их там вагон и маленькая телега. 1

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	19.04.2016, 01:14 [ТС]
	Python 3 и. PyQt Разработка припожений, насколько понял это она, хорошо, начнем изучать. 0

@relaxid 0 / 0 / 0 Регистрация: 17.09.2015 Сообщений: 18
	19.04.2016, 12:51
	Вебинар Создание парсера сайтов на языке Python Ведущий: Дмитрий Акинин 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	19.04.2016, 22:36 [ТС]
	relaxid, была в закладках эта страничка, даже как-то начинал смотреть...спасибо. Добавлено через 9 часов 2 минуты вот как этот pyqt установить в python3 yf ubuntu 32 разрядную ?! все облазил , ничего не помогает из найденного.Help. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	21.04.2016, 05:38
	izuchaju_python, Ни чем 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	21.04.2016, 14:37 [ТС]
	Jabbson, lol 0