Составить программу для поиска в интерне, используя Google и последующий парсинг результатов

@mikhail899 · Регистрация: 15.08.2014

Студворк — интернет-сервис помощи студентам

вообщем идея такова!нуждаюсь в совете может быть в исходниках наработанных по данному вопросу.хочу составить программу для поиска в интерне чтобы питон спрашивал у гугла в ответ я получал страницу парсил её,спрашивал у другой поисковой системы и т.д..Надеюсь идея понятно про прокси сокеты и тому подобное я промолчу.Вопрос в том ,что не будет ли проще написать даную программу на дэлфи чем на питоне.По попыткам двум с питона передать в гет запросе поисковый запрос получил два разных ответа но это всё из за того что пользуюсь библеотекой юрл либ.пробывал две разные ссылки.ни хидерсов ни постов не передовал.по опыту помни что на делфи такие темы горазда лучше проходили ,но тут вопрос надо ставить интерпритатор скачивать тобишь его и так далее.Попроще бы хотелось.На чём писать?(копипастить)

@Wolkodav · 19.08.2014, 09:34

mikhail899, ну python однозначно будет это проще. requests - вам в помощь
Вот google api
Поищите, я уверен и у других поисковиков есть python API

Добавлено через 22 секунды
mikhail899, умайдохаетесь на дэлфи, на python проще в разы.

@mikhail899 · 19.08.2014, 09:57 **[ТС]**

поисковый запрос у того же гугла решил собственно всё.url lib2 все сделал.

Python
1
2
3
4
5
6
7
8
9
import urllib2
inputs = raw_input('input')
url = "http://www.google.com/search?q="+inputs;
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
data = opener.open(url).read()
datas = open('d://'+inputs+'.html','wb')
datas.write(str(data))
datas.close()

но делфи тоже на память не хварает.
может кто ещё что скажет.

@Wolkodav · 19.08.2014, 10:01

mikhail899, введите русские буквы.

@mikhail899 · 19.08.2014, 10:13 **[ТС]**

теперь вопрос а парсить с какой библеотекой нужно?

Добавлено через 1 минуту
Wolkodav, ввел русские в поиске иероглифы ,но по результату всё нормально.

@Wolkodav · 19.08.2014, 10:51

mikhail899, тут

@mikhail899 · 22.08.2014, 10:31 **[ТС]**

Wolkodav, Wolkodav, я незнаю как устанавливать дополнительные библеотеки.urlparse не подойдет для этой цели?

@Wolkodav · 22.08.2014, 10:50

mikhail899, а при чем тут urlparse? Вы же парсите html, а не url. тут

@mikhail899 · 22.08.2014, 10:58 **[ТС]**

Wolkodav, открыл загруженную страницу текстовым редак и немного растроился потому как там нет прямых ссылок на поисковые результаты только как я понял ссылки на кэш гугла,а прямых нет.

Добавлено через 2 минуты
это установка linux

@Wolkodav · 22.08.2014, 10:59

mikhail899, есть, посмотрите атрибут data-href)

Добавлено через 1 минуту
mikhail899, нет, это установка общая для всех ОС) Это вы виндузятники, привыкли кликать по кнопкам, учитесь пользоваться консолью, вы всетаки программируете на python.

@mikhail899 · 22.08.2014, 11:21 **[ТС]**

Wolkodav, первый раз сталкивась с тем что библиотеки нужно устанавливать из под консоли там полный путь прописывать?не могли бы объяснить?

ВАСИЛЕВС · 22.08.2014, 11:31

Скачиваем и распаковываем PIP
http://pypi.python.org/pypi/pip
Внизу страницы ссылка на скачку архива. Скачали, распаковали, открываем командную строку — идем в папку с распакованным архивом. Оттуда пишем

Code
1
python setup.py install

Всё pip поставили, теперь у Вас есть менеджер пакетов. Это очень удобно. Дальше

Code
1
pip install beautifulsoup4

ставите библиотеку Beautiful Soup. Ещё можно скачать архив с библиотекой в папку вашего проекта и собрать её там.

@Wolkodav · 22.08.2014, 11:40

ВАСИЛЕВС, ну вроде бы надо еще прописпть пути.

@mikhail899 · 22.08.2014, 11:57 **[ТС]**

Wolkodav, а как в консоле открыть нужную папку?я зашел в консоль и нахожусь в верхней папке чем нужно
команда cd так?

Добавлено через 7 минут
вылезла ошибка traceback(most recent call last):file "setup.py", line 6,in <module> from setuptools import setup. find_packages importerror: No module named setuptools.

@Wolkodav · 22.08.2014, 13:06

надо установить модуль setuptools

@mikhail899 · 22.08.2014, 15:03 **[ТС]**

и где этот модуль?

@Wolkodav · 22.08.2014, 15:04

Тут посмотрите...

@mikhail899 · 22.08.2014, 16:10 **[ТС]**

парсить с родными библеотеками не получится?чтоб ничего не доставлять.

@Wolkodav · 22.08.2014, 16:12

mikhail899, регулярными вырожениями, если сможете, можно вообще строковыми функциями)

@mikhail899 · 31.08.2014, 23:19 **[ТС]**

строковыми функциями понятнее даже.

Новые блоги и статьи Все статьи Все блоги /
Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416

	Составить программу для поиска в интерне, используя Google и последующий парсинг результатов 19.08.2014, 09:03. Показов 2771. Ответов 23 Метки нет (Все метки) вообщем идея такова!нуждаюсь в совете может быть в исходниках наработанных по данному вопросу.хочу составить программу для поиска в интерне чтобы питон спрашивал у гугла в ответ я получал страницу парсил её,спрашивал у другой поисковой системы и т.д..Надеюсь идея понятно про прокси сокеты и тому подобное я промолчу.Вопрос в том ,что не будет ли проще написать даную программу на дэлфи чем на питоне.По попыткам двум с питона передать в гет запросе поисковый запрос получил два разных ответа но это всё из за того что пользуюсь библеотекой юрл либ.пробывал две разные ссылки.ни хидерсов ни постов не передовал.по опыту помни что на делфи такие темы горазда лучше проходили ,но тут вопрос надо ставить интерпритатор скачивать тобишь его и так далее.Попроще бы хотелось.На чём писать?(копипастить) 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	19.08.2014, 09:34
	mikhail899, ну python однозначно будет это проще. requests - вам в помощь Вот google api Поищите, я уверен и у других поисковиков есть python API Добавлено через 22 секунды mikhail899, умайдохаетесь на дэлфи, на python проще в разы. 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	19.08.2014, 10:01
	mikhail899, введите русские буквы. 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	19.08.2014, 10:13 [ТС]
	теперь вопрос а парсить с какой библеотекой нужно? Добавлено через 1 минуту Wolkodav, ввел русские в поиске иероглифы ,но по результату всё нормально. 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	19.08.2014, 10:51
	mikhail899, тут 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	22.08.2014, 10:31 [ТС]
	Wolkodav, Wolkodav, я незнаю как устанавливать дополнительные библеотеки.urlparse не подойдет для этой цели? 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	22.08.2014, 10:50
	mikhail899, а при чем тут urlparse? Вы же парсите html, а не url. тут 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	22.08.2014, 10:58 [ТС]
	Wolkodav, открыл загруженную страницу текстовым редак и немного растроился потому как там нет прямых ссылок на поисковые результаты только как я понял ссылки на кэш гугла,а прямых нет. Добавлено через 2 минуты это установка linux 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	22.08.2014, 10:59
	mikhail899, есть, посмотрите атрибут data-href) Добавлено через 1 минуту mikhail899, нет, это установка общая для всех ОС) Это вы виндузятники, привыкли кликать по кнопкам, учитесь пользоваться консолью, вы всетаки программируете на python. 1

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	22.08.2014, 11:21 [ТС]
	Wolkodav, первый раз сталкивась с тем что библиотеки нужно устанавливать из под консоли там полный путь прописывать?не могли бы объяснить? 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	22.08.2014, 11:40
	ВАСИЛЕВС, ну вроде бы надо еще прописпть пути. 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	22.08.2014, 11:57 [ТС]
	Wolkodav, а как в консоле открыть нужную папку?я зашел в консоль и нахожусь в верхней папке чем нужно команда cd так? Добавлено через 7 минут вылезла ошибка traceback(most recent call last):file "setup.py", line 6,in <module> from setuptools import setup. find_packages importerror: No module named setuptools. 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	22.08.2014, 13:06
	надо установить модуль setuptools 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	22.08.2014, 15:03 [ТС]
	и где этот модуль? 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	22.08.2014, 15:04
	Тут посмотрите... 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	22.08.2014, 16:10 [ТС]
	парсить с родными библеотеками не получится?чтоб ничего не доставлять. 0

@Wolkodav 842 / 480 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	22.08.2014, 16:12
	mikhail899, регулярными вырожениями, если сможете, можно вообще строковыми функциями) 0

@mikhail899 кодер 37 / 26 / 13 Регистрация: 15.08.2014 Сообщений: 416
	31.08.2014, 23:19 [ТС]
	строковыми функциями понятнее даже. 0