Краулер на Python

@Efresco · Регистрация: 06.01.2015

Author24 — интернет-сервис помощи студентам

Всем доброго времени суток,
столкнулся с проблемкой, которую хотел бы оптимизировать, задача такова:
есть список запросов в виде, допустим xlsx таблицы или текстового файла, нужно чтоб запрос вставлялся в поисковик google.com и из результата скачивались, допустим, первые три документа
Объясните, пожалуйста каким образом это можно сделать,
Заранее благодарен!

@alex925 · 06.03.2015, 20:30

Ну тут банальная работа с файлами (если все хранится в txt), знание того, что такое http и его методов + знание как парсится html (cssselector, xpath).
Для реализации нужны requests и lxml.

@sanodins · 07.03.2015, 11:18

Python

# -*- coding: utf-8 -*
from lxml.html import parse
 
s = u'собака'
dom = parse("http://www.google.ru/search?q=%s" % s).getroot()
links = dom.cssselect('a')
 
 
 
links = iter(links)
for n, l in enumerate(links):
    u = l.text_content()
    #print unicode(u),
    print unicode(l.values())

Добавлено через 7 минут

Python

for s in open('word.txt', 'r'):
    
 
    print s

@Efresco · 08.03.2015, 19:05 **[ТС]**

Спасибо, большое за помощь, я вроде разобрался, только проблема с установкой модуля lxml. Можно закрывать тему.

@alex925 · 08.03.2015, 19:44

Сообщение от Efresco

только проблема с установкой модуля lxml

Потому, что его установки нужен компилятор Си, библиотека основана на сишной. Ну или как вариант нужно ставить уже скомпилированный вариант.

Добавлено через 33 секунды
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

@Efresco 0 / 0 / 0 Регистрация: 06.01.2015 Сообщений: 40
		1
	Краулер на Python 06.03.2015, 20:26. Показов 2301. Ответов 4 Метки нет (Все метки) Всем доброго времени суток, столкнулся с проблемкой, которую хотел бы оптимизировать, задача такова: есть список запросов в виде, допустим xlsx таблицы или текстового файла, нужно чтоб запрос вставлялся в поисковик google.com и из результата скачивались, допустим, первые три документа Объясните, пожалуйста каким образом это можно сделать, Заранее благодарен! 0

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	06.03.2015, 20:30	2
	Ну тут банальная работа с файлами (если все хранится в txt), знание того, что такое http и его методов + знание как парсится html (cssselector, xpath). Для реализации нужны requests и lxml. 1

@Efresco 0 / 0 / 0 Регистрация: 06.01.2015 Сообщений: 40
	08.03.2015, 19:05 [ТС]	4
	Спасибо, большое за помощь, я вроде разобрался, только проблема с установкой модуля lxml. Можно закрывать тему. 0

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	08.03.2015, 19:44	5
	Сообщение от Efresco только проблема с установкой модуля lxml Потому, что его установки нужен компилятор Си, библиотека основана на сишной. Ну или как вариант нужно ставить уже скомпилированный вариант. Добавлено через 33 секунды http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 0

Краулер на Python

Решение