Установка Grab

@Glebmanager@mai · Регистрация: 08.02.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток

понадобилось средство парсинга сайта, попытался установить grab, скачал обе зависимости. однако при написании import lxml.html
import pycurl
from grab import Grab

выдает ошибку: ImportError: No module named grab

подскажите пожалуйста как установить - таки grab

а то на официальном сайте нет такой информации

и вообще так и хочется задать вопрос разработчикам: неужели нельзя было сделать ОДИН файл который распаковывал-бы инсталер, который, в свою очередь, устанавливал-бы все необходимое.... да и вообще почему-бы не встроить все эти библиотеки в питон.... а то вечно надо что-то скачивать что-то искать.... (я просто даже питон третий поставил параллельно со своим 2.7 но всеравно не помогло). к чему все эти сложности. Весь день убил и ничего не добился всеравно.

@ilnurgi · 15.04.2013, 08:04

не пользовался Grab'om.
это надо?
https://pypi.python.org/pypi/grab/0.4.8

поставьте pip. И устанавливайте модули из него

@Glebmanager@mai · 15.04.2013, 10:13 **[ТС]**

уже пробывал

запускаю setup.py открывает консольку чего-то пишет в ней и закрывает.... однако результат остается неизменен

но всеравно спасибо

@ilnurgi · 15.04.2013, 16:08

а ты запусти консоль.
cmd
перейди в папку где setup.py
введи
python setup.py install
и посмотри что выведет

@pashtet-kun · 15.04.2013, 20:14

1) ставишь python 2.7
2) прописываешь в переменной PATH пути до питона - c:\Python27;c:\Python27\Scripts
3) ставишь setuptools-0.6c11.win32-py2.7.exe (возможно придется перезагрузиться)
4) ну а дальше как посоветовал Ильнур ставишь зависимости и сам граб
..как-то так

@Glebmanager@mai · 16.04.2013, 10:53 **[ТС]**

Сообщение от ilnurgi

а ты запусти консоль.
cmd
перейди в папку где setup.py
введи
python setup.py install
и посмотри что выведет

все сделал за исключением одного но:
я в основном пишу на работе поэтому прав администратора у меня нет, и посему перейти в папку с питоном я не могу, поэтому я перетащил установщик grab в папку открываемую cmd по умолчанию (User) и вобщем-то запустил её там. однако python setup.py install не сработало (файла такого нет) есть файл setup.py (его я собственно и установил setup.py install) в консольке написало много всего в том числе что установка завершена. однако при запуске выдало ошибку....
оу)) пришел сегодня с утреца и все заработало )))) таки нужно было просто комп перезагрузить как и посоветовал Паштет-кун

блин!!! спасибо большое

ОЧЕНЬ помог!))) а то я с горя уже полез Лутца читать(( прочел про встроенные парсеры и вообще расстроился

Добавлено через 2 минуты

Сообщение от pashtet-kun

1) ставишь python 2.7
2) прописываешь в переменной PATH пути до питона - c:\Python27;c:\Python27\Scripts
3) ставишь setuptools-0.6c11.win32-py2.7.exe (возможно придется перезагрузиться)
4) ну а дальше как посоветовал Ильнур ставишь зависимости и сам граб
..как-то так

спасибо

твой совет помог

я только не понял где именно находится переменная PATH всю папку облазил но так и не нашел))) впрочем все работает и енто главное

еще раз спасибо

уже не в первый раз меня выручаешь

@t1m0n · 18.04.2013, 17:34

PATH это системная переменная

Кликните здесь для просмотра всего текста

indows 7
В меню Start (Пуск) выберите пункт Computer (Компьютер)
В контекстном меню выберите пункт System Properties (Свойства системы)
Выберите Advanced system settings (Дополнительные параметры системы) > вкладку Advanced (Дополнительно)
Выберите Environment Variables (Переменные среды),в меню System Variables (Системные переменные), найдите переменнуюPATH и щелкните на ней.

@Cplusplus · 22.12.2015, 19:31

На правах антирекламы. Несколько слов о Grab, pycurl и культуре программирования.

В одном некоммерческом проекте понадобилось делать скрап определенных сайтов.
Воодушевленный публикациями типа http://ivan-shamaev.ru/python-grab/ и открытостью продукта http://grablib.org/, принялся пробовать Grab (Windows 7, Python 2.7, для развертывания на Google App Engine).
Почти сразу, дуриком получилась пробная сборка. Но рано радовался, повторить не удалось. В реальном проекте это ни разу не заработало.
Сначала постоянно лезло "не найден модуль pycurl" - http://stackoverflow.com/quest... -not-found. Была изучена документация, перепробованы десятки комбинаций софта и библиотек Python. Безуспешно.
Потом занялся инсталляциями Grab и pycurl из исходного кода и был неприятно удивлен большим количеством нелепых ошибок в предлагаемом продукте. Упс.
В итоге самостоятельно реализовал web crawler c использованием urllib и pyspider. От знакомства с Grab остался тяжелый осадок, жаль потраченных усилий и времени.

В чем причина широкого распространения в сети сырых неряшливых поделок?

1. Объективно громадный "зоопарк" мало совместимых между собой библиотек и продуктов Python на разных платформах.
2. Объективно низкий профессиональный уровень авторов изделий, несмотря на обилие выкладываемых ими в сети логов сборок и юнит-тестов своих продуктов.
3. Субъективное желание коммерческих заказов и денег, о чем какбе вопиет личная страничка разработчика - http://getdata.pro/.

А вы как думаете?

@Zuzik · 22.12.2015, 22:47

Сообщение от Cplusplus

В одном некоммерческом проекте понадобилось делать скрап определенных сайтов.
Воодушевленный публикациями типа http://ivan-shamaev.ru/python-grab/ и открытостью продукта http://grablib.org/, принялся пробовать Grab (Windows 7, Python 2.7, для развертывания на Google App Engine).
Почти сразу, дуриком получилась пробная сборка. Но рано радовался, повторить не удалось. В реальном проекте это ни разу не заработало.

в общесистемный питон так скажем в винде ставится без проблем. Достаточно поставить lxml и pycurl модифицированный разработчиками граба ( о чем сообщает инструкция где то на сайте их). У меня проблем не было. В виртуальное окружение - тут хз.
В лине - проблеммы могут быть, но они элементарно гуглятся, и исправляются при наличии элементарных знаний английского (прочитать текст ошибок) и наличия головы на плечах.

Сообщение от Cplusplus

Потом занялся инсталляциями Grab и pycurl из исходного кода и был неприятно удивлен большим количеством нелепых ошибок в предлагаемом продукте. Упс.

говорить ничего не буду, тут думаю вы полностью правы. Но оно работает, и это как ни печально главное.

Сообщение от Cplusplus

От знакомства с Grab остался тяжелый осадок, жаль потраченных усилий и времени.

Мне вас жаль, у меня наоборот осталось о нем достаточно хорошее впечатление. Хотя и недостатки тоже его можно отметить - документация оставляет желать лучшего, совершение некоторых действий происходит не самым удобным образом, про некоторое вообще можно сказать " что думали авторы когда делали эту хрень?".

Сообщение от Cplusplus

1. Объективно громадный "зоопарк" мало совместимых между собой библиотек и продуктов Python на разных платформах.

Из этого зоопарка вырастают потрясающие инструменты, или по крайней мере выдающиеся.

Сообщение от Cplusplus

2. Объективно низкий профессиональный уровень авторов изделий, несмотря на обилие выкладываемых ими в сети логов сборок и юнит-тестов своих продуктов.

Все с чего то начинали, да и про низкий уровень можно поспорить.

Сообщение от Cplusplus

3. Субъективное желание коммерческих заказов и денег, о чем какбе вопиет личная страничка разработчика - http://getdata.pro/.

Человек хочет бабла, почему нет?

П.С.
Граб удобная штука, которая на текущий момент зависла в развитии, достаточно хорошо выполняет свои задачи, более мене проста в использовании. Но не следует думаю что он идеален. Другие инструменты/их связки могут в разы лучше выполнить задачу, при этом, затратив чуть больше времени на их освоение.

@supmener · 16.08.2020, 09:15

Есть ли аналог этой команде?

Code
1
response = requests.get('https://yandex.ru/',  verify=False)

@Garry Galler · 16.08.2020, 14:08

Сообщение от supmener

Есть ли аналог этой команде?

Зачем? Как всегда не ищешь проторенных путей?
Не нравится писать запрос в одну строчку - используй встроенную urllib.request:

Python
1
2
3
4
5
req = urllib.request.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
# Customize the default User-Agent header value:
req.add_header('User-Agent', 'urllib-example/0.1 (Contact: . . .)')
r = urllib.request.urlopen(req)

Только она гораздо более многословная, когда требуется указать опции запроса.

А еще любители хардкора и знатоки сетевых спецификаций могут написать http запрос непосредственно на сокетах .

@supmener · 16.08.2020, 14:14

А почему в первой и второй строке указан разный адрес?

@Garry Galler · 16.08.2020, 14:52

Сообщение от supmener

А почему в первой и второй строке указан разный адрес?

Потому что первый адрес никакого отношения к второму не имеет. Первый это адрес запроса, второй адрес referer'а (источника запроса).

Ты не ответил на мой вопрос: Зачем?

@supmener · 16.08.2020, 15:12

Сообщение от Garry Galler

Зачем?

Возможно, что не нужно это. Когда начал проходить один урок, понял, что без этого работает.

А если объяснить на разговорном языке, то что делает первая строчка, а что вторая? Поначалу сомневался, не два ли это разных примера в двух строках. В этом коде взаимосвязанные строки одного примера?

@Garry Galler · 16.08.2020, 15:35

Вторая строка создает заголовок (header) запроса. Заголовки бывают всяко-разные, описаны в спецификации http протокола. В том числе и referer. Это пример из офиц. документации. Разумеется, referer не является обязательным заголовком.

Новые блоги и статьи Все статьи Все блоги /
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .	Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .
Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52

	Установка Grab 14.04.2013, 17:53. Показов 10246. Ответов 14 Метки нет (Все метки) Доброго времени суток понадобилось средство парсинга сайта, попытался установить grab, скачал обе зависимости. однако при написании import lxml.html import pycurl from grab import Grab выдает ошибку: ImportError: No module named grab подскажите пожалуйста как установить - таки grab а то на официальном сайте нет такой информации и вообще так и хочется задать вопрос разработчикам: неужели нельзя было сделать ОДИН файл который распаковывал-бы инсталер, который, в свою очередь, устанавливал-бы все необходимое.... да и вообще почему-бы не встроить все эти библиотеки в питон.... а то вечно надо что-то скачивать что-то искать.... (я просто даже питон третий поставил параллельно со своим 2.7 но всеравно не помогло). к чему все эти сложности. Весь день убил и ничего не добился всеравно. 0

@ilnurgi 141 / 141 / 38 Регистрация: 20.02.2012 Сообщений: 597
	15.04.2013, 08:04
	не пользовался Grab'om. это надо? https://pypi.python.org/pypi/grab/0.4.8 поставьте pip. И устанавливайте модули из него 1

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	15.04.2013, 10:13 [ТС]
	уже пробывал запускаю setup.py открывает консольку чего-то пишет в ней и закрывает.... однако результат остается неизменен но всеравно спасибо 0

@ilnurgi 141 / 141 / 38 Регистрация: 20.02.2012 Сообщений: 597
	15.04.2013, 16:08
	а ты запусти консоль. cmd перейди в папку где setup.py введи python setup.py install и посмотри что выведет 2

@pashtet-kun 135 / 120 / 37 Регистрация: 30.09.2012 Сообщений: 400
	15.04.2013, 20:14
	1) ставишь python 2.7 2) прописываешь в переменной PATH пути до питона - c:\Python27;c:\Python27\Scripts 3) ставишь setuptools-0.6c11.win32-py2.7.exe (возможно придется перезагрузиться) 4) ну а дальше как посоветовал Ильнур ставишь зависимости и сам граб ..как-то так 1

@t1m0n 638 / 416 / 27 Регистрация: 03.11.2009 Сообщений: 1,855
	18.04.2013, 17:34
	PATH это системная переменная Кликните здесь для просмотра всего текста indows 7 В меню Start (Пуск) выберите пункт Computer (Компьютер) В контекстном меню выберите пункт System Properties (Свойства системы) Выберите Advanced system settings (Дополнительные параметры системы) > вкладку Advanced (Дополнительно) Выберите Environment Variables (Переменные среды),в меню System Variables (Системные переменные), найдите переменнуюPATH и щелкните на ней. 0

@Cplusplus 0 / 0 / 0 Регистрация: 22.12.2015 Сообщений: 1
	22.12.2015, 19:31
	На правах антирекламы. Несколько слов о Grab, pycurl и культуре программирования. В одном некоммерческом проекте понадобилось делать скрап определенных сайтов. Воодушевленный публикациями типа http://ivan-shamaev.ru/python-grab/ и открытостью продукта http://grablib.org/, принялся пробовать Grab (Windows 7, Python 2.7, для развертывания на Google App Engine). Почти сразу, дуриком получилась пробная сборка. Но рано радовался, повторить не удалось. В реальном проекте это ни разу не заработало. Сначала постоянно лезло "не найден модуль pycurl" - http://stackoverflow.com/quest... -not-found. Была изучена документация, перепробованы десятки комбинаций софта и библиотек Python. Безуспешно. Потом занялся инсталляциями Grab и pycurl из исходного кода и был неприятно удивлен большим количеством нелепых ошибок в предлагаемом продукте. Упс. В итоге самостоятельно реализовал web crawler c использованием urllib и pyspider. От знакомства с Grab остался тяжелый осадок, жаль потраченных усилий и времени. В чем причина широкого распространения в сети сырых неряшливых поделок? 1. Объективно громадный "зоопарк" мало совместимых между собой библиотек и продуктов Python на разных платформах. 2. Объективно низкий профессиональный уровень авторов изделий, несмотря на обилие выкладываемых ими в сети логов сборок и юнит-тестов своих продуктов. 3. Субъективное желание коммерческих заказов и денег, о чем какбе вопиет личная страничка разработчика - http://getdata.pro/. А вы как думаете? 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,753
	16.08.2020, 14:14
	А почему в первой и второй строке указан разный адрес? 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	16.08.2020, 15:35
	Вторая строка создает заголовок (header) запроса. Заголовки бывают всяко-разные, описаны в спецификации http протокола. В том числе и referer. Это пример из офиц. документации. Разумеется, referer не является обязательным заголовком. 1