Установка Grab

@Glebmanager@mai · Регистрация: 08.02.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток

понадобилось средство парсинга сайта, попытался установить grab, скачал обе зависимости. однако при написании import lxml.html
import pycurl
from grab import Grab

выдает ошибку: ImportError: No module named grab

подскажите пожалуйста как установить - таки grab

а то на официальном сайте нет такой информации

и вообще так и хочется задать вопрос разработчикам: неужели нельзя было сделать ОДИН файл который распаковывал-бы инсталер, который, в свою очередь, устанавливал-бы все необходимое.... да и вообще почему-бы не встроить все эти библиотеки в питон.... а то вечно надо что-то скачивать что-то искать.... (я просто даже питон третий поставил параллельно со своим 2.7 но всеравно не помогло). к чему все эти сложности. Весь день убил и ничего не добился всеравно.

@ilnurgi · 15.04.2013, 08:04

не пользовался Grab'om.
это надо?
https://pypi.python.org/pypi/grab/0.4.8

поставьте pip. И устанавливайте модули из него

@Glebmanager@mai · 15.04.2013, 10:13 **[ТС]**

уже пробывал

запускаю setup.py открывает консольку чего-то пишет в ней и закрывает.... однако результат остается неизменен

но всеравно спасибо

@ilnurgi · 15.04.2013, 16:08

а ты запусти консоль.
cmd
перейди в папку где setup.py
введи
python setup.py install
и посмотри что выведет

@pashtet-kun · 15.04.2013, 20:14

1) ставишь python 2.7
2) прописываешь в переменной PATH пути до питона - c:\Python27;c:\Python27\Scripts
3) ставишь setuptools-0.6c11.win32-py2.7.exe (возможно придется перезагрузиться)
4) ну а дальше как посоветовал Ильнур ставишь зависимости и сам граб
..как-то так

@Glebmanager@mai · 16.04.2013, 10:53 **[ТС]**

Сообщение от ilnurgi

а ты запусти консоль.
cmd
перейди в папку где setup.py
введи
python setup.py install
и посмотри что выведет

все сделал за исключением одного но:
я в основном пишу на работе поэтому прав администратора у меня нет, и посему перейти в папку с питоном я не могу, поэтому я перетащил установщик grab в папку открываемую cmd по умолчанию (User) и вобщем-то запустил её там. однако python setup.py install не сработало (файла такого нет) есть файл setup.py (его я собственно и установил setup.py install) в консольке написало много всего в том числе что установка завершена. однако при запуске выдало ошибку....
оу)) пришел сегодня с утреца и все заработало )))) таки нужно было просто комп перезагрузить как и посоветовал Паштет-кун

блин!!! спасибо большое

ОЧЕНЬ помог!))) а то я с горя уже полез Лутца читать(( прочел про встроенные парсеры и вообще расстроился

Добавлено через 2 минуты

Сообщение от pashtet-kun

1) ставишь python 2.7
2) прописываешь в переменной PATH пути до питона - c:\Python27;c:\Python27\Scripts
3) ставишь setuptools-0.6c11.win32-py2.7.exe (возможно придется перезагрузиться)
4) ну а дальше как посоветовал Ильнур ставишь зависимости и сам граб
..как-то так

спасибо

твой совет помог

я только не понял где именно находится переменная PATH всю папку облазил но так и не нашел))) впрочем все работает и енто главное

еще раз спасибо

уже не в первый раз меня выручаешь

@t1m0n · 18.04.2013, 17:34

PATH это системная переменная

Кликните здесь для просмотра всего текста

indows 7
В меню Start (Пуск) выберите пункт Computer (Компьютер)
В контекстном меню выберите пункт System Properties (Свойства системы)
Выберите Advanced system settings (Дополнительные параметры системы) > вкладку Advanced (Дополнительно)
Выберите Environment Variables (Переменные среды),в меню System Variables (Системные переменные), найдите переменнуюPATH и щелкните на ней.

@Cplusplus · 22.12.2015, 19:31

На правах антирекламы. Несколько слов о Grab, pycurl и культуре программирования.

В одном некоммерческом проекте понадобилось делать скрап определенных сайтов.
Воодушевленный публикациями типа http://ivan-shamaev.ru/python-grab/ и открытостью продукта http://grablib.org/, принялся пробовать Grab (Windows 7, Python 2.7, для развертывания на Google App Engine).
Почти сразу, дуриком получилась пробная сборка. Но рано радовался, повторить не удалось. В реальном проекте это ни разу не заработало.
Сначала постоянно лезло "не найден модуль pycurl" - http://stackoverflow.com/quest... -not-found. Была изучена документация, перепробованы десятки комбинаций софта и библиотек Python. Безуспешно.
Потом занялся инсталляциями Grab и pycurl из исходного кода и был неприятно удивлен большим количеством нелепых ошибок в предлагаемом продукте. Упс.
В итоге самостоятельно реализовал web crawler c использованием urllib и pyspider. От знакомства с Grab остался тяжелый осадок, жаль потраченных усилий и времени.

В чем причина широкого распространения в сети сырых неряшливых поделок?

1. Объективно громадный "зоопарк" мало совместимых между собой библиотек и продуктов Python на разных платформах.
2. Объективно низкий профессиональный уровень авторов изделий, несмотря на обилие выкладываемых ими в сети логов сборок и юнит-тестов своих продуктов.
3. Субъективное желание коммерческих заказов и денег, о чем какбе вопиет личная страничка разработчика - http://getdata.pro/.

А вы как думаете?

@Zuzik · 22.12.2015, 22:47

Сообщение от Cplusplus

В одном некоммерческом проекте понадобилось делать скрап определенных сайтов.
Воодушевленный публикациями типа http://ivan-shamaev.ru/python-grab/ и открытостью продукта http://grablib.org/, принялся пробовать Grab (Windows 7, Python 2.7, для развертывания на Google App Engine).
Почти сразу, дуриком получилась пробная сборка. Но рано радовался, повторить не удалось. В реальном проекте это ни разу не заработало.

в общесистемный питон так скажем в винде ставится без проблем. Достаточно поставить lxml и pycurl модифицированный разработчиками граба ( о чем сообщает инструкция где то на сайте их). У меня проблем не было. В виртуальное окружение - тут хз.
В лине - проблеммы могут быть, но они элементарно гуглятся, и исправляются при наличии элементарных знаний английского (прочитать текст ошибок) и наличия головы на плечах.

Сообщение от Cplusplus

Потом занялся инсталляциями Grab и pycurl из исходного кода и был неприятно удивлен большим количеством нелепых ошибок в предлагаемом продукте. Упс.

говорить ничего не буду, тут думаю вы полностью правы. Но оно работает, и это как ни печально главное.

Сообщение от Cplusplus

От знакомства с Grab остался тяжелый осадок, жаль потраченных усилий и времени.

Мне вас жаль, у меня наоборот осталось о нем достаточно хорошее впечатление. Хотя и недостатки тоже его можно отметить - документация оставляет желать лучшего, совершение некоторых действий происходит не самым удобным образом, про некоторое вообще можно сказать " что думали авторы когда делали эту хрень?".

Сообщение от Cplusplus

1. Объективно громадный "зоопарк" мало совместимых между собой библиотек и продуктов Python на разных платформах.

Из этого зоопарка вырастают потрясающие инструменты, или по крайней мере выдающиеся.

Сообщение от Cplusplus

2. Объективно низкий профессиональный уровень авторов изделий, несмотря на обилие выкладываемых ими в сети логов сборок и юнит-тестов своих продуктов.

Все с чего то начинали, да и про низкий уровень можно поспорить.

Сообщение от Cplusplus

3. Субъективное желание коммерческих заказов и денег, о чем какбе вопиет личная страничка разработчика - http://getdata.pro/.

Человек хочет бабла, почему нет?

П.С.
Граб удобная штука, которая на текущий момент зависла в развитии, достаточно хорошо выполняет свои задачи, более мене проста в использовании. Но не следует думаю что он идеален. Другие инструменты/их связки могут в разы лучше выполнить задачу, при этом, затратив чуть больше времени на их освоение.

@supmener · 16.08.2020, 09:15

Есть ли аналог этой команде?

Code
1
response = requests.get('https://yandex.ru/',  verify=False)

@Garry Galler · 16.08.2020, 14:08

Сообщение от supmener

Есть ли аналог этой команде?

Зачем? Как всегда не ищешь проторенных путей?
Не нравится писать запрос в одну строчку - используй встроенную urllib.request:

Python
1
2
3
4
5
req = urllib.request.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
# Customize the default User-Agent header value:
req.add_header('User-Agent', 'urllib-example/0.1 (Contact: . . .)')
r = urllib.request.urlopen(req)

Только она гораздо более многословная, когда требуется указать опции запроса.

А еще любители хардкора и знатоки сетевых спецификаций могут написать http запрос непосредственно на сокетах .

@supmener · 16.08.2020, 14:14

А почему в первой и второй строке указан разный адрес?

@Garry Galler · 16.08.2020, 14:52

Сообщение от supmener

А почему в первой и второй строке указан разный адрес?

Потому что первый адрес никакого отношения к второму не имеет. Первый это адрес запроса, второй адрес referer'а (источника запроса).

Ты не ответил на мой вопрос: Зачем?

@supmener · 16.08.2020, 15:12

Сообщение от Garry Galler

Зачем?

Возможно, что не нужно это. Когда начал проходить один урок, понял, что без этого работает.

А если объяснить на разговорном языке, то что делает первая строчка, а что вторая? Поначалу сомневался, не два ли это разных примера в двух строках. В этом коде взаимосвязанные строки одного примера?

@Garry Galler · 16.08.2020, 15:35

Вторая строка создает заголовок (header) запроса. Заголовки бывают всяко-разные, описаны в спецификации http протокола. В том числе и referer. Это пример из офиц. документации. Разумеется, referer не является обязательным заголовком.

Новые блоги и статьи Все статьи Все блоги /
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52

	Установка Grab 14.04.2013, 17:53. Показов 10267. Ответов 14 Метки нет (Все метки) Доброго времени суток понадобилось средство парсинга сайта, попытался установить grab, скачал обе зависимости. однако при написании import lxml.html import pycurl from grab import Grab выдает ошибку: ImportError: No module named grab подскажите пожалуйста как установить - таки grab а то на официальном сайте нет такой информации и вообще так и хочется задать вопрос разработчикам: неужели нельзя было сделать ОДИН файл который распаковывал-бы инсталер, который, в свою очередь, устанавливал-бы все необходимое.... да и вообще почему-бы не встроить все эти библиотеки в питон.... а то вечно надо что-то скачивать что-то искать.... (я просто даже питон третий поставил параллельно со своим 2.7 но всеравно не помогло). к чему все эти сложности. Весь день убил и ничего не добился всеравно. 0

@ilnurgi 141 / 141 / 38 Регистрация: 20.02.2012 Сообщений: 597
	15.04.2013, 08:04
	не пользовался Grab'om. это надо? https://pypi.python.org/pypi/grab/0.4.8 поставьте pip. И устанавливайте модули из него 1

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	15.04.2013, 10:13 [ТС]
	уже пробывал запускаю setup.py открывает консольку чего-то пишет в ней и закрывает.... однако результат остается неизменен но всеравно спасибо 0

@ilnurgi 141 / 141 / 38 Регистрация: 20.02.2012 Сообщений: 597
	15.04.2013, 16:08
	а ты запусти консоль. cmd перейди в папку где setup.py введи python setup.py install и посмотри что выведет 2

@pashtet-kun 135 / 120 / 37 Регистрация: 30.09.2012 Сообщений: 400
	15.04.2013, 20:14
	1) ставишь python 2.7 2) прописываешь в переменной PATH пути до питона - c:\Python27;c:\Python27\Scripts 3) ставишь setuptools-0.6c11.win32-py2.7.exe (возможно придется перезагрузиться) 4) ну а дальше как посоветовал Ильнур ставишь зависимости и сам граб ..как-то так 1

@t1m0n 638 / 416 / 27 Регистрация: 03.11.2009 Сообщений: 1,855
	18.04.2013, 17:34
	PATH это системная переменная Кликните здесь для просмотра всего текста indows 7 В меню Start (Пуск) выберите пункт Computer (Компьютер) В контекстном меню выберите пункт System Properties (Свойства системы) Выберите Advanced system settings (Дополнительные параметры системы) > вкладку Advanced (Дополнительно) Выберите Environment Variables (Переменные среды),в меню System Variables (Системные переменные), найдите переменнуюPATH и щелкните на ней. 0

@Cplusplus 0 / 0 / 0 Регистрация: 22.12.2015 Сообщений: 1
	22.12.2015, 19:31
	На правах антирекламы. Несколько слов о Grab, pycurl и культуре программирования. В одном некоммерческом проекте понадобилось делать скрап определенных сайтов. Воодушевленный публикациями типа http://ivan-shamaev.ru/python-grab/ и открытостью продукта http://grablib.org/, принялся пробовать Grab (Windows 7, Python 2.7, для развертывания на Google App Engine). Почти сразу, дуриком получилась пробная сборка. Но рано радовался, повторить не удалось. В реальном проекте это ни разу не заработало. Сначала постоянно лезло "не найден модуль pycurl" - http://stackoverflow.com/quest... -not-found. Была изучена документация, перепробованы десятки комбинаций софта и библиотек Python. Безуспешно. Потом занялся инсталляциями Grab и pycurl из исходного кода и был неприятно удивлен большим количеством нелепых ошибок в предлагаемом продукте. Упс. В итоге самостоятельно реализовал web crawler c использованием urllib и pyspider. От знакомства с Grab остался тяжелый осадок, жаль потраченных усилий и времени. В чем причина широкого распространения в сети сырых неряшливых поделок? 1. Объективно громадный "зоопарк" мало совместимых между собой библиотек и продуктов Python на разных платформах. 2. Объективно низкий профессиональный уровень авторов изделий, несмотря на обилие выкладываемых ими в сети логов сборок и юнит-тестов своих продуктов. 3. Субъективное желание коммерческих заказов и денег, о чем какбе вопиет личная страничка разработчика - http://getdata.pro/. А вы как думаете? 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	16.08.2020, 14:14
	А почему в первой и второй строке указан разный адрес? 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	16.08.2020, 15:35
	Вторая строка создает заголовок (header) запроса. Заголовки бывают всяко-разные, описаны в спецификации http протокола. В том числе и referer. Это пример из офиц. документации. Разумеется, referer не является обязательным заголовком. 1