|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
||||||
Xpath and Scraping05.04.2016, 16:37. Показов 2941. Ответов 50
Метки нет (Все метки)
Вот страница
http://econpy.pythonanywhere.com/ex/001.html хочу получить два списка,закупщик и цена, есть несколько вопросов, как получить все страницы, дополнив код, который я покажу и вопрос насчет xpath, как получился именно такой, как в коде. Пы Сы Насколько понял знания xpath нужны, поэтому думаю изучить вот это http://www.w3schools.com/xsl/xpath_intro.asp
0
|
||||||
| 05.04.2016, 16:37 | |
|
Ответы с готовыми решениями:
50
Scraping
Задача 6. Web scraping |
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||
| 05.04.2016, 19:06 | ||
|
0
|
||
|
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
|
|
| 05.04.2016, 19:20 | |
|
Ну без виртуального окружения я тоже знаю куда поставится пакет. pip поставит в в двойку, pip3 в тройку.
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||||||
| 05.04.2016, 19:24 | ||||||
|
да, я тоже так думал, пока у меня не случилось вот так:
0
|
||||||
|
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
|
|
| 05.04.2016, 19:26 | |
|
Эммм, это как? alias был создан?
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||||||
| 05.04.2016, 19:27 | ||||||
|
нет, все нативно, случается у меня, на самом деле не первый раз на 8 дебиане.
0
|
||||||
|
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
|
|
| 05.04.2016, 19:38 | |
|
У меня тоже debian 8, не замечал ни разу такого.
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||||||
| 05.04.2016, 19:45 | ||||||
|
я думаю, это из-за того, что python3-pip ставит pip в /usr/local/bin, который в PATH у меня до /usr/bin
потому что системный, который теперь не удаляется - в порядке
0
|
||||||
|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
|
| 07.04.2016, 00:11 [ТС] | |
|
А не подскажите, как cssselect в анаконду загрузить? а то моя ide через нее работает. поэтому файлы с cssselect через терминал запускаются, а через ide нет.
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|
| 07.04.2016, 00:14 | |
|
conda install cssselect пробовали?
0
|
|
|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
|
| 07.04.2016, 11:33 [ТС] | |
|
Jabbson, Команда не найдена.
Добавлено через 10 минут Jabbson, в принципе поменял настройки wing ide на поиск пайтона не с анаконды, а с системы...но все-таки для расширения кругозора хотел бы узнать как...кстати, а в 2-х словах можете сказать для чего нужна анаконда?если есть уже обычный питон?
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||
| 07.04.2016, 13:08 | ||
|
http://conda.pydata.org/docs/intro.html
Добавлено через 2 минуты
0
|
||
|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
||||||
| 09.04.2016, 15:43 [ТС] | ||||||
как найти имена ? <div title="buyer-name">Carson Busses</div> ?? ума не приложу пока что...если кто подскажет, то мое изучение пойдет быстрее, thanks. P.S.for i, row in enumerate(rows):- прокомментируйте это, а то такое увидел в интернете и решил повторить, смысла не знаю пока что... П.П.С документацию читать начал.
0
|
||||||
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||||||
| 09.04.2016, 16:52 | ||||||
|
А чем не подходит решение на lxml?
Добавлено через 32 минуты p.s.>
0
|
||||||
|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
||||||
| 09.04.2016, 17:41 [ТС] | ||||||
|
Jabbson, хочу суп для начала выучить, а со временем и за lxml возьмусь=) да и решение мне никогда не нужно было ни в одной теме пока что, мне бы смысл уловить, спасибо за ответ)
Добавлено через 19 минут Jabbson,
0
|
||||||
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||||||
| 09.04.2016, 19:03 | |||||||
|
Добавлено через 8 минут
0
|
|||||||
|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
||||||
| 09.04.2016, 19:44 [ТС] | ||||||
|
Jabbson, да...нужно мой код доработать..завтра , постараюсь, сделать...подскажите как записать в файл, а то не выходит такая элементарщина...
0
|
||||||
|
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
|
|
| 09.04.2016, 20:52 | |
|
izuchaju_python, можно. Используй или какой нибудь модуль создающий файл или можно работать с excel фалом как c html страницей с определенной разметкой.
0
|
|
|
20 / 21 / 6
Регистрация: 30.06.2015
Сообщений: 431
|
|
| 09.04.2016, 21:23 [ТС] | |
|
alex925, посмотрите , пожалуйста мое сообщение выше, как код в txt записать, а то что-то выходит криво, подскажите, пожалуйста.
0
|
|
|
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
|
|
| 09.04.2016, 21:35 | |
|
izuchaju_python, просто не надо пытаться открывать файл в цикле. Сам сейчас прокрути в голове, что интерпретатор делает.....
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|
| 09.04.2016, 22:43 | |
|
0
|
|
| 09.04.2016, 22:43 | |
|
Web scraping и переменные
WEB-Scraping Интернет-магазина HtmlUnit financial website web scraping Выбор django или Scraping + Data Mining Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
[golang] Конкурентный fetcher с ограничением максимального количества одновременных HTTP запросов.
alhaos 10.06.2026
Задача
Реализовать конкурентный fetcher с ограничением максимального количества одновременных HTTP запросов.
Сигнатура
func Fetch(urls string, maxConcurrent int) Result
Пример
urls :=. . .
|
[golang] Состояние гонки (race condition)
alhaos 10.06.2026
Состояние гонки (race condition)
Состояние гонки (Race Condition) — это ошибка, возникающая при одновременном доступе нескольких горутин к одним и тем же данным без должной синхронизации. При этом. . .
|
Взрослые отношения, и почему они не получаются
kumehtar 09.06.2026
Когда в детстве ребёнок не получает от родителей чего-то важного, он лишается не просто приятных переживаний, а основы для формирования определённых внутренних качеств и навыков. Если ребёнок не. . .
|
[golang] Worker Pool
alhaos 09.06.2026
Worker Pool
Worker Pool — паттерн конкурентной обработки задач в Go.
Суть: фиксированное количество горутин-воркеров читают задачи из общего канала
и пишут результаты в общий канал результатов. . . .
|
|
[golang] Pipeline
alhaos 08.06.2026
Pipeline
Pipeline — паттерн конкурентной обработки данных в Go.
Суть: данные проходят через цепочку независимых стадий, каждая из которых работает в своей горутине и общается с соседями через. . .
|
Свет внутри себя
kumehtar 07.06.2026
Пусть это будет здесь
lIs4oanZS9Y
|
Программа для com-порта
Uhbif79 05.06.2026
Всем привет, давно хотел изучить Qt, начинал, бросал, потом снова начинал. И сейчас вот смог написать свою первую программу.
До этого имел опыт программирования микроконтроллеров, писал прошивки на. . .
|
Транскрипция 55-минутного видео через Whisper: WhisperDesktop облажался, спас Google Colab[
anaschu 01.06.2026
Понадобилось получить текст из свежезагруженного видео на YouTube. Казалось бы, задача на пять минут. Заняла полтора часа. Делюсь опытом — может кому пригодится последовательность решений.
. . .
|