Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.92/26: Рейтинг темы: голосов - 26, средняя оценка - 4.92
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
1

Парсер сайтов

02.07.2015, 19:21. Показов 4781. Ответов 21
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Это правда, что Python - лучше всего подходит для парсинга? Хочеться услышать ответ от настоящих - живых Python - программистов! К примеру - если нужно парсить этот сайт(справочник, есть русская версия) по ключевым словам http://www.1188.lv/. Может почитать есть что, по личному опыту...
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
02.07.2015, 19:21
Ответы с готовыми решениями:

Парсер динамичных сайтов
Здравствуйте. Прошу вас подсказать мне: Вчера я написал парсер для простейшего интернет-магазин,...

Парсер для сайтов
Здравствуйте, сегодня передо мной стала задача написать простенький парсер для сайта с...

Пытаюсь сделать проверку сайтов через virus total и вывести списки надежных и не надежных сайтов
я новичок в python - прошу строго не судить. Пытаюсь сделать проверку сайтов через virus total и...

Парсер сайтов
Доброго времени суток. У меня возник вопрос. Делаю парсер, вынимает из сайта то что мне надо это...

21
2740 / 2339 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
02.07.2015, 19:41 2
Цитата Сообщение от kantakt Посмотреть сообщение
Это правда, что Python - лучше всего подходит для парсинга?
На python вообще почти любую задачу можно решить легко и быстро.

Добавлено через 1 минуту
Берёшь 2 библиотеки: lxml и requests и делаешь.
1
10 / 10 / 0
Регистрация: 25.06.2009
Сообщений: 92
02.07.2015, 19:41 3
Цитата Сообщение от alex925 Посмотреть сообщение
легко и быстро
на счет быстро у меня возникают сомнения
0
2740 / 2339 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
02.07.2015, 19:42 4
p486, Ну это уже твои проблемы

Если есть, что сказать, то аргументируй, если сказать нечего молчи.
0
10 / 10 / 0
Регистрация: 25.06.2009
Сообщений: 92
02.07.2015, 19:48 5
Цитата Сообщение от alex925 Посмотреть сообщение
если сказать нечего...
мысль была следующая: если быстрая разработка согласен. если быстрое выполнение то сомневаюсь.
0
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
02.07.2015, 19:48  [ТС] 6
Я понял. Скорость - это вопрос субективный
0
2740 / 2339 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
02.07.2015, 19:51 7
Цитата Сообщение от p486 Посмотреть сообщение
если быстрое выполнение то сомневаюсь.
Код выполняется на столько быстро на сколько это нужно. При использовании lxml скорость будет близка к Си.
0
10 / 10 / 0
Регистрация: 25.06.2009
Сообщений: 92
02.07.2015, 19:51 8
Цитата Сообщение от kantakt Посмотреть сообщение
это вопрос субективный
для объективности почитай статейку http://habrahabr.ru/post/66562/

P.S. ссылку забыл вставить)
1
2740 / 2339 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
02.07.2015, 19:52 9
Цитата Сообщение от p486 Посмотреть сообщение
если быстрое выполнение то сомневаюсь.
Вот опять же ни каких аргументов, опять одни голословные высказывания.
0
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
02.07.2015, 19:53  [ТС] 10
Спасибо за ответ. На сколько быстрее пишуться программы на Python, чем на PHP, C++, Java, Ruby? А про Си - это супер! Сам - учу Python. До этого работал только на PHP.
0
2740 / 2339 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
02.07.2015, 19:55 11
http://habrahabr.ru/post/163979/ вот статья подтверждающая мои слова + по своему опыту знаю, что если писать не быдло код, то все работает просто прекрасно.
Цитата Сообщение от p486 Посмотреть сообщение
для объективности почитай статейку
Не парь людям мозг, сам ни черта не знаешь, ещё советуешь что-то....
0
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
02.07.2015, 20:09  [ТС] 12
О, классно! Почитаю.
0
3257 / 2059 / 351
Регистрация: 24.11.2012
Сообщений: 4,909
02.07.2015, 20:22 13
Цитата Сообщение от kantakt Посмотреть сообщение
Это правда, что Python - лучше всего подходит для парсинга?
Подойдет любой язык, для которого есть библиотеки парсинга. В случае питона один из вариантов — scrapy.
0
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
02.07.2015, 20:32  [ТС] 14
А в чем приемущества Python? Зачем его учить? Если все знают PHP. И можно на нем делать парсинг? В чем фишка Python3.
0
3257 / 2059 / 351
Регистрация: 24.11.2012
Сообщений: 4,909
02.07.2015, 20:39 15
Цитата Сообщение от kantakt Посмотреть сообщение
Зачем его учить?
Это решай сам. Если основной язык решает поставленные задачи, и нареканий нет, то учить другой ради разовой задачи нет смысла.
0
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
02.07.2015, 20:49  [ТС] 16
php - действительно для веба -основной.
но в Python - нравиться синтаксис. И мне кажеться, что на нем можно быстрее писать программы. Это я и хочу проверить. И потом - не знаешь в какую компанию попадешь, что может пригодиться.
И еще - есть идеи, что на каждом языке - проще(быстрее) решить определенный тип задач. Что может позволить повысить эффективность...
Просто слышал, что Python - хорошо подходит для парсинга. + Вырваться из рутины PHP )
0
2740 / 2339 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
03.07.2015, 05:17 17
Цитата Сообщение от kantakt Посмотреть сообщение
php - действительно для веба -основной.
Не согласен, сейчас все больше и больше народ понимает, что это убожество и отходит от этого (python, javascript, go, ruby и т д)
Python со своими web фреемворками оставляет php далеко позади. Вот кстати интересная статья в которой неплохо прослеживается убогость php http://habrahabr.ru/post/243961/.

Цитата Сообщение от kantakt Посмотреть сообщение
А в чем приемущества Python?
Примерно вот так, писал давно, сейчас есть ещё что добавить, но некогда.
Кликните здесь для просмотра всего текста

Написать web приложение можно написать практически на любом языке программирования, разница будет только в том, на сколько будет удобно вести разработку и дальнейшую поддержку проекта. В связи с этим очень важно правильно выбрать язык на котором будет разрабатываться приложение. Приведем небольшое сравнение python и PHP:
- Python заставляет программиста всегда писать хорошо читабельный код. PHP в свою очередь не уделяет этому никакого внимания и допускает написание плохо читаемого кода. Эта проблема сильно ощущается, когда вам нужно будет разобраться в чужом коде или коде написанным очень давно. Если открыть код то написанный на PHP, то придётся много время потратить на осознание написанного, в то время как код python легко понимается сходу.
- Следующие наиболее значимое отличие python от PHP, состоит в процессе обработки данных. Все основные python web фреемворки по умолчанию специальным образом обрабатывают опасные последовательности в данных, это позволяет сделать приложение более безопасным.
- Код python выполняется значительно быстрее, по сравнению с PHP.
- Также стоит заметить, что PHP изначально не задумывался для решения серьёзных задач, а был разработан Расмусом Лердорфом для создания сайта визитки. В то время PHP смог завоевать большую популярность в силу своей чрезмерной простоты (код внедряется на прямую в html, но стоит заметить, что такой подход удобен только в маленьких проектах). Python в отличи от PHP изначально разрабатывался в центре математики и информатики и вобрал в себя все самое лучшее от других языков.

Теперь давайте разберем отличия PHP и python на простом примере:

Ниже показан процесс создания и вывода значения переменной.

Python:
Python
1
2
a = 1
print(a)
PHP:
PHP
1
2
$a=1;
echo $a;
- Даже на этом простом примере хорошо видно, что код PHP содержит много «мусора».
- Синтаксис python не позволяет писать весь код в одну строку, а для PHP же это обычное положение вещей, которое сильно осложняет чтение программного кода.
- В качестве операторных скобок в PHP используются фигурные скобки { }, они могут быть разбросаны по всему коду и по этому очень тяжело отследить где начинается один блок кода, где другой и где они все закрываются. В python нет такой проблемы, вложенность кода определяется количеством отступов, это делает процесс чтения кода приятным и удобным, потому что разные блоки кода сразу видно.

Все эти различия хорошо видны, когда смотришь на уже готовый проект. Попробуйте почитать один из скриптов WordPress:
https://github.com/WordPress/W... tegory.php
Даже если не вникать в суть написанного, понятно, что прочесть данный код будет не просто.
Для сравнения вот вам пример кода python:
https://github.com/divio/djang... us/base.py
Как видно, код не содержит визуального мусора, читать такой код гораздо приятнее и удобнее.

Как ранее говорилось, большой плюс python в то, что он создавался математиком и в нем предусмотрены многие нюансы и мелочи. Одним из таких нюансов, является реализация строковых литералов. В python записать строковые литералы можно 3 способами: использовать тройные кавычки (""" """), двойные кавычки (" ") и апострофы (' '). Такое разнообразие способов записи строковых литералов позволяет избавиться от проблемы «косой чумы». Так называемая проблема «косой чумы» возникает в языках в которых строковые литералы можно записать, только одним способом (в PHP строковые литералы записываются просто в двойных кавычках (" ")). Выглядит описываемая проблема так:
a = "Просто \" какой-то текст "
мы хотим записать в переменную какой-то текст в котором используется зарезервированный языком программирования символ, в данном случае, это двойная кавычка. Чтобы не возникло ошибки, этот символ нужно экранировать обратным слешем, а представьте текст в котором много раз встречается символ (") и который нужно экранировать, вот и получится, что добрая половина текста будет состоять из символов экранирования.
В python это чаще всего быстро и удобно решается выбором альтернативной записи строкового литерала, в PHP приходится мучиться с экранированием.
Так же может возникнуть ситуация, когда нужно записать подрят обратный слеш и двойную кавычку, в этом случае запись будет выглядеть вот так:
a = "Просто \\\" какой-то текст"
так вот получается в тексте по 10 слешей, один экранирует нужный символ, другой программист пытается вывести в строке и чтобы отметь специальное значение этого слеша, экранирует этот слеш другим слешом.

Подобных мелочей огромное количество.

Ещё самым главным плюсом python является его универсальность, при помощи этого языка можно написать практически все, что угодно, начиная от сайта и заканчивая играми. Это становится возможно за счет того, что язык был очень удачно спроектирован, а также благодаря активности пользователей создается огромное количество библиотек на все случаи жизни. Что касается библиотек из других языков программирования, так и их большинство портировано на python.
PHP же это узкоспециализированный язык на котором проблематично написать, что-то кроме web приложения.

В качестве заключения. По своему опыту могу сказать одно: «После знакомства с python, вы уже точно не захотите смотреть на другие языки программирования и на PHP в том числе.».
0
71 / 67 / 6
Регистрация: 08.08.2013
Сообщений: 286
Записей в блоге: 8
03.07.2015, 07:19 18
Off: Сплошной пиар хабра
0
0 / 0 / 0
Регистрация: 09.10.2014
Сообщений: 18
28.07.2015, 15:44  [ТС] 19
Всем спасибо за ответы. Я снова возвращаюсь.
Активно изучаю Python. Очень нравиться язык.
Понравились - CherryPy и SQLAlchemy - хотя из второго - пока только по названию)
0
akzo
28.07.2015, 15:53     Парсер сайтов
  #20

Не по теме:


Возвращение Мухтара 2:D

0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
28.07.2015, 15:53

Парсер сайтов
Добрый вечер! Есть скрипт на Питоне. Парсит forebet, predictz, windrawwin, soccervista, prosoccer,...

Парсер сайтов в 1С
Добрый день! Подскажите пожалуйста книги и темы, видеоуроки для обучения программированию в 1С...

Парсер сайтов
Доброй ночи, есть известные свободные (gnu) библиотеки для сабжа? Добавлено через 1 час 0 минут...

парсер сайтов
Добрый день. подскажите пожалуйста. нужно написать парсер который будет собирать информацыю про...

Парсер сайтов
Всем привет! Необходима консультация по написанию парсера. Добавлено через 8 минут Если можно...

Обучаемый парсер сайтов на Delphi?
Обучаемый парсер сайтов на Delphi -- кто-нибудь что-то подобное делал? Смысл задачи: нужно...

Какой парсер сайтов скачать?
Что можете посоветовать?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru