|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
Посоветуйте литературу и примеры по написанию парсеров сайтов на Visual C++16.06.2013, 00:55. Показов 1796. Ответов 7
Метки нет (Все метки)
Собственно, в названии темы все. Возникла задача получить информацию с разных сайтов и занести ее в БД SQL. В этом направлении вообще никогда не работал, поэтому желательно подробные руководства, примеры, какие-нибудь готовые исходники, чтобы я мог понять основу, т.е. последовательность действий и какие основные библиотеки и функции используются.
0
|
|
| 16.06.2013, 00:55 | |
|
Ответы с готовыми решениями:
7
Посоветуйте литературу по созданию сайтов, используя ООП php (mvc) [C/C++] Примеры программ парсеров Посоветуйте литературу по Visual Studio 6 для начинающего |
| 16.06.2013, 16:29 | |
|
Delphi: Парсинг от А до Я
0
|
|
|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
| 16.06.2013, 22:27 [ТС] | |
|
Нет, не делфи, а именно Visual C++ нужен. Поэтому в этом разделе и написал.
0
|
|
| 16.06.2013, 23:00 | |
|
Если есть желание понять принципы - с этого можно начать. Visual C++ к парсингу отношения не имеет. А все остальное - очень зависит...
Статические странички, это одно, AJAX - другое, CAPTCHA - третье, e-mail и сотовые телефоны могут требовать отдельного запроса итд. Добавлено через 14 минут И еще :-) Как человек, написавший не один парсер сайтов именно на MSVC (можете посмотреть скриншоты SportTicker у меня на страничке), уверяю вас, что C++ - последнее по важности в этом деле. Освойте HTML, ознакомьтесь с JavaScript, загляните в книжки по PHP, полно кода на Delphi... Не помешает умение пользоваться регулярными выражениями.
0
|
|
|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
| 17.06.2013, 00:15 [ТС] | |
|
Так, тогда, наверное, нужно было сразу спросить вопрос следующий: "Ужели есть другие ЯП, которые работают быстрее С++?". Не просто так выбрал именно на Visual C++ решать задачу. И есть не С++, тогда какое средство посоветуете, которое будет парсить как реактивный двигатель быстрее всех на свете
и записывать в БД MSSQL данные ? )
0
|
|
| 17.06.2013, 00:53 | |
|
Обычно, собственно парсинг - только небольшая часть всей задачи + скорость лимитируется не разбором странички, а задержками сервера. Пишутся парсеры на том, что знакомо/удобно. В любом случае, скорость доступа к DB будет на порядки меньше скорости самого парсинга. Мне представляется удобной "двухфазная" модель - парсер складывает данные в CSV (подходит и для правки и для архивного хранения), а уже CSV импортируется куда угодно.
0
|
|
|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
| 17.06.2013, 01:24 [ТС] | |
|
Из таких языков, как php, python, delthi C++, мне более знаком С++, я виндовый программист. Что ж, так как литературы по этой теме именно по Visual C++ не получил, примеров тоже именно на Visual C++ не получил, ни статей, видимо, придется либо учить php, либо python.
0
|
|
| 17.06.2013, 01:51 | |
|
Учите, для начала, HTML.
Примеры (раз MSDN недостаточно), вам не помогут. Скажем, получить список предприятий из базы "Спринт", получить список телефонов владельцев подержанных Ауди из DC с auto.ru и получить в RT результаты футбольных матчей с AJAX-сайта - это совершенно разные задачи, кроме слова "парсинг", ничего общего не имеющие. Ну, и если вы уже открыты для PHP :-) посмотрите вот это: Michael Schrenk "Webbots, Spiders, and Screen Scrapers" No Starch, 2007 ISBN-10: 1-593-27120-4 ISBN-13: 978 1-59-327120-6
0
|
|
| 17.06.2013, 01:51 | |
|
Помогаю со студенческими работами здесь
8
Посоветуйте какую-нибудь литературу или какие-нибудь примеры простейших имитационных моделей Посоветуйте литературу по Visual Basic для начинающего программиста
Ищу литературу по написанию нейронных сетей Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: при создании документов установить период списания автоматически. . .
|
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2.
Задача: вывести данные из ТЧ нетипового документа. . .
|
Функция заполнения текстового поля в реквизите формы документа
Maks 01.04.2026
Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению.
На форме документа создается. . .
|
К слову об оптимизации
kumehtar 01.04.2026
Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
|
|
Идея фильтра интернета (сервер = слой+фильтр).
Hrethgir 31.03.2026
Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
|
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда
anaschu 31.03.2026
В прикрепленном документе раздумья о том, как можно поменять модель в будущем
|
10 пpимет, которые всегда сбываются
Maks 31.03.2026
1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию.
2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .
|
Перемещение выделенных строк ТЧ из одного документа в другой
Maks 31.03.2026
Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
|