Форум программистов, компьютерный форум, киберфорум
Наши страницы
Visual C++
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
okwell5
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
1

Посоветуйте литературу и примеры по написанию парсеров сайтов на Visual C++

16.06.2013, 00:55. Просмотров 1164. Ответов 7
Метки нет (Все метки)

Собственно, в названии темы все. Возникла задача получить информацию с разных сайтов и занести ее в БД SQL. В этом направлении вообще никогда не работал, поэтому желательно подробные руководства, примеры, какие-нибудь готовые исходники, чтобы я мог понять основу, т.е. последовательность действий и какие основные библиотеки и функции используются.
0
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
16.06.2013, 00:55
Ответы с готовыми решениями:

Посоветуйте литературу по Visual Studio 6 для начинающего
Посоветуйте пожалуйста литературу для полного ноля в c++ с примерами на vc++ 6. Скачал несколько...

Посоветуйте литературу по созданию сайтов, используя ООП php (mvc)
Именно создание, а не теория. Теория допускается конечно же, но все-таки хотелось бы наглядно...

[C/C++] Примеры программ парсеров
Здравствуйте! Скиньте пожалуйста примеры программ парсеров страниц на Си Например погоды или...

Посоветуйте какую-нибудь литературу или какие-нибудь примеры простейших имитационных моделей
Здравствуйте! Только начал изучать системный анализ. Нужно создать имитационную модель. Те...

Посоветуйте литературу по Visual Basic для начинающего программиста
Посоветуйте литературу по Visual Basic для начинающего программиста. Буду очень благодарен.:)

7
gazlan
3163 / 1922 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.06.2013, 16:29 2
Delphi: Парсинг от А до Я
0
okwell5
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
16.06.2013, 22:27  [ТС] 3
Нет, не делфи, а именно Visual C++ нужен. Поэтому в этом разделе и написал.
0
gazlan
3163 / 1922 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.06.2013, 23:00 4
Если есть желание понять принципы - с этого можно начать. Visual C++ к парсингу отношения не имеет. А все остальное - очень зависит...

Статические странички, это одно, AJAX - другое, CAPTCHA - третье, e-mail и сотовые телефоны могут требовать отдельного запроса итд.

Добавлено через 14 минут
И еще :-)

Как человек, написавший не один парсер сайтов именно на MSVC (можете посмотреть скриншоты SportTicker у меня на страничке), уверяю вас, что C++ - последнее по важности в этом деле.

Освойте HTML, ознакомьтесь с JavaScript, загляните в книжки по PHP, полно кода на Delphi... Не помешает умение пользоваться регулярными выражениями.
0
16.06.2013, 23:00
okwell5
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
17.06.2013, 00:15  [ТС] 5
Так, тогда, наверное, нужно было сразу спросить вопрос следующий: "Ужели есть другие ЯП, которые работают быстрее С++?". Не просто так выбрал именно на Visual C++ решать задачу. И есть не С++, тогда какое средство посоветуете, которое будет парсить как реактивный двигатель быстрее всех на свете и записывать в БД MSSQL данные ? )
0
gazlan
3163 / 1922 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
17.06.2013, 00:53 6
Обычно, собственно парсинг - только небольшая часть всей задачи + скорость лимитируется не разбором странички, а задержками сервера. Пишутся парсеры на том, что знакомо/удобно. В любом случае, скорость доступа к DB будет на порядки меньше скорости самого парсинга. Мне представляется удобной "двухфазная" модель - парсер складывает данные в CSV (подходит и для правки и для архивного хранения), а уже CSV импортируется куда угодно.
0
okwell5
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
17.06.2013, 01:24  [ТС] 7
Из таких языков, как php, python, delthi C++, мне более знаком С++, я виндовый программист. Что ж, так как литературы по этой теме именно по Visual C++ не получил, примеров тоже именно на Visual C++ не получил, ни статей, видимо, придется либо учить php, либо python.
0
gazlan
3163 / 1922 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
17.06.2013, 01:51 8
Учите, для начала, HTML.

Примеры (раз MSDN недостаточно), вам не помогут. Скажем, получить список предприятий из базы "Спринт", получить список телефонов владельцев подержанных Ауди из DC с auto.ru и получить в RT результаты футбольных матчей с AJAX-сайта - это совершенно разные задачи, кроме слова "парсинг", ничего общего не имеющие.

Ну, и если вы уже открыты для PHP :-)
посмотрите вот это:
Michael Schrenk "Webbots, Spiders, and Screen Scrapers"
No Starch, 2007 ISBN-10: 1-593-27120-4 ISBN-13: 978 1-59-327120-6
0
17.06.2013, 01:51
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
17.06.2013, 01:51

Посоветуйте литературу для изучения Visual Basic .NET
Какую литературу по вб посоветуете? В тему не посылать. Не знаю какую выбрать даже. главное чтобы...

Посоветуйте литературу по созданию визуальных приложений C++ в Visual Studio
Нужна хорошая и доступная литература по созданию приложений в MSVC, желательно посвежее. Основы С++...

Ищу литературу по написанию нейронных сетей
Приветствую! Есть желание написать простенькую нейронную сеть, был ли у кого опыт? Так же прошу...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.