2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46

Посоветуйте литературу и примеры по написанию парсеров сайтов на Visual C++

16.06.2013, 00:55. Показов 1796. Ответов 7
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Собственно, в названии темы все. Возникла задача получить информацию с разных сайтов и занести ее в БД SQL. В этом направлении вообще никогда не работал, поэтому желательно подробные руководства, примеры, какие-нибудь готовые исходники, чтобы я мог понять основу, т.е. последовательность действий и какие основные библиотеки и функции используются.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
16.06.2013, 00:55
Ответы с готовыми решениями:

Посоветуйте литературу по созданию сайтов, используя ООП php (mvc)
Именно создание, а не теория. Теория допускается конечно же, но все-таки хотелось бы наглядно увидеть весь процесс и рассуждения автора при...

[C/C++] Примеры программ парсеров
Здравствуйте! Скиньте пожалуйста примеры программ парсеров страниц на Си Например погоды или новостей

Посоветуйте литературу по Visual Studio 6 для начинающего
Посоветуйте пожалуйста литературу для полного ноля в c++ с примерами на vc++ 6. Скачал несколько книг страустрапа, но не один пример не...

7
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.06.2013, 16:29
Delphi: Парсинг от А до Я
0
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
16.06.2013, 22:27  [ТС]
Нет, не делфи, а именно Visual C++ нужен. Поэтому в этом разделе и написал.
0
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.06.2013, 23:00
Если есть желание понять принципы - с этого можно начать. Visual C++ к парсингу отношения не имеет. А все остальное - очень зависит...

Статические странички, это одно, AJAX - другое, CAPTCHA - третье, e-mail и сотовые телефоны могут требовать отдельного запроса итд.

Добавлено через 14 минут
И еще :-)

Как человек, написавший не один парсер сайтов именно на MSVC (можете посмотреть скриншоты SportTicker у меня на страничке), уверяю вас, что C++ - последнее по важности в этом деле.

Освойте HTML, ознакомьтесь с JavaScript, загляните в книжки по PHP, полно кода на Delphi... Не помешает умение пользоваться регулярными выражениями.
0
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
17.06.2013, 00:15  [ТС]
Так, тогда, наверное, нужно было сразу спросить вопрос следующий: "Ужели есть другие ЯП, которые работают быстрее С++?". Не просто так выбрал именно на Visual C++ решать задачу. И есть не С++, тогда какое средство посоветуете, которое будет парсить как реактивный двигатель быстрее всех на свете и записывать в БД MSSQL данные ? )
0
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
17.06.2013, 00:53
Обычно, собственно парсинг - только небольшая часть всей задачи + скорость лимитируется не разбором странички, а задержками сервера. Пишутся парсеры на том, что знакомо/удобно. В любом случае, скорость доступа к DB будет на порядки меньше скорости самого парсинга. Мне представляется удобной "двухфазная" модель - парсер складывает данные в CSV (подходит и для правки и для архивного хранения), а уже CSV импортируется куда угодно.
0
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
17.06.2013, 01:24  [ТС]
Из таких языков, как php, python, delthi C++, мне более знаком С++, я виндовый программист. Что ж, так как литературы по этой теме именно по Visual C++ не получил, примеров тоже именно на Visual C++ не получил, ни статей, видимо, придется либо учить php, либо python.
0
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
17.06.2013, 01:51
Учите, для начала, HTML.

Примеры (раз MSDN недостаточно), вам не помогут. Скажем, получить список предприятий из базы "Спринт", получить список телефонов владельцев подержанных Ауди из DC с auto.ru и получить в RT результаты футбольных матчей с AJAX-сайта - это совершенно разные задачи, кроме слова "парсинг", ничего общего не имеющие.

Ну, и если вы уже открыты для PHP :-)
посмотрите вот это:
Michael Schrenk "Webbots, Spiders, and Screen Scrapers"
No Starch, 2007 ISBN-10: 1-593-27120-4 ISBN-13: 978 1-59-327120-6
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
17.06.2013, 01:51
Помогаю со студенческими работами здесь

Посоветуйте какую-нибудь литературу или какие-нибудь примеры простейших имитационных моделей
Здравствуйте! Только начал изучать системный анализ. Нужно создать имитационную модель. Те примеры, которые в интернете, уж, слишком...

Посоветуйте литературу по Visual Basic для начинающего программиста
Посоветуйте литературу по Visual Basic для начинающего программиста. Буду очень благодарен.:)

Посоветуйте литературу для изучения Visual Basic .NET
Какую литературу по вб посоветуете? В тему не посылать. Не знаю какую выбрать даже. главное чтобы было расписано подробно все

Посоветуйте литературу по созданию визуальных приложений C++ в Visual Studio
Нужна хорошая и доступная литература по созданию приложений в MSVC, желательно посвежее. Основы С++ вроде как знаю, но как создать...

Ищу литературу по написанию нейронных сетей
Приветствую! Есть желание написать простенькую нейронную сеть, был ли у кого опыт? Так же прошу скинуть соответствующую литературу.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Опции темы

Новые блоги и статьи
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Функция заполнения текстового поля в реквизите формы документа
Maks 01.04.2026
Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .
К слову об оптимизации
kumehtar 01.04.2026
Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр).
Hrethgir 31.03.2026
Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда
anaschu 31.03.2026
В прикрепленном документе раздумья о том, как можно поменять модель в будущем
10 пpимет, которые всегда сбываются
Maks 31.03.2026
1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .
Перемещение выделенных строк ТЧ из одного документа в другой
Maks 31.03.2026
Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru