Форум программистов, компьютерный форум, киберфорум
Visual C++
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/8: Рейтинг темы: голосов - 8, средняя оценка - 4.50
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46

Посоветуйте литературу и примеры по написанию парсеров сайтов на Visual C++

16.06.2013, 00:55. Показов 1783. Ответов 7
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Собственно, в названии темы все. Возникла задача получить информацию с разных сайтов и занести ее в БД SQL. В этом направлении вообще никогда не работал, поэтому желательно подробные руководства, примеры, какие-нибудь готовые исходники, чтобы я мог понять основу, т.е. последовательность действий и какие основные библиотеки и функции используются.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
16.06.2013, 00:55
Ответы с готовыми решениями:

Посоветуйте литературу по созданию сайтов, используя ООП php (mvc)
Именно создание, а не теория. Теория допускается конечно же, но все-таки хотелось бы наглядно увидеть весь процесс и рассуждения автора при...

[C/C++] Примеры программ парсеров
Здравствуйте! Скиньте пожалуйста примеры программ парсеров страниц на Си Например погоды или новостей

Посоветуйте литературу по Visual Studio 6 для начинающего
Посоветуйте пожалуйста литературу для полного ноля в c++ с примерами на vc++ 6. Скачал несколько книг страустрапа, но не один пример не...

7
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.06.2013, 16:29
Delphi: Парсинг от А до Я
0
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
16.06.2013, 22:27  [ТС]
Нет, не делфи, а именно Visual C++ нужен. Поэтому в этом разделе и написал.
0
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.06.2013, 23:00
Если есть желание понять принципы - с этого можно начать. Visual C++ к парсингу отношения не имеет. А все остальное - очень зависит...

Статические странички, это одно, AJAX - другое, CAPTCHA - третье, e-mail и сотовые телефоны могут требовать отдельного запроса итд.

Добавлено через 14 минут
И еще :-)

Как человек, написавший не один парсер сайтов именно на MSVC (можете посмотреть скриншоты SportTicker у меня на страничке), уверяю вас, что C++ - последнее по важности в этом деле.

Освойте HTML, ознакомьтесь с JavaScript, загляните в книжки по PHP, полно кода на Delphi... Не помешает умение пользоваться регулярными выражениями.
0
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
17.06.2013, 00:15  [ТС]
Так, тогда, наверное, нужно было сразу спросить вопрос следующий: "Ужели есть другие ЯП, которые работают быстрее С++?". Не просто так выбрал именно на Visual C++ решать задачу. И есть не С++, тогда какое средство посоветуете, которое будет парсить как реактивный двигатель быстрее всех на свете и записывать в БД MSSQL данные ? )
0
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
17.06.2013, 00:53
Обычно, собственно парсинг - только небольшая часть всей задачи + скорость лимитируется не разбором странички, а задержками сервера. Пишутся парсеры на том, что знакомо/удобно. В любом случае, скорость доступа к DB будет на порядки меньше скорости самого парсинга. Мне представляется удобной "двухфазная" модель - парсер складывает данные в CSV (подходит и для правки и для архивного хранения), а уже CSV импортируется куда угодно.
0
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
17.06.2013, 01:24  [ТС]
Из таких языков, как php, python, delthi C++, мне более знаком С++, я виндовый программист. Что ж, так как литературы по этой теме именно по Visual C++ не получил, примеров тоже именно на Visual C++ не получил, ни статей, видимо, придется либо учить php, либо python.
0
3178 / 1937 / 312
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
17.06.2013, 01:51
Учите, для начала, HTML.

Примеры (раз MSDN недостаточно), вам не помогут. Скажем, получить список предприятий из базы "Спринт", получить список телефонов владельцев подержанных Ауди из DC с auto.ru и получить в RT результаты футбольных матчей с AJAX-сайта - это совершенно разные задачи, кроме слова "парсинг", ничего общего не имеющие.

Ну, и если вы уже открыты для PHP :-)
посмотрите вот это:
Michael Schrenk "Webbots, Spiders, and Screen Scrapers"
No Starch, 2007 ISBN-10: 1-593-27120-4 ISBN-13: 978 1-59-327120-6
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
17.06.2013, 01:51
Помогаю со студенческими работами здесь

Посоветуйте какую-нибудь литературу или какие-нибудь примеры простейших имитационных моделей
Здравствуйте! Только начал изучать системный анализ. Нужно создать имитационную модель. Те примеры, которые в интернете, уж, слишком...

Посоветуйте литературу по Visual Basic для начинающего программиста
Посоветуйте литературу по Visual Basic для начинающего программиста. Буду очень благодарен.:)

Посоветуйте литературу для изучения Visual Basic .NET
Какую литературу по вб посоветуете? В тему не посылать. Не знаю какую выбрать даже. главное чтобы было расписано подробно все

Посоветуйте литературу по созданию визуальных приложений C++ в Visual Studio
Нужна хорошая и доступная литература по созданию приложений в MSVC, желательно посвежее. Основы С++ вроде как знаю, но как создать...

Ищу литературу по написанию нейронных сетей
Приветствую! Есть желание написать простенькую нейронную сеть, был ли у кого опыт? Так же прошу скинуть соответствующую литературу.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
Контроль уникальности заводского номера - вариант №2
Maks 24.03.2026
В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++
8Observer8 24.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
Контроль уникальности заводского номера - вариант №1
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере нетипового документа выдачи шин для спецтехники с табличной частью, разработанного в конфигурации КА2. Данные берутся из. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru