|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
Посоветуйте литературу и примеры по написанию парсеров сайтов на Visual C++16.06.2013, 00:55. Показов 1783. Ответов 7
Метки нет (Все метки)
Собственно, в названии темы все. Возникла задача получить информацию с разных сайтов и занести ее в БД SQL. В этом направлении вообще никогда не работал, поэтому желательно подробные руководства, примеры, какие-нибудь готовые исходники, чтобы я мог понять основу, т.е. последовательность действий и какие основные библиотеки и функции используются.
0
|
|
| 16.06.2013, 00:55 | |
|
Ответы с готовыми решениями:
7
Посоветуйте литературу по созданию сайтов, используя ООП php (mvc) [C/C++] Примеры программ парсеров Посоветуйте литературу по Visual Studio 6 для начинающего |
| 16.06.2013, 16:29 | |
|
Delphi: Парсинг от А до Я
0
|
|
|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
| 16.06.2013, 22:27 [ТС] | |
|
Нет, не делфи, а именно Visual C++ нужен. Поэтому в этом разделе и написал.
0
|
|
| 16.06.2013, 23:00 | |
|
Если есть желание понять принципы - с этого можно начать. Visual C++ к парсингу отношения не имеет. А все остальное - очень зависит...
Статические странички, это одно, AJAX - другое, CAPTCHA - третье, e-mail и сотовые телефоны могут требовать отдельного запроса итд. Добавлено через 14 минут И еще :-) Как человек, написавший не один парсер сайтов именно на MSVC (можете посмотреть скриншоты SportTicker у меня на страничке), уверяю вас, что C++ - последнее по важности в этом деле. Освойте HTML, ознакомьтесь с JavaScript, загляните в книжки по PHP, полно кода на Delphi... Не помешает умение пользоваться регулярными выражениями.
0
|
|
|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
| 17.06.2013, 00:15 [ТС] | |
|
Так, тогда, наверное, нужно было сразу спросить вопрос следующий: "Ужели есть другие ЯП, которые работают быстрее С++?". Не просто так выбрал именно на Visual C++ решать задачу. И есть не С++, тогда какое средство посоветуете, которое будет парсить как реактивный двигатель быстрее всех на свете
и записывать в БД MSSQL данные ? )
0
|
|
| 17.06.2013, 00:53 | |
|
Обычно, собственно парсинг - только небольшая часть всей задачи + скорость лимитируется не разбором странички, а задержками сервера. Пишутся парсеры на том, что знакомо/удобно. В любом случае, скорость доступа к DB будет на порядки меньше скорости самого парсинга. Мне представляется удобной "двухфазная" модель - парсер складывает данные в CSV (подходит и для правки и для архивного хранения), а уже CSV импортируется куда угодно.
0
|
|
|
2 / 2 / 1
Регистрация: 03.07.2010
Сообщений: 46
|
|
| 17.06.2013, 01:24 [ТС] | |
|
Из таких языков, как php, python, delthi C++, мне более знаком С++, я виндовый программист. Что ж, так как литературы по этой теме именно по Visual C++ не получил, примеров тоже именно на Visual C++ не получил, ни статей, видимо, придется либо учить php, либо python.
0
|
|
| 17.06.2013, 01:51 | |
|
Учите, для начала, HTML.
Примеры (раз MSDN недостаточно), вам не помогут. Скажем, получить список предприятий из базы "Спринт", получить список телефонов владельцев подержанных Ауди из DC с auto.ru и получить в RT результаты футбольных матчей с AJAX-сайта - это совершенно разные задачи, кроме слова "парсинг", ничего общего не имеющие. Ну, и если вы уже открыты для PHP :-) посмотрите вот это: Michael Schrenk "Webbots, Spiders, and Screen Scrapers" No Starch, 2007 ISBN-10: 1-593-27120-4 ISBN-13: 978 1-59-327120-6
0
|
|
| 17.06.2013, 01:51 | |
|
Помогаю со студенческими работами здесь
8
Посоветуйте какую-нибудь литературу или какие-нибудь примеры простейших имитационных моделей Посоветуйте литературу по Visual Basic для начинающего программиста
Ищу литературу по написанию нейронных сетей Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
|
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений.
9TO2GP2bpX4
a42b81fb172ffc12ca589c7898261ccb/
https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/
Слева синяя линия -. . .
|
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. .
Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
|
Контроль уникальности заводского номера - вариант №2
Maks 24.03.2026
В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла:
Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
|
|
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++
8Observer8 24.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-text-sdl3-c. zip
finish-text-sdl3-cpp. zip
|
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
|
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo
Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло.
Но на выплатах по больничным это. . .
|
Контроль уникальности заводского номера - вариант №1
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере нетипового документа выдачи шин для спецтехники с табличной частью, разработанного в конфигурации КА2. Данные берутся из. . .
|