Парсер HTML

@Egeni · Регистрация: 17.06.2010

Студворк — интернет-сервис помощи студентам

Здравствуйте! Нигде не могу найти парсера HTML на Си/С++, помогите кто чем может!

На PHP все просто выходит в две строки, но надо именно на С++ для реализации многопоточности

Например такая строка

HTML5
1
<h2><a href="http://www.site.ru/something/" rel="bookmark" title="Текст1">Текст2</a></h2>

Нужно получить ссылку и текст2.
На пхп все реализуется в две строки:

PHP
1
2
$grab = file_get_contents("http://www.site.ru");//скачиваем страницу
preg_match("/<h2><a href=\"(.*)\/"[^\"]/",$grab,$urls);//разбираем ее регулярным выражением

Как тоже самое реализуется на Си?

@QVO · 09.08.2012, 12:34

Сообщение от koldun

p=One.Pos("[");

C++
1
p=One.Pos("[")+1;

Сообщение от koldun

как можно его заставить сканить весь текст ?

C++
1
One.Delete(1,p2);

@Egeni · 27.10.2012, 23:38 **[ТС]**

QVO, спасибо но это немного не то, постараюсь объяснить...

Задача состоит вот в чем. Начнем с простого.
Есть вебстраница формата пример razbor1.htm

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<table align="center" border="0" cellpadding="0" cellspacing="0" width="600">
<tbody><tr> 
<td><b>
Требуются: каменщики, разнорабочие, штукатуры Tел. 93-22-51, 65-52-55</b></td>
</tr>          
</tbody></table>
<br>
<table align="center" border="0" cellpadding="0" cellspacing="0" width="600">
<tbody><tr> 
<td>
Требуются кладовщики Tел. 54-19-30</td>
</tr>
</tbody></table>
<br>
<table align="center" border="1" cellpadding="0" cellspacing="0" width="600">
<tbody><tr> 
<td><b>
Требуются разнорабочие Tел. 066-672-26-23</b></td>
</tr>          
</tbody></table>

Необходимо привести к разобранному виду и занести в таблицу

Требуются: каменщики, разнорабочие, штукатуры Tел. 93-22-51, 65-52-55
Требуются кладовщики Tел. 54-19-30
Требуются разнорабочие Tел. 066-672-26-23

Ну и вот еще razbor2.htm

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 <table cellSpacing=0 cellPadding=0 width="100%" border="0" class="pdr">
 <tr>
  <td><b>Год выпуска:</b></td>
  <td class="a_r">2011 г.</td>
 </tr>
 <tr><td class="sep_h" colspan="2"><img src="/img/z.gif" width="1px" height="1px" alt="" /></td></tr>
 <tr>
  <td><b>Тип техники:</b></td>
  <td class="a_r">Мотоцикл</td>
 </tr>
 <tr><td class="sep_h" colspan="2"><img src="/img/z.gif" width="1px" height="1px" alt="" /></td></tr>
 <tr>
  <td><b>Состояние:</b></td>
  <td class="a_r">отличное</td>
 </tr>
 </tr>

Аналогично необходимо убрать весь мусор(html теги) и получить на выходе табличные данные

Год выпуска: 2011 г.
Тип техники: Мотоцикл
Состояние: отличное

Покажите пожалуйста, буду рад любой помощи

@Avazart · 27.10.2012, 23:52

Есть еще такая либа https://www.cyberforum.ru/blog... og538.html.

Но я бы использовал boost/regex - как бы проще. ( если парсить не много )

boost/regex Поиск ссылок в html-файле

@Vlad_IT · 28.10.2012, 02:26

Egeni, А как же regex.h? А boost? Или же поковыряйте библиотеку QT, там есть класс QRegExp. Под крайний случай подключите скриптовые языки (Python,Ruby,Lua), в них есть возможности для регулярных выражений. Думаю Вам будет быстрее понять основы языка Lua(А этого будет достаточно, для вашей цели. Да даже просто напишите скрипт, немного погуглив, и подключите его), чем искать нативное решение целый год, да и он пригодиться в жизни.
Советую почитать http://blog.alno.name/ru/2008/10/using-boost-regex , там есть альтернатива пхпешной функции preg_match, вот boost::regex_match.
А если лень читать и много писать, то вот для Borland C++ (Delphi) http://regexpstudio.com/ru/TRegExpr/TRegExpr.html

Evg · 28.10.2012, 12:53

Вот тема о том, как прикручивать скрипты на Lua: https://www.cyberforum.ru/cpp-... 68085.html

Я бы такую задачу выполнял именно на Lua, но не на встроенных паровозах типа boost, Qt, regex. И вот почему. Формат страницы со временем может немного меняться и от тебя это никак не зависит (если я правильно понимаю). А потому время от времени может понадобиться вносить изменения в парсер. На одной чаше весов программа, для которой при изменении в парсере требуется перекомпиляция. Другими словами, если ты не хочешь никому отдавать исходник, то пользователи твоей программы уже ничего не смогут сделать, если что-то на сайте поменялось. На другой чаше весов программа, для которой НЕ требуется перекомпиляция, а требуется исправить скрипт на lua, который идёт в комплекте с программой. На крайний случай пользователь сам сможет поправить парсер, а потому для пользователя такой вариант выглядит более привлекательным

@Egeni · 29.10.2012, 10:17 **[ТС]**

Evg, у тебя есть работающие примеры таких программ парсеров?

Avazart, Vlad_IT, если можно с примерами пожалуйста...

Evg · 29.10.2012, 12:00

Сообщение от Egeni

Evg, у тебя есть работающие примеры таких программ парсеров?

Есть, только выдранное из контекста оно тебе вряд ли чем-то поможет

@Avazart · 29.10.2012, 13:16

Сообщение от Egeni

Avazart, Vlad_IT, если можно с примерами пожалуйста...

А я на что ссылку кинул?

Сообщение от Avazart

Есть еще такая либа https://www.cyberforum.ru/blog... og538.html

Но я бы использовал boost/regex - как бы проще. ( если парсить не много )

boost/regex Поиск ссылок в html-файле

Evg · 29.10.2012, 13:26

Сообщение от Egeni

Avazart, Vlad_IT, если можно с примерами пожалуйста...

Иногда полезно читать те ссылки, которые тебе дают: https://www.cyberforum.ru/cpp-... ost1651285

@Avazart · 29.10.2012, 16:23

Evg, А чем собственно вызвана необходимость использовать LUA ?

Evg · 29.10.2012, 16:40

Сообщение от Avazart

Evg, А чем собственно вызвана необходимость использовать LUA ?

В посте #25 всё написал

@Avazart · 29.10.2012, 16:44

Сообщение от Evg

Формат страницы со временем может немного меняться и от тебя это никак не зависит (если я правильно понимаю). А потому время от времени может понадобиться вносить изменения в парсер. На одной чаше весов программа, для которой при изменении в парсере требуется перекомпиляция. Другими словами, если ты не хочешь никому отдавать исходник, то пользователи твоей программы уже ничего не смогут сделать, если что-то на сайте поменялось. На другой чаше весов программа, для которой НЕ требуется перекомпиляция, а требуется исправить скрипт на lua, который идёт в комплекте с программой. На крайний случай пользователь сам сможет поправить парсер, а потому для пользователя такой вариант выглядит более привлекательным

А как тут поможет lua ?
С таким же успехом можно просто подгружать boost- регулярку с файла ( к примеру в ComboBox или Edit)

Evg · 29.10.2012, 17:33

Сообщение от Avazart

А как тут поможет lua ?
С таким же успехом можно просто подгружать boost- регулярку с файла ( к примеру в ComboBox или Edit)

Lua - это текстовый скрипт, прилагаемый к программе. Его пользователь может взять и сам поменять как надо. Если к boost'у есть возможность приделать то же самое - наверное можно и так, но я просто не знаю, как оно выглядит. Lua - нормальный вменяемый язык, на котором можно написать удобную программу с функциями, потому что не всегда страница распарсивается просто и элементарно при помощи одного регулярного выражения

Когда мне требовалось сливать данные с сайта, то потребовалось залогиниться на сайт, получить адрес требуемой страницы и с неё уже выцеплять данные. В другом случае требовалось скачивать данные с "длинной" страницы, которая состоит из нескольких html-адресов (а не с одного адреса). В этом случае у меня на Lua был написан целый процесс обновления данный с сайта. Из Lua вызывался код по скачиванию страницы, который был написан на Си (ибо там менять ничего не надо).

@Avazart · 29.10.2012, 17:38

Я имею ввиду нечто вроде

C++
1
2
boost::regex re( AnsiString(Edit1->Text).c_str() );
// а дальше сам парсинг

И пользователь может поменять регулярку в Edit-те.

Со сложными регулярками наверное будет лучше lua.

А собственно в самой LUA есть регулярные выражения или весь анализ вручную посимвольно?

Evg · 29.10.2012, 17:44

В Lua есть регулярка. По синтаксису там небольшие отличия от "привычных" регулярок

@Avazart · 03.02.2013, 02:14

Новая тема тут https://www.cyberforum.ru/cpp-... 77781.html

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	27.10.2012, 23:52
	Есть еще такая либа https://www.cyberforum.ru/blog... og538.html. Но я бы использовал boost/regex - как бы проще. ( если парсить не много ) boost/regex Поиск ссылок в html-файле 1

@Vlad_IT 1452 / 360 / 61 Регистрация: 03.04.2010 Сообщений: 2,096
	28.10.2012, 02:26
	Egeni, А как же regex.h? А boost? Или же поковыряйте библиотеку QT, там есть класс QRegExp. Под крайний случай подключите скриптовые языки (Python,Ruby,Lua), в них есть возможности для регулярных выражений. Думаю Вам будет быстрее понять основы языка Lua(А этого будет достаточно, для вашей цели. Да даже просто напишите скрипт, немного погуглив, и подключите его), чем искать нативное решение целый год, да и он пригодиться в жизни. Советую почитать http://blog.alno.name/ru/2008/10/using-boost-regex , там есть альтернатива пхпешной функции preg_match, вот boost::regex_match. А если лень читать и много писать, то вот для Borland C++ (Delphi) http://regexpstudio.com/ru/TRegExpr/TRegExpr.html 1

Evg 21281 / 8305 / 637 Регистрация: 30.03.2009 Сообщений: 22,660 Записей в блоге: 30
	28.10.2012, 12:53
	Вот тема о том, как прикручивать скрипты на Lua: https://www.cyberforum.ru/cpp-... 68085.html Я бы такую задачу выполнял именно на Lua, но не на встроенных паровозах типа boost, Qt, regex. И вот почему. Формат страницы со временем может немного меняться и от тебя это никак не зависит (если я правильно понимаю). А потому время от времени может понадобиться вносить изменения в парсер. На одной чаше весов программа, для которой при изменении в парсере требуется перекомпиляция. Другими словами, если ты не хочешь никому отдавать исходник, то пользователи твоей программы уже ничего не смогут сделать, если что-то на сайте поменялось. На другой чаше весов программа, для которой НЕ требуется перекомпиляция, а требуется исправить скрипт на lua, который идёт в комплекте с программой. На крайний случай пользователь сам сможет поправить парсер, а потому для пользователя такой вариант выглядит более привлекательным 2

@Egeni 10 / 10 / 2 Регистрация: 17.06.2010 Сообщений: 107 Записей в блоге: 1
	29.10.2012, 10:17 [ТС]
	Evg, у тебя есть работающие примеры таких программ парсеров? Avazart, Vlad_IT, если можно с примерами пожалуйста... 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	29.10.2012, 16:23
	Evg, А чем собственно вызвана необходимость использовать LUA ? 1

Evg 21281 / 8305 / 637 Регистрация: 30.03.2009 Сообщений: 22,660 Записей в блоге: 30
	29.10.2012, 17:44
	В Lua есть регулярка. По синтаксису там небольшие отличия от "привычных" регулярок 2

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	03.02.2013, 02:14
	Новая тема тут https://www.cyberforum.ru/cpp-... 77781.html 0