Консольное приложение, которое парсит HTML страничку

@Kintoha · Регистрация: 13.03.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток!
Есть сайт с такой страницей:

HTML5
1
2
3
4
5
6
7
<html>
<head>
<title>MPAYKYAYRRALM</title>
</head>
<body>
</body>
</html>

Нужно написать простое консольное приложение, которое бы записывало в переменную значение тега <title>.

Буду очень благодарен за помощь.

@igorrr37 · 05.08.2014, 15:37

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#include <iostream>
#include <string>
 
int main()
{
    std::string str("<html><head><title>TITLE</title></head><body></body></html>"), sres;
    std::string::size_type iend, ibeg = str.find("<title>");
    if(ibeg != std::string::size_type(-1))
    {
        iend = str.find("</title>", ibeg);
        sres.assign(str, ibeg + std::string("<title>").size(), iend - ibeg - std::string("<title>").size());
    }
    std::cout << sres << '\n';
    return 0;
}

@krv · 05.08.2014, 15:40

igorrr37, у ТС-а сайт, а не строка же

Kintoha, чем пользуешься? Поищи по словам curl, idHTTP,synapse - смотря чем хочешь вытащить страничку из веба

@SatanaXIII · 05.08.2014, 15:59

Парсер XML файлов
c++ парсер html страниц
Парсер HTML
Парсер HTLM
HTML компилятор на С++
Парсер HTML
Парсинг характеристик товара с Яндекс.Маркета

@gazlan · 05.08.2014, 16:18

Сообщение от Kintoha

в переменную значение тега <title>

Кусок кода из моего "FB2 renamer"

Кликните здесь для просмотра всего текста

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
#define BEGIN_OF_TITLE        "book-title>"
#define END_OF_TITLE          "<"
 
void ForEach(const char* const pszFileName)
{
   if (!MF.OpenReadOnly(pszFileName))
   {
      // Error !
      return;
   }
 
   BYTE*    pText  = MF.Buffer();
   DWORD    dwSize = MF.Size();
 
   int   iStart = BMH_ISearch(pText,dwSize,(BYTE*)BEGIN_OF_TITLE,sizeof(BEGIN_OF_TITLE) - 1);
 
   if (iStart == -1)
   {
      MF.Close();
      return;
   }
 
   iStart += sizeof(BEGIN_OF_TITLE) - 1;
 
   int   iStop = BMH_ISearch(pText + iStart,dwSize - iStart,(BYTE*)END_OF_TITLE,sizeof(END_OF_TITLE) - 1);
 
   char     pszTitle[MAX_PATH + 1];
 
   memset(pszTitle,0,sizeof(pszTitle));
 
   strncpy(pszTitle,(char*)(pText + iStart),iStop);
   pszTitle[iStop] = 0;    // Ensure ASCIIZ
 
   MF.Close();
 
   char     pszNewName[_MAX_PATH];
   char     pszDrive  [_MAX_DRIVE];
   char     pszDir    [_MAX_DIR];
   char     pszFName  [_MAX_FNAME];
   char     pszExt    [_MAX_EXT];
 
   _splitpath(pszFileName,pszDrive,pszDir,pszFName,pszExt);
   _makepath( pszNewName, pszDrive,pszDir,pszTitle,pszExt);
 
   rename(pszFileName,pszNewName);
}

@igorrr37 · 05.08.2014, 16:37

вот цельная прога, только редирект не поддерживает (надо вручную вписать новый адрес из файла out.txt)

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
#define WINVER 0x501
#include <iostream>
#include <fstream>
#include <ws2tcpip.h>
#include <winsock2.h>
#include <windows.h>
#include <string>
#include <iterator>
#pragma comment(lib, "ws2_32")
 
void Perror(const char*);
 
class HttpDownloader
{
public:
    void Download(std::string const& sUri, std::string const& sPathToSave = "out.txt") // содержимое страницы будет сохранено в файл с именем sPathToSave
    {
        sock = INVALID_SOCKET;
        addrinfo aiHint, *paiRes = nullptr, *pai = nullptr;
        ZeroMemory(&aiHint, sizeof(aiHint));
        aiHint.ai_socktype = SOCK_STREAM;
        aiHint.ai_family = AF_UNSPEC;
        int res;
        ParseUri(sUri);
        if(!(res = getaddrinfo(sUrl.c_str(), "80", &aiHint, &paiRes)))
        {
            pai = paiRes;
            do
            {
                sock = socket(pai->ai_family, pai->ai_socktype, pai->ai_protocol);
                if(INVALID_SOCKET == sock)
                    continue;
                if(connect(sock, pai->ai_addr, pai->ai_addrlen) != SOCKET_ERROR)
                    break;
                else if(SOCKET_ERROR == closesocket(sock)) Perror("closesocket");
            }
            while (pai = pai->ai_next);
            if(pai)
            {
                std::string sReq =
                    "GET " + sUrn + " HTTP/1.0\r\n"
                    "Host: " + sUrl + "\r\n"
                    "Connection: close\r\n\r\n";
                if(sReq.size() == send(sock, sReq.c_str(), sReq.size(), 0))
                {
                    std::ofstream ofs(sPathToSave.c_str());
                    if(ofs.is_open())
                    {
                        char buf[1024];
                        do
                        {
                            res = recv(sock, buf, sizeof(buf), 0);
                            switch(res)
                            {
                                case 0: std::cout << "Connection closed\n"; break;
                                case SOCKET_ERROR: Perror("recv"); break;
                                default:
                                {
                                    ofs.write(buf, res);
                                    break;
                                }
                            }
                        }
                        while(res > 0);
                    }
                    else std::cerr << "Unable to open file" << std::endl;
                    ofs.close();
                }
                else Perror("send");
            }
            else Perror("connect or socket");
            freeaddrinfo(paiRes);
        }
        else std::cerr << "getaddrinfo failed: " << res << std::endl;
        if(SOCKET_ERROR == closesocket(sock)) Perror("closesocket");
    }
private:
    void ParseUri(std::string sUri)
    {
        std::string sScheme("http://");
        std::string::size_type ind(0);
        if((ind = sUri.find(sScheme)) != std::string::npos)
        {
            sUri.erase(ind, sScheme.size());
        }
        if((ind = sUri.find('/')) != std::string::npos)
        {
            sUrl = sUri.substr(0, ind);
            sUrn = sUri.substr(ind, sUri.size() - ind);
        }
        else
        {
            sUrl = sUri;
            sUrn = "/";
        }
    }
    std::string sUrl, sUrn;
    SOCKET sock;
};
 
int main()
{
    SetConsoleOutputCP(1251);
    WSADATA wsad;
    if(!WSAStartup(0x0202, &wsad))
    {
        if(2 == LOBYTE(wsad.wVersion) && 2 == HIBYTE(wsad.wVersion))
        {
            HttpDownloader d;
            d.Download("http://www.wikipedia.org/");                       // адрес страницы в интернете
        }
        else std::cerr << "Needed library version not found" << std::endl;
        if(SOCKET_ERROR == WSACleanup()) Perror("WSACleanup");
    }
    else Perror("WSAStartup");
 
    std::ifstream ifs("out.txt");
    if(ifs.is_open())
    {
        std::string str((std::istreambuf_iterator<char>(ifs)), std::istreambuf_iterator<char>());
        std::string sres;
        std::string::size_type iend, ibeg = str.find("<title>");
        if(ibeg != std::string::size_type(-1))
        {
            iend = str.find("</title>", ibeg);
            sres.assign(str, ibeg + std::string("<title>").size(), iend - ibeg - std::string("<title>").size());
        }
        std::cout << sres << '\n';
        ifs.close();
    }
    else
        std::cerr << "Unable to open input file\n";
    return 0;
}
 
void Perror(const char* fName)
{
    std::cerr << fName << " failed: " << WSAGetLastError() << std::endl;
}

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

@krv 74 / 54 / 17 Регистрация: 10.07.2014 Сообщений: 329
	05.08.2014, 15:40
	igorrr37, у ТС-а сайт, а не строка же Kintoha, чем пользуешься? Поищи по словам curl, idHTTP,synapse - смотря чем хочешь вытащить страничку из веба 1

@SatanaXIII Почетный модератор 5851 / 2862 / 392 Регистрация: 01.11.2011 Сообщений: 6,906
	05.08.2014, 15:59
	Парсер XML файлов c++ парсер html страниц Парсер HTML Парсер HTLM HTML компилятор на С++ Парсер HTML Парсинг характеристик товара с Яндекс.Маркета 0