Консольное приложение, которое парсит HTML страничку

@Kintoha · Регистрация: 13.03.2013

Доброго времени суток!
Есть сайт с такой страницей:

HTML5

<html>
<head>
<title>MPAYKYAYRRALM</title>
</head>
<body>
</body>
</html>

Нужно написать простое консольное приложение, которое бы записывало в переменную значение тега <title>.

Буду очень благодарен за помощь.

@igorrr37 · 05.08.2014, 15:37

C++

#include <iostream>
#include <string>
 
int main()
{
    std::string str("<html><head><title>TITLE</title></head><body></body></html>"), sres;
    std::string::size_type iend, ibeg = str.find("<title>");
    if(ibeg != std::string::size_type(-1))
    {
        iend = str.find("</title>", ibeg);
        sres.assign(str, ibeg + std::string("<title>").size(), iend - ibeg - std::string("<title>").size());
    }
    std::cout << sres << '\n';
    return 0;
}

@krv · 05.08.2014, 15:40

igorrr37, у ТС-а сайт, а не строка же

Kintoha, чем пользуешься? Поищи по словам curl, idHTTP,synapse - смотря чем хочешь вытащить страничку из веба

@SatanaXIII · 05.08.2014, 15:59

Парсер XML файлов
c++ парсер html страниц
Парсер HTML
Парсер HTLM
HTML компилятор на С++
Парсер HTML
Парсинг характеристик товара с Яндекс.Маркета

@gazlan · 05.08.2014, 16:18

Сообщение от Kintoha

в переменную значение тега <title>

Кусок кода из моего "FB2 renamer"

Кликните здесь для просмотра всего текста

C++

#define BEGIN_OF_TITLE        "book-title>"
#define END_OF_TITLE          "<"
 
void ForEach(const char* const pszFileName)
{
   if (!MF.OpenReadOnly(pszFileName))
   {
      // Error !
      return;
   }
 
   BYTE*    pText  = MF.Buffer();
   DWORD    dwSize = MF.Size();
 
   int   iStart = BMH_ISearch(pText,dwSize,(BYTE*)BEGIN_OF_TITLE,sizeof(BEGIN_OF_TITLE) - 1);
 
   if (iStart == -1)
   {
      MF.Close();
      return;
   }
 
   iStart += sizeof(BEGIN_OF_TITLE) - 1;
 
   int   iStop = BMH_ISearch(pText + iStart,dwSize - iStart,(BYTE*)END_OF_TITLE,sizeof(END_OF_TITLE) - 1);
 
   char     pszTitle[MAX_PATH + 1];
 
   memset(pszTitle,0,sizeof(pszTitle));
 
   strncpy(pszTitle,(char*)(pText + iStart),iStop);
   pszTitle[iStop] = 0;    // Ensure ASCIIZ
 
   MF.Close();
 
   char     pszNewName[_MAX_PATH];
   char     pszDrive  [_MAX_DRIVE];
   char     pszDir    [_MAX_DIR];
   char     pszFName  [_MAX_FNAME];
   char     pszExt    [_MAX_EXT];
 
   _splitpath(pszFileName,pszDrive,pszDir,pszFName,pszExt);
   _makepath( pszNewName, pszDrive,pszDir,pszTitle,pszExt);
 
   rename(pszFileName,pszNewName);
}

@igorrr37 · 05.08.2014, 16:37

вот цельная прога, только редирект не поддерживает (надо вручную вписать новый адрес из файла out.txt)

C++

#define WINVER 0x501
#include <iostream>
#include <fstream>
#include <ws2tcpip.h>
#include <winsock2.h>
#include <windows.h>
#include <string>
#include <iterator>
#pragma comment(lib, "ws2_32")
 
void Perror(const char*);
 
class HttpDownloader
{
public:
    void Download(std::string const& sUri, std::string const& sPathToSave = "out.txt") // содержимое страницы будет сохранено в файл с именем sPathToSave
    {
        sock = INVALID_SOCKET;
        addrinfo aiHint, *paiRes = nullptr, *pai = nullptr;
        ZeroMemory(&aiHint, sizeof(aiHint));
        aiHint.ai_socktype = SOCK_STREAM;
        aiHint.ai_family = AF_UNSPEC;
        int res;
        ParseUri(sUri);
        if(!(res = getaddrinfo(sUrl.c_str(), "80", &aiHint, &paiRes)))
        {
            pai = paiRes;
            do
            {
                sock = socket(pai->ai_family, pai->ai_socktype, pai->ai_protocol);
                if(INVALID_SOCKET == sock)
                    continue;
                if(connect(sock, pai->ai_addr, pai->ai_addrlen) != SOCKET_ERROR)
                    break;
                else if(SOCKET_ERROR == closesocket(sock)) Perror("closesocket");
            }
            while (pai = pai->ai_next);
            if(pai)
            {
                std::string sReq =
                    "GET " + sUrn + " HTTP/1.0\r\n"
                    "Host: " + sUrl + "\r\n"
                    "Connection: close\r\n\r\n";
                if(sReq.size() == send(sock, sReq.c_str(), sReq.size(), 0))
                {
                    std::ofstream ofs(sPathToSave.c_str());
                    if(ofs.is_open())
                    {
                        char buf[1024];
                        do
                        {
                            res = recv(sock, buf, sizeof(buf), 0);
                            switch(res)
                            {
                                case 0: std::cout << "Connection closed\n"; break;
                                case SOCKET_ERROR: Perror("recv"); break;
                                default:
                                {
                                    ofs.write(buf, res);
                                    break;
                                }
                            }
                        }
                        while(res > 0);
                    }
                    else std::cerr << "Unable to open file" << std::endl;
                    ofs.close();
                }
                else Perror("send");
            }
            else Perror("connect or socket");
            freeaddrinfo(paiRes);
        }
        else std::cerr << "getaddrinfo failed: " << res << std::endl;
        if(SOCKET_ERROR == closesocket(sock)) Perror("closesocket");
    }
private:
    void ParseUri(std::string sUri)
    {
        std::string sScheme("http://");
        std::string::size_type ind(0);
        if((ind = sUri.find(sScheme)) != std::string::npos)
        {
            sUri.erase(ind, sScheme.size());
        }
        if((ind = sUri.find('/')) != std::string::npos)
        {
            sUrl = sUri.substr(0, ind);
            sUrn = sUri.substr(ind, sUri.size() - ind);
        }
        else
        {
            sUrl = sUri;
            sUrn = "/";
        }
    }
    std::string sUrl, sUrn;
    SOCKET sock;
};
 
int main()
{
    SetConsoleOutputCP(1251);
    WSADATA wsad;
    if(!WSAStartup(0x0202, &wsad))
    {
        if(2 == LOBYTE(wsad.wVersion) && 2 == HIBYTE(wsad.wVersion))
        {
            HttpDownloader d;
            d.Download("http://www.wikipedia.org/");                       // адрес страницы в интернете
        }
        else std::cerr << "Needed library version not found" << std::endl;
        if(SOCKET_ERROR == WSACleanup()) Perror("WSACleanup");
    }
    else Perror("WSAStartup");
 
    std::ifstream ifs("out.txt");
    if(ifs.is_open())
    {
        std::string str((std::istreambuf_iterator<char>(ifs)), std::istreambuf_iterator<char>());
        std::string sres;
        std::string::size_type iend, ibeg = str.find("<title>");
        if(ibeg != std::string::size_type(-1))
        {
            iend = str.find("</title>", ibeg);
            sres.assign(str, ibeg + std::string("<title>").size(), iend - ibeg - std::string("<title>").size());
        }
        std::cout << sres << '\n';
        ifs.close();
    }
    else
        std::cerr << "Unable to open input file\n";
    return 0;
}
 
void Perror(const char* fName)
{
    std::cerr << fName << " failed: " << WSAGetLastError() << std::endl;
}

@krv 74 / 54 / 17 Регистрация: 10.07.2014 Сообщений: 329
	05.08.2014, 15:40	3
	igorrr37, у ТС-а сайт, а не строка же Kintoha, чем пользуешься? Поищи по словам curl, idHTTP,synapse - смотря чем хочешь вытащить страничку из веба 1

@SatanaXIII Почетный модератор 5842 / 2851 / 390 Регистрация: 01.11.2011 Сообщений: 6,903
	05.08.2014, 15:59	4
	Парсер XML файлов c++ парсер html страниц Парсер HTML Парсер HTLM HTML компилятор на С++ Парсер HTML Парсинг характеристик товара с Яндекс.Маркета 0

Опции темы