Вытащить из веб-страницы только полезную информацию, отбросив весь «мусор»

#include <iostream>
#include <string>
#include <vector>
#include <regex>
 
int main(int argc, char *argv[])
{
    const std::regex search_regex ("<div class=\"text\">(.+)</div>");
    const std::regex replace_regex ("<.+>");
    std::smatch m;
    std::vector<std::string> quotes;
    std::string text("......");
 
    while (std::regex_search (text, m, search_regex))
    {
        quotes.push_back(std::regex_replace(std::string(m[1]), replace_regex, " "));
        text = m.suffix().str();
    }
 
    std::cout << "Found " << quotes.size() << " matches:" << std::endl << std::endl;
 
    for(auto quote: quotes)
        std::cout << quote << std::endl << std::endl;
}

#include "stdafx.h"
#include "OpenUrl.h"
 
 
OpenUrl::OpenUrl()
 
{
    // Инициализация библиотеки Ws2_32.dll.
    if ( WSAStartup( MAKEWORD( 1, 1 ), &lpWSAData ) != 0 ) cout << " Initialization failed ";
}
 
 
OpenUrl::~OpenUrl()
{
    WSACleanup(); 
}
//--------------------------------------------------------------------------------------------/
bool OpenUrl::IsStringContain(const string* Str, const char* tmpStr)   //Проверить строку на наличие некоторого текста
{
    return std::string::npos != Str->find(tmpStr);
}
//--------------------------------------------------------------------------------------------/
void OpenUrl::ParsTmpString(string& tmpStr) //Парсит строку
{
    StrPar.ParseFile(tmpStr);
}
//--------------------------------------------------------------------------------------------/
string OpenUrl::OpenStringUrl(string* URL)
{
    SOCKET s = INVALID_SOCKET;
 
    // Проверим на правильность введенный адрес.
    // Он должен начинаться с "http://"
    if (IsStringContain(URL, "HTTP://") && (IsStringContain(URL, "http://")))
    {
        cout << "Wrong path";
        cout << ::WSAGetLastError();
    }
 
    int port_num = 80;              // Номер порта по умолчанию (HTTP_PORT)
    string http_path;               // Путь (REQUEST_URI)
 
 
    size_t posh = URL->find("http:"); //Отрезаем http
    size_t posH = URL->find("HTTP:"); //Отрезаем HHTP
 
    if (std::string::npos != posH || std::string::npos != posh)
    {
        http_path = URL->substr(posh + 7, URL->length());       //+7 Отрезаемые сиволы
    }
 
    // Поучаем IP адрес по имени хоста
    struct hostent* hp;
    const char* tmp1 = URL->c_str();
 
    if (!(hp = gethostbyname(http_path.c_str())))
    {
        cout << "Wrong Name";
        return "";
    }
 
    // Открываем сокет
    s = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
    if (INVALID_SOCKET == s)
    {
        cout << "Socket creation failed!\n";
        cout << ::WSAGetLastError();
    }
 
    // Заполняем структуру sockaddr_in
    struct sockaddr_in ssin;
    memset((char *)&ssin, 0, sizeof(ssin));
    ssin.sin_family = AF_INET;
    ssin.sin_addr.S_un.S_un_b.s_b1 = hp->h_addr[0];
    ssin.sin_addr.S_un.S_un_b.s_b2 = hp->h_addr[1];
    ssin.sin_addr.S_un.S_un_b.s_b3 = hp->h_addr[2];
    ssin.sin_addr.S_un.S_un_b.s_b4 = hp->h_addr[3];
    ssin.sin_port = htons(port_num);
 
    // Выводим IP адрес хоста, с которым будем соединятся
    printf("Conecting to %d.%d.%d.%d...", (unsigned char)hp->h_addr[0],
        (unsigned char)hp->h_addr[1],
        (unsigned char)hp->h_addr[2],
        (unsigned char)hp->h_addr[3]);
 
    // Соединяемся с хостом
    if (connect(s, (sockaddr*)&ssin, sizeof(ssin)) == -1)
    {
        cout << "Error connect\n";
        return "";
    }
 
    // Формируем HTTP запрос
    string request;
    request.append("GET /");
    //query.append(http_path); 
    request.append(" HTTP/1.0\nHost: ");
    request.append(http_path);
    request.append("\nUser-agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)");
    request.append("\nAccept: */*\n\n");
    request.append("\r\n\r\n");
 
    // Выводим HTTP запрос
    cout << request;
 
    // Отправляем запрос серверу
    int cnt = send(s, request.c_str(), request.size(), 0);
 
    // Проверяем, не произошло ли ошибки при отправке запроса на сервер
    if (cnt == SOCKET_ERROR) return "";
 
    string result;
 
    for (;;)
    {
        char buffer[2048] = { 0 };
 
        int rl = recv(s, buffer, sizeof(buffer), 0);
 
        if (rl < 1)
            break;
        result.append(buffer);
    }
 
    ParsTmpString(result);
 
    return(std::move(result));  //Что бы избежать излишнего копирования 
}
//--------------------------------------------------------------------------------------------/

#include "stdafx.h"
#include "FileParser.h"
 
 
FileParser::FileParser()
{
 
}
 
 
FileParser::~FileParser()
{
 
}
//--------------------------------------------------------------------------------------------/
int FileParser::ParseFile( string& original )           //Функция парсинга строки
{
 
    string tmpstr;
 
    MyReplace(original, "<br>", "\r\n");
    MyReplace(original, "&quot;", "\"");
 
 
    for (;;)
    {
        size_t start_pos = original.find("<div class=\"text\">"); //Если div нет, то вернет пустую строку
        if (start_pos != std::string::npos)
        {
            original = original.substr(start_pos + 18, original.length());
            size_t end_pos = original.find("</div>");
 
            if (end_pos != std::string::npos)   //если нашли
            {
                string str80 = original.substr(0, end_pos);
                while (str80.length() > 80)
                {
                    size_t tmpPos = 80;
 
                    while (str80.at(tmpPos) != ' ')
                    {
                        tmpPos--;
                    }
 
                    tmpstr += str80.substr(0, tmpPos);
                    tmpstr += "\r\n";
                    str80 = str80.substr(tmpPos, str80.length());
 
                }
 
                tmpstr += str80;
                tmpstr += "\r\n\r\n";
            }
        }
        else
        {
            break;
        }
    }
 
 
    original.swap(tmpstr);
    return 1;
}
//--------------------------------------------------------------------------------------------/
void FileParser::MyReplace(string &s, const string &search, const string &replace)
{
    for (size_t pos = 0;; pos += replace.length())
    {
        pos = s.find(search, pos);
        if (pos == string::npos) break;
 
        s.erase(pos, search.length());
        s.insert(pos, replace);
    }
}