Скачать html страницу (boost.beast)

@shadow-nx · Регистрация: 14.10.2018

Студворк — интернет-сервис помощи студентам

Всем доброе время суток, дали задачу реализовать crawler,скачать html страницу необходимо с помощью boost.beast к сожалению потратив очень много времени разобраться в документации этого чуда я не смог, обьясните пожалуйста как скачать html страницу с помощью boost beast

@igorrr37 · 03.01.2019, 18:34

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
#include "C:/boost_1_68_0_VS2017/libs/beast/example/common/root_certificates.hpp" // прописать свой путь
#include <boost/beast/core.hpp>
#include <boost/beast/http.hpp>
#include <boost/beast/version.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <boost/asio/ssl/error.hpp>
#include <boost/asio/ssl/stream.hpp>
#include <cstdlib>
#include <iostream>
#include <string>
#include <fstream>
 
using tcp = boost::asio::ip::tcp;       // from <boost/asio/ip/tcp.hpp>
namespace ssl = boost::asio::ssl;       // from <boost/asio/ssl.hpp>
namespace http = boost::beast::http;    // from <boost/beast/http.hpp>
 
// Performs an HTTP GET and prints the response
int main(int argc, char** argv)
{
    try
    {
        "Usage: http-client-sync-ssl <host> <port> <target> [<HTTP version: 1.0 or 1.1(default)>]\n" 
        "Example:\n" 
        "    http-client-sync-ssl www.example.com 443 /\n" 
        "    http-client-sync-ssl www.example.com 443 / 1.0\n";
 
        // адрес страницы для скачивания: https://www.boost.org/doc/libs/1_69_0/libs/beast/example/http/client/sync-ssl/http_client_sync_ssl.cpp
 
        auto const host = "www.boost.org"; 
        auto const port = "443"; // https - 443, http - 80
        auto const target = "/doc/libs/1_69_0/libs/beast/example/http/client/sync-ssl/http_client_sync_ssl.cpp"; // 
        int version = argc == 5 && !std::strcmp("1.0", argv[4]) ? 10 : 11;
 
        // The io_context is required for all I/O
        boost::asio::io_context ioc;
 
        // The SSL context is required, and holds certificates
        ssl::context ctx{ ssl::context::sslv23_client };
 
        // This holds the root certificate used for verification
        load_root_certificates(ctx);
 
        // Verify the remote server's certificate
        //ctx.set_verify_mode(ssl::verify_peer);
 
        // These objects perform our I/O
        tcp::resolver resolver{ ioc };
        ssl::stream<tcp::socket> stream{ ioc, ctx };
 
        // Set SNI Hostname (many hosts need this to handshake successfully)
        if (!SSL_set_tlsext_host_name(stream.native_handle(), host))
        {
            boost::system::error_code ec{ static_cast<int>(::ERR_get_error()), boost::asio::error::get_ssl_category() };
            throw boost::system::system_error{ ec };
        }
 
        // Look up the domain name
        auto const results = resolver.resolve(host, port);
 
        // Make the connection on the IP address we get from a lookup
        boost::asio::connect(stream.next_layer(), results.begin(), results.end());
 
        // Perform the SSL handshake
        stream.handshake(ssl::stream_base::client);
 
        // Set up an HTTP GET request message
        http::request<http::string_body> req{ http::verb::get, target, version };
        req.set(http::field::host, host);
        req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
 
        // Send the HTTP request to the remote host
        http::write(stream, req);
 
        // This buffer is used for reading and must be persisted
        boost::beast::flat_buffer buffer;
 
        // Declare a container to hold the response
        http::response<http::dynamic_body> res;
 
        // Receive the HTTP response
        http::read(stream, buffer, res);
 
        // Write the message to out
        std::ofstream ofs{"out.txt"}; // запись html-страницы в файл
        ofs << res;
        ofs.close();
 
        // Gracefully close the stream
        boost::system::error_code ec;
        stream.shutdown(ec);
        if (ec == boost::asio::error::eof)
        {
            // Rationale:
            // http://stackoverflow.com/questions/25587403/boost-asio-ssl-async-shutdown-always-finishes-with-an-error
            ec.assign(0, ec.category());
        }
        if (ec)
            throw boost::system::system_error{ ec };
 
        // If we get here then the connection is closed gracefully
    }
    catch (std::exception const& e)
    {
        std::cerr << "Error: " << e.what() << std::endl;
        return EXIT_FAILURE;
    }
    return EXIT_SUCCESS;
}

@shadow-nx · 03.01.2019, 18:47 **[ТС]**

Ты серьезно? спасибо огромное,этот пример я и сам нашел, только я попросил обьяснить как это сделать и как это работает, к тому же я уверен что можно это сделать немного проще, мне так кажется во всяком случае

@igorrr37 · 04.01.2019, 11:01

Это не пример а код для скачивания https-страницы сайта. Кажется, вопрос был именно в этом. А вот насчёт "можно это сделать немного проще" что то сомнительно.
Да, и OpenSSL должен быть установлен сборка OpenSSL для MSVS2017

@shadow-nx · 04.01.2019, 19:33 **[ТС]**

да ,извините , вы правы , собрал я это без проблем особы , все работает, потихоньку разбираюсь, у меня к вам еще один вопрос, скажите пожалуйста если задача стоит рекурсивно обойти все ссылки на страницы это тоже нужно использовать boost.beast или что-то другое? вообще с задании нужно использовать boost.beast and gumbo parser ,вот пытаюсь разобраться что для чего

@igorrr37 · 05.01.2019, 16:28

Загружает исходную страницу и выводит в консоль все найденные на ней ссылки. Работает пока только с https-страницами. Парсер - gumbo.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
#include "C:/boost_1_68_0_VS2017/libs/beast/example/common/root_certificates.hpp" // прописать свой путь
#include <boost/beast/core.hpp>
#include <boost/beast/http.hpp>
#include <boost/beast/version.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <boost/asio/ssl/error.hpp>
#include <boost/asio/ssl/stream.hpp>
#include <cstdlib>
#include <iostream>
#include <string>
#include <fstream>
#include <regex>
#include <queue>
#include <vector>
#include "gumbo.h"
 
using tcp = boost::asio::ip::tcp;       
namespace ssl = boost::asio::ssl;       
namespace http = boost::beast::http;    
 
void findLinks(std::string const& sBody, std::vector<std::string>& vLinks)
{
    GumboOutput* output = gumbo_parse(sBody.c_str());
 
    std::queue<GumboNode*> qn;
    qn.push(output->root);
 
    while (!qn.empty())
    {
        GumboNode* node = qn.front();
        qn.pop();
 
        if (GUMBO_NODE_ELEMENT == node->type)
        {
            GumboAttribute* href = nullptr;
            if (node->v.element.tag == GUMBO_TAG_A && (href = gumbo_get_attribute(&node->v.element.attributes, "href")))
            {
                vLinks.push_back(href->value);
            }
 
            GumboVector* children = &node->v.element.children;
            for (unsigned int i = 0; i < children->length; ++i)
            {
                qn.push(static_cast<GumboNode*>(children->data[i]));
            }
        }
    }
 
    gumbo_destroy_output(&kGumboDefaultOptions, output);
}
 
// протестировано в MSVS2017
int main()
{
    system("chcp 1251");
    try
    {
        std::string sUri{ "https://mail.ru" }; // адрес исходной страницы
        std::regex rUri{ "^(?:(https?)://)?([^/]+)(/.*)?" };
 
        std::smatch mr;
        if (std::regex_match(sUri, mr, rUri))
        {
            for (auto const& sm : mr)
            {
                //std::cout << sm << std::endl;
            }
        }
        else
        {
            std::cerr << "std::regex_match failed: " + sUri << "\n\n";
        }
        if (mr[1].str() != "https") // работает пока только с https
        {
            std::cerr << "mr[1].str() != \"https\"" << "\n\n";
        }
 
        std::string const host = mr[2];
        std::string const port = "443"; // https - 443, http - 80
        std::string const target = (mr[3].length() == 0 ? "/" : mr[3].str());
        int version = 11; // или 10 для http 1.0
 
        boost::asio::io_context ioc;
        ssl::context ctx{ ssl::context::sslv23_client };
        load_root_certificates(ctx);
        tcp::resolver resolver{ ioc };
        ssl::stream<tcp::socket> stream{ ioc, ctx };
        if (!SSL_set_tlsext_host_name(stream.native_handle(), host.c_str()))
        {
            boost::system::error_code ec{ static_cast<int>(::ERR_get_error()), boost::asio::error::get_ssl_category() };
            throw boost::system::system_error{ ec };
        }
        auto const results = resolver.resolve(host, port);
        boost::asio::connect(stream.next_layer(), results.begin(), results.end());
        stream.handshake(ssl::stream_base::client);
        http::request<http::string_body> req{ http::verb::get, target, version };
        req.set(http::field::host, host);
        req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
        http::write(stream, req);
        boost::beast::flat_buffer buffer;
        http::response<http::dynamic_body> res;
        http::read(stream, buffer, res);
        std::string sBody = boost::beast::buffers_to_string(res.body().data());
 
        std::ofstream ofs{ "out.txt" }; // запись html-страницы в файл
        ofs << sBody;
        ofs.close();
 
        std::vector<std::string> vLinks;
        findLinks(sBody, vLinks);
        for (auto const& val : vLinks)
        {
            std::cout << val << std::endl; // вывод найденных ссылок
        }
 
        // Gracefully close the stream
        boost::system::error_code ec;
        stream.shutdown(ec);
        if (ec == boost::asio::error::eof)
        {
            // Rationale:
            // http://stackoverflow.com/questions/25587403/boost-asio-ssl-async-shutdown-always-finishes-with-an-error
            ec.assign(0, ec.category());
        }
        if (ec)
            throw boost::system::system_error{ ec };
    }
    catch (std::exception const& e)
    {
        std::cerr << "Error: " << e.what() << std::endl;
        return EXIT_FAILURE;
    }
    return EXIT_SUCCESS;
}

@shadow-nx · 05.01.2019, 18:14 **[ТС]**

igorrr37, спасибо большое)

Добавлено через 45 минут
igorrr37, я кстати правильно понимаю что это ассинхронный вариант? начал разбираться в этом более глубоко и как оказалось io_context класс для работы с асинхронными соединениями

@igorrr37 · 05.01.2019, 18:34

Это синхронный. Для асинхронного надо юзать ф-ции с приставкой async_. Ещё возможен вариант на корутинах.

Добавлено через 2 минуты
Вот асинхронный

@igorrr37 · 06.01.2019, 15:30

Добавил глубину обхода и загрузку http-страниц. Работает только с абсолютными ссылками

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
#include "C:/boost_1_68_0_VS2017/libs/beast/example/common/root_certificates.hpp" // прописать свой путь
#include <boost/beast/core.hpp>
#include <boost/beast/http.hpp>
#include <boost/beast/version.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <boost/asio/ssl/error.hpp>
#include <boost/asio/ssl/stream.hpp>
#include <boost/asio/thread_pool.hpp>
#include <cstdlib>
#include <iostream>
#include <string>
#include <fstream>
#include <regex>
#include <queue>
#include <vector>
#include <thread>
#include <mutex>
#include <functional>
#include <iomanip>
#include "gumbo.h"
 
using tcp = boost::asio::ip::tcp;
namespace ssl = boost::asio::ssl;
namespace http = boost::beast::http;
 
class loader
{
public:
    loader(boost::asio::io_context& ioc_) : ioc(ioc_) {}
 
    std::vector<std::string> findLinks(std::string const& sBody)
    {
        std::vector<std::string> vLinks;
 
        GumboOutput* output = gumbo_parse(sBody.c_str());
 
        std::queue<GumboNode*> qn;
        qn.push(output->root);
 
        while (!qn.empty())
        {
            GumboNode* node = qn.front();
            qn.pop();
 
            if (GUMBO_NODE_ELEMENT == node->type)
            {
                GumboAttribute* href = nullptr;
                if (node->v.element.tag == GUMBO_TAG_A && (href = gumbo_get_attribute(&node->v.element.attributes, "href")))
                {
                    vLinks.push_back(href->value);
                }
 
                GumboVector* children = &node->v.element.children;
                for (unsigned int i = 0; i < children->length; ++i)
                {
                    qn.push(static_cast<GumboNode*>(children->data[i]));
                }
            }
        }
 
        gumbo_destroy_output(&kGumboDefaultOptions, output);
 
        return vLinks;
    }
 
    void load(std::string const& sUri, std::vector<std::string>& vres)
    {
        std::smatch mr;
        if (std::regex_match(sUri, mr, rUri))
        {
            for (auto const& sm : mr)
            {
                {
                    //std::lock_guard<std::mutex> lg{ mtx };
                    //std::cout << sm << std::endl;
                }
            }
 
            if (mr[1].str() == "http")
            {
                vres = loadHttp(mr);
            }
            else
            {
                vres = loadHttps(mr);
            }
        }
        else
        {
            {
                std::lock_guard<std::mutex> lg{ mtx };
                std::cerr << "load() std::regex_match() failed: " + sUri << "\n\n";
            }
        }
    }
 
    std::vector<std::string> loadHttp(std::smatch const& mr)
    {
        std::vector<std::string> vLinks;
        try {
            std::string const target = (mr[3].length() == 0 ? "/" : mr[3].str());
            int version = 11; // или 10 для http 1.0
 
            tcp::socket socket{ ioc };
            tcp::resolver resolver{ ioc };
            auto const results = resolver.resolve(mr[2], "80");
            boost::asio::connect(socket, results.begin(), results.end());
            http::request<http::string_body> req{ http::verb::get, target, version };
            req.set(http::field::host, mr[2]);
            req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
            http::write(socket, req);
            boost::beast::flat_buffer buffer;
            http::response<http::dynamic_body> res;
            http::read(socket, buffer, res);
 
            std::string sBody = boost::beast::buffers_to_string(res.body().data());
            //std::ofstream ofs{ "out.txt" }; // запись html-страницы в файл
            //ofs << sBody;
            //ofs.close();
 
            vLinks = findLinks(sBody);
 
            boost::system::error_code ec;
            socket.shutdown(tcp::socket::shutdown_both, ec);
            if (ec && ec != boost::system::errc::not_connected)
                throw boost::system::system_error{ ec };
 
        }
        catch (std::exception const& e)
        {
            {
                std::lock_guard<std::mutex> lg{ mtx };
                std::cerr << "loadHttp(): " << e.what() << std::endl;
            }
        }
        return vLinks;
    }
 
    std::vector<std::string> loadHttps(std::smatch const& mr)
    {
        std::vector<std::string> vLinks;
        try {
 
            std::string const host = mr[2];
            std::string const target = (mr[3].length() == 0 ? "/" : mr[3].str());
            int version = 11; // или 10 для http 1.0
 
            ssl::context ctx{ ssl::context::sslv23_client };
            load_root_certificates(ctx);
            ssl::stream<tcp::socket> stream{ ioc, ctx };
            if (!SSL_set_tlsext_host_name(stream.native_handle(), host.c_str()))
            {
                boost::system::error_code ec{ static_cast<int>(::ERR_get_error()), boost::asio::error::get_ssl_category() };
                throw boost::system::system_error{ ec };
            }
            tcp::resolver resolver{ ioc };
            auto const results = resolver.resolve(host, "443");
            boost::asio::connect(stream.next_layer(), results.begin(), results.end());
            stream.handshake(ssl::stream_base::client);
            http::request<http::string_body> req{ http::verb::get, target, version };
            req.set(http::field::host, host);
            req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
            http::write(stream, req);
            boost::beast::flat_buffer buffer;
            http::response<http::dynamic_body> res;
            http::read(stream, buffer, res);
 
            std::string sBody = boost::beast::buffers_to_string(res.body().data());
            //std::ofstream ofs{ "out.txt" }; // запись html-страницы в файл
            //ofs << sBody;
            //ofs.close();
 
            vLinks = findLinks(sBody);
 
            boost::system::error_code ec;
            stream.shutdown(ec);
            if (ec == boost::asio::error::eof)
            {
                // Rationale:
                // http://stackoverflow.com/questions/25587403/boost-asio-ssl-async-shutdown-always-finishes-with-an-error
                ec.assign(0, ec.category());
            }
            if (ec)
                throw boost::system::system_error{ ec };
 
        }
        catch (std::exception const& e)
        {
            {
                std::lock_guard<std::mutex> lg{ mtx };
                std::cerr << "loadHttps(): " << e.what() << std::endl;
            }
        }
        return vLinks;
    }
 
    loader(loader const&) = delete;
    loader& operator=(loader const&) = delete;
 
private:
    std::regex rUri{ "^(?:(https?)://)([^/]+)(/.*)?" };
    std::mutex mtx;
    boost::asio::io_context& ioc;
};
 
// протестировано в MSVS2017
int main()
{
    system("chcp 1251");
 
    boost::asio::io_context ioc;
    loader ldr{ ioc };
 
    std::vector<std::string> vUri
    {
        "https://www.boost.org/doc/libs/1_69_0/libs/beast/example/http/client/sync-ssl/http_client_sync_ssl.cpp" // начальная ссылка
    };
 
    std::vector<std::vector<std::string>> vres;
 
    int dpth = 2; // глубина обхода
    while (dpth--)
    {
        vres.clear();
        vres.reserve(vUri.size()); // чтобы не переаллоцировался
 
        // вектор vUri обрабатывается пулом из 4 потоков
        boost::asio::thread_pool tpool{ 4 };
        for (auto const& sUri : vUri)
        {
            vres.emplace_back();
            boost::asio::post(tpool, std::bind(&loader::load, &ldr, std::cref(sUri), std::ref(vres.back())));
        }
        tpool.join();
 
        // вывод результата
        std::cout << "\nСтраниц: " << vUri.size() << " **************************************************************************************************\n\n";
        for(int i = 0; i < vres.size(); ++i)
        {
            std::cout << "Ссылок: " << std::setw(6) << std::left << vres.at(i).size() << vUri.at(i) << "\n\n";
            for (auto const& str : vres.at(i))
            {
                //std::cout << str << std::endl; // вывод найденных ссылок
            }
        }
 
        // перед заходом на следующую итерацию перекидываем все найденные ссылки из vres в vUri 
        vUri.clear();
        for (auto const& vct : vres)
        {
            vUri.insert(vUri.end(), vct.begin(), vct.end());
        }
    }
 
}

@shadow-nx · 07.01.2019, 16:02 **[ТС]**

igorrr37, Спасибо.я немного не понгимаю некоторых моментов,зачем в начале вектор строк для 1 ссылки? разве непроще создать просто строку?

@shadow-nx · 08.01.2019, 18:31 **[ТС]**

igorrr37, скажите,при рекурсивном обходе ссылок с глубиной скажем 2-3 или больше это нормально что одна и таже ссылка встречается несколько раз? я полагаю что в принципе так и должно быть ведь со вспомогательных страниц или каких-то других ресурсов может вести ссылка на главную страницу,да и в целом одна и та жа ссылка может встречаться на нескольких разных ссылках,у меня вопрос,как этого избежать?

@igorrr37 · 09.01.2019, 15:44

Добавил исправление некоторых относительных ссылок в абсолютные, удаление повторяющихся ссылок и учёт тега <base>

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
#include "C:/boost_1_68_0_VS2017/libs/beast/example/common/root_certificates.hpp" // прописать свой путь
#include <boost/beast/core.hpp>
#include <boost/beast/http.hpp>
#include <boost/beast/version.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <boost/asio/ssl/error.hpp>
#include <boost/asio/ssl/stream.hpp>
#include <boost/asio/thread_pool.hpp>
#include <cstdlib>
#include <iostream>
#include <string>
#include <fstream>
#include <regex>
#include <queue>
#include <vector>
#include <thread>
#include <mutex>
#include <functional>
#include <iomanip>
#include <unordered_set>
#include "gumbo.h"
 
using tcp = boost::asio::ip::tcp;
namespace ssl = boost::asio::ssl;
namespace http = boost::beast::http;
 
class loader
{
public:
    loader(boost::asio::io_context& ioc_) : ioc(ioc_) {}
 
    std::vector<std::string> findLinks(std::string const& sBody)
    {
        std::vector<std::string> vLinks;
 
        GumboAttribute* hrefBase = nullptr;
        GumboOutput* output = gumbo_parse(sBody.c_str());
 
        std::queue<GumboNode*> qn;
        qn.push(output->root);
 
        while (!qn.empty())
        {
            GumboNode* node = qn.front();
            qn.pop();
            if (GUMBO_NODE_ELEMENT == node->type)
            {
                GumboAttribute* href = nullptr;
                if (node->v.element.tag == GUMBO_TAG_A && (href = gumbo_get_attribute(&node->v.element.attributes, "href")))
                {
                    std::string sLnk{ href->value };
                    if (!sLnk.empty())
                    {
                        vLinks.emplace_back(href->value);
                    }
                }
                else if (node->v.element.tag == GUMBO_TAG_BASE && (hrefBase = gumbo_get_attribute(&node->v.element.attributes, "href")))
                {
                }
                GumboVector* children = &node->v.element.children;
                for (unsigned int i = 0; i < children->length; ++i)
                {
                    qn.push(static_cast<GumboNode*>(children->data[i]));
                }
            }
        }
 
        if (hrefBase) // с учётом тега <base>
        {
            std::string sBase = hrefBase->value;
            {
                //std::lock_guard<std::mutex> lg{ mtx };
                //std::cout << "<base> found: " << sBase << "\n\n";
            }
            if (sBase.back() == '/')
            {
                sBase.pop_back();
            }
            for (auto& sLnk : vLinks)
            {
                if (std::regex_match(sLnk, std::regex{ "(?:[^/]+/)+[^/]+" }) || std::regex_match(sLnk, std::regex{ "[^/#?]+" })) // относительно дочерней или текущей директории
                {
                    sLnk = sBase + '/' + sLnk;
                }
                else if (sLnk.find("../") == 0) // относительно родительской директории
                {
                    int ind = std::string::npos;
                    int cnt = (sLnk.rfind("../") + 3) / 3;
                    for (int i = 0; i < cnt + 1; ++i)
                    {
                        ind = sBase.rfind('/', ind - 1);
                    }
                    sLnk = std::string{ sBase.begin(), sBase.begin() + ind + 1 } +std::string{ sLnk.begin() + cnt * 3, sLnk.end() };
                }
                sLnk;
            }
        }
 
        gumbo_destroy_output(&kGumboDefaultOptions, output);
        return vLinks;
    }
 
    void load(std::string const& sUri, std::vector<std::string>& vres)
    {
        std::smatch mr;
        if (std::regex_match(sUri, mr, rUri))
        {
            if (mr[1].str() == "http")
            {
                vres = loadHttp(mr);
            }
            else
            {
                vres = loadHttps(mr);
            }
        }
        else
        {
            {
                std::lock_guard<std::mutex> lg{ mtx };
                std::cerr << "load() std::regex_match() failed: " + sUri << "\n\n";
            }
        }
    }
 
    std::vector<std::string> loadHttp(std::smatch const& mr)
    {
        std::vector<std::string> vLinks;
        try {
            std::string const target = (mr[3].length() == 0 ? "/" : mr[3].str());
            int version = 11; // или 10 для http 1.0
 
            tcp::socket socket{ ioc };
            tcp::resolver resolver{ ioc };
            auto const results = resolver.resolve(mr[2], "80");
            boost::asio::connect(socket, results.begin(), results.end());
            http::request<http::string_body> req{ http::verb::get, target, version };
            req.set(http::field::host, mr[2]);
            req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
            http::write(socket, req);
            boost::beast::flat_buffer buffer;
            http::response<http::dynamic_body> res;
            http::read(socket, buffer, res);
 
            std::string sBody = boost::beast::buffers_to_string(res.body().data());
            vLinks = findLinks(sBody);
 
            boost::system::error_code ec;
            socket.shutdown(tcp::socket::shutdown_both, ec);
            if (ec && ec != boost::system::errc::not_connected)
                throw boost::system::system_error{ ec };
 
        }
        catch (std::exception const& e)
        {
            {
                std::lock_guard<std::mutex> lg{ mtx };
                std::cerr << "loadHttp(): " << e.what() << std::endl;
            }
        }
        return vLinks;
    }
 
    std::vector<std::string> loadHttps(std::smatch const& mr)
    {
        std::vector<std::string> vLinks;
        try {
 
            std::string const host = mr[2];
            std::string const target = (mr[3].length() == 0 ? "/" : mr[3].str());
            int version = 11; // или 10 для http 1.0
 
            ssl::context ctx{ ssl::context::sslv23_client };
            load_root_certificates(ctx);
            ssl::stream<tcp::socket> stream{ ioc, ctx };
            if (!SSL_set_tlsext_host_name(stream.native_handle(), host.c_str()))
            {
                boost::system::error_code ec{ static_cast<int>(::ERR_get_error()), boost::asio::error::get_ssl_category() };
                throw boost::system::system_error{ ec };
            }
            tcp::resolver resolver{ ioc };
            auto const results = resolver.resolve(host, "443");
            boost::asio::connect(stream.next_layer(), results.begin(), results.end());
            stream.handshake(ssl::stream_base::client);
            http::request<http::string_body> req{ http::verb::get, target, version };
            req.set(http::field::host, host);
            req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
            http::write(stream, req);
            boost::beast::flat_buffer buffer;
            http::response<http::dynamic_body> res;
            http::read(stream, buffer, res);
 
            std::string sBody = boost::beast::buffers_to_string(res.body().data());
            vLinks = findLinks(sBody);
 
            boost::system::error_code ec;
            stream.shutdown(ec);
            if (ec == boost::asio::error::eof)
            {
                // Rationale:
                // http://stackoverflow.com/questions/25587403/boost-asio-ssl-async-shutdown-always-finishes-with-an-error
                ec.assign(0, ec.category());
            }
            if (ec)
                throw boost::system::system_error{ ec };
 
        }
        catch (std::exception const& e)
        {
            {
                std::lock_guard<std::mutex> lg{ mtx };
                std::cerr << "loadHttps(): " << e.what() << std::endl;
            }
        }
        return vLinks;
    }
 
    loader(loader const&) = delete;
    loader& operator=(loader const&) = delete;
 
private:
    std::regex rUri{ "^(?:(https?)://)([^/]+)(/.*)?" };
    std::mutex mtx;
    boost::asio::io_context& ioc;
};
 
// копирует найденные ссылки в ustUsed и удаляет дубликаты и ссылки на фрагменты
void removeDuplicatesFragments(std::vector<std::vector<std::string>>& vres, std::unordered_set<std::string>& ustUsed)
{
    for (auto& vLnk : vres)
    {
        for (int i = 0; i < vLnk.size(); ++i)
        {
            if (vLnk.at(i).at(0) == '#' || !ustUsed.emplace(vLnk.at(i)).second)
            {
                vLnk.erase(vLnk.begin() + i);
                --i;
            }
        }
    }
}
 
// исправляет некоторые относительные ссылки в абсолютные
void absLinks(std::vector<std::string> const& vUri, std::vector<std::vector<std::string>>& vres)
{
    std::smatch mr;
    for (int i = 0; i < vUri.size(); ++i)
    {
        std::string sUri = vUri.at(i);
        for (auto& sLnk : vres.at(i))
        {
            if (sLnk.find("//") == 0) // относительно протокола
            {
                std::regex_search(sUri, mr, std::regex{ "^[^/]+" });
                sLnk = mr.str() + sLnk;
            }
            else if (sLnk.find('/') == 0) // относительно имени хоста
            {
                std::regex_search(sUri, mr, std::regex{ "^[^/]+//[^/]+" });
                sLnk = mr.str() + sLnk;
            }
            else if (sLnk.find("../") == 0) // относительно родительской директории
            {
                int ind = std::string::npos;
                int cnt = (sLnk.rfind("../") + 3) / 3;
                for (int i = 0; i < cnt + 1; ++i)
                {
                    ind = sUri.rfind('/', ind - 1);
                }
                sLnk = std::string{ sUri.begin(), sUri.begin() + ind + 1 } +std::string{ sLnk.begin() + cnt * 3, sLnk.end() };
            }
            else if (std::regex_match(sLnk, std::regex{ "(?:[^/]+/)+[^/]+" }) || std::regex_match(sLnk, std::regex{ "[^/#?]+" })) // относительно дочерней директории или просто имя файла
            {
                int ind = sUri.rfind('/');
                sLnk = std::string{ sUri.begin(), sUri.begin() + ind + 1 } +sLnk;
            }
 
            //std::cout << sLnk << std::endl;
        }
    }
}
 
// протестировано в MSVS2017
int main()
{
    system("chcp 1251");
 
    boost::asio::io_context ioc;
    loader ldr{ ioc };
 
    std::vector<std::string> vUri
    {
        "https://3dnews.ru/" // начальная ссылка
    };
 
    std::unordered_set<std::string> ustUsed{ vUri.begin(), vUri.end() }; // для отработанных ссылок
 
    std::vector<std::vector<std::string>> vres; // найденные ссылки
 
    int dpth = 2; // глубина обхода
    while (dpth--)
    {
        vres.clear();
        vres.reserve(vUri.size()); // чтобы не переаллоцировался
 
        // вектор vUri обрабатывается пулом из 4 потоков
        boost::asio::thread_pool tpool{ 4 };
        for (auto const& sUri : vUri)
        {
            vres.emplace_back();
            boost::asio::post(tpool, std::bind(&loader::load, &ldr, std::cref(sUri), std::ref(vres.back())));
        }
        tpool.join();
 
        // вывод результата
        removeDuplicatesFragments(vres, ustUsed);
        std::cout << "\n*********************************** Список из " << vUri.size() << " просмотренных страниц: ****************************************\n\n";
        for (int i = 0; i < vres.size(); ++i)
        {
            std::cout << "Ссылок: " << std::setw(5) << std::left << vres.at(i).size() << " для страницы: " << vUri.at(i) << "\n\n";
            for (auto const& str : vres.at(i))
            {
                //std::cout << str << std::endl; // вывод найденных ссылок
            }
        }
 
        // перед заходом на следующую итерацию перекидываем все найденные ссылки из vres в vUri 
        absLinks(vUri, vres);
        vUri.clear();
        for (auto const& vLnk : vres)
        {
            vUri.insert(vUri.end(), vLnk.begin(), vLnk.end());
        }
    }
 
}

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@shadow-nx 0 / 0 / 0 Регистрация: 14.10.2018 Сообщений: 32

	Скачать html страницу (boost.beast) 03.01.2019, 17:42. Показов 9141. Ответов 11 Метки нет (Все метки) Всем доброе время суток, дали задачу реализовать crawler,скачать html страницу необходимо с помощью boost.beast к сожалению потратив очень много времени разобраться в документации этого чуда я не смог, обьясните пожалуйста как скачать html страницу с помощью boost beast 0

@shadow-nx 0 / 0 / 0 Регистрация: 14.10.2018 Сообщений: 32
	03.01.2019, 18:47 [ТС]
	Ты серьезно? спасибо огромное,этот пример я и сам нашел, только я попросил обьяснить как это сделать и как это работает, к тому же я уверен что можно это сделать немного проще, мне так кажется во всяком случае 0

@igorrr37 2870 / 2017 / 991 Регистрация: 21.12.2010 Сообщений: 3,728 Записей в блоге: 15
	04.01.2019, 11:01
	Это не пример а код для скачивания https-страницы сайта. Кажется, вопрос был именно в этом. А вот насчёт "можно это сделать немного проще" что то сомнительно. Да, и OpenSSL должен быть установлен сборка OpenSSL для MSVS2017 0

@shadow-nx 0 / 0 / 0 Регистрация: 14.10.2018 Сообщений: 32
	04.01.2019, 19:33 [ТС]
	да ,извините , вы правы , собрал я это без проблем особы , все работает, потихоньку разбираюсь, у меня к вам еще один вопрос, скажите пожалуйста если задача стоит рекурсивно обойти все ссылки на страницы это тоже нужно использовать boost.beast или что-то другое? вообще с задании нужно использовать boost.beast and gumbo parser ,вот пытаюсь разобраться что для чего 0

@shadow-nx 0 / 0 / 0 Регистрация: 14.10.2018 Сообщений: 32
	05.01.2019, 18:14 [ТС]
	igorrr37, спасибо большое) Добавлено через 45 минут igorrr37, я кстати правильно понимаю что это ассинхронный вариант? начал разбираться в этом более глубоко и как оказалось io_context класс для работы с асинхронными соединениями 0

@igorrr37 2870 / 2017 / 991 Регистрация: 21.12.2010 Сообщений: 3,728 Записей в блоге: 15
	05.01.2019, 18:34
	Это синхронный. Для асинхронного надо юзать ф-ции с приставкой async_. Ещё возможен вариант на корутинах. Добавлено через 2 минуты Вот асинхронный 0

@shadow-nx 0 / 0 / 0 Регистрация: 14.10.2018 Сообщений: 32
	07.01.2019, 16:02 [ТС]
	igorrr37, Спасибо.я немного не понгимаю некоторых моментов,зачем в начале вектор строк для 1 ссылки? разве непроще создать просто строку? 0

@shadow-nx 0 / 0 / 0 Регистрация: 14.10.2018 Сообщений: 32
	08.01.2019, 18:31 [ТС]
	igorrr37, скажите,при рекурсивном обходе ссылок с глубиной скажем 2-3 или больше это нормально что одна и таже ссылка встречается несколько раз? я полагаю что в принципе так и должно быть ведь со вспомогательных страниц или каких-то других ресурсов может вести ссылка на главную страницу,да и в целом одна и та жа ссылка может встречаться на нескольких разных ссылках,у меня вопрос,как этого избежать? 0

Скачать html страницу (boost.beast)

Решение