Форум программистов, компьютерный форум CyberForum.ru

Сохранение страниц сайтов в формате html - C++

Восстановить пароль Регистрация
Другие темы раздела
C++ Составить схему алгоритма http://www.cyberforum.ru/cpp-beginners/thread533140.html
- схему алгоритма функции main(); - схемы алгоритмов всех написанных функций;#include<stdio.h> #include<stdlib.h> #include<time.h> #include<iostream.h> #define m 7 #define n 5 using namespace std; void gen_matr(char Uch,char Pr,int Ocen) {
C++ Упорядочить массив X(N) по убыванию модулей, найти среднее арифметическое положительных элементов массива 11. Упорядочить массив X(N) по убыванию модулей, найти среднее арифметическое положительных элементов массива. http://www.cyberforum.ru/cpp-beginners/thread533126.html
Определить время, через которое встретятся два тела, равноускоренно движущиеся навстречу друг другу C++
11. Определить время, через которое встретятся два тела, равноускорен¬но движущиеся навстречу друг другу, если известны их начальные скорости, ускорения и начальное расстояние между ними.
mod и div (Чистый С) C++
Здравсвтуйте,как на чистом С описывать эти функции mod и div????
C++ Перегрузить операции плюса и минуса http://www.cyberforum.ru/cpp-beginners/thread533104.html
Здравствуйте! Огромная просьба, помогите перегрузить операции плюса и минуса, пожалуйста... #include <clx.h> #include <conio.h> #include <stdio.h> #include <string.h> #include <iostream.h> #include <vcl.h> #include <math.h> #pragma hdrstop //-----------------------------------
C++ АВЛ-дерево, идеально сбалансированное дерево. Суть: Создать базовый абстрактный класс (дерево), от него наследовать АВЛ-дерево, от него идеально сбалансированное. Вопрос: Какие лучше использовать структуры для каждого дерева? Например, для АВЛ лучше в структуре узла хранить показатель баланса или еще где? Значение высоты тоже там? struct Node { int data; int count; int bal; подробнее

Показать сообщение отдельно
igorrr37
 Аватар для igorrr37
1593 / 1221 / 118
Регистрация: 21.12.2010
Сообщений: 1,868
Записей в блоге: 7
28.03.2012, 20:52     Сохранение страниц сайтов в формате html
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
#include <iostream>
#include <string>
#include <fstream>
#include <windows.h>
#include <boost/regex.hpp>
#include <boost/asio.hpp>
#include <boost/scope_exit.hpp>
typedef boost::asio::ip::tcp tcp;
 
class HttpDownloader
{
public:
    HttpDownloader() : sock(io), resolver(io), reqStream(&buf), respStream(&buf){}
    int Download(const std::string& uri_, const std::string& pathToSave = "")
    {
        uri = uri_;
        BOOST_SCOPE_EXIT((&sock)(&err)(&buf))
        {
            if(sock.shutdown(tcp::socket::shutdown_both, err))
            {
                std::cerr << "sock_shutdown() failed: " << err.message() << std::endl;
            }
            sock.close();
            buf.consume(buf.size());
            std::cout << "resources released\n";
        } BOOST_SCOPE_EXIT_END;
        while(true)
        {
            if(ParseUri())
            {
                std::cerr << "ParseUri() failed\n";
                return __LINE__;
            }
            tcp::resolver::query q(url, "http");
            tcp::resolver::iterator it = resolver.resolve(q, err), itEnd;
            if (err)
            {
                std::cerr << "resolve() failed:\n" << err.message() << "\n";
                return __LINE__;
            }
            err = boost::asio::error::host_not_found;
            while (err && it != itEnd)
            {
                sock.close();
                sock.connect(*it++, err);
            }
            if (err)
            {
                std::cerr << "connect() failed:\n" << err.message() << "\n";
                return __LINE__;
            }
            reqStream << "GET " << urn << " HTTP/1.0\r\n"
                    << "Host: " << url << "\r\n"
                    << "Connection: close\r\n\r\n";
            boost::asio::write(sock, buf);
            boost::asio::read_until(sock, buf, boost::regex("(?:\r\n){2,}"));
            std::string headers, tmp;
            while(std::getline(respStream, tmp) && tmp!="\r")
            {
                headers += (tmp + '\n');
            }
            std::cout << headers << "\n";
            if (!boost::regex_search(headers, res, boost::regex("HTTP/\\d\\.\\d +\\d{3}.*\r")))
            {
                std::cerr << "\nUnexpected starting line" << std::endl;
                return __LINE__;
            }
            if(boost::regex_search(headers, res, boost::regex("Location: ([^ \r]+)")))
            {
                uri = res[1];
                std::cout << "Trying use new uri:\n" << uri << "\n\n";
                buf.consume(buf.size());
            }
            else break;
        }
        if(!boost::regex_search(urn, res, boost::regex("/([^\\Q/:<>\"\\|?*\\E]*)[^/]*$")))
        {
            std::cerr << "urn parsing failed\n";
            return __LINE__;
        }
        std::string filePath = (pathToSave.empty() ? res[1] : pathToSave);
        if(filePath.find('.') == std::string::npos) filePath += "_.html";
        std::cout << "filePath= " << filePath << "\n";
        std::ofstream ofs(filePath, std::ios::binary);
        if (!ofs) {std::cerr << "Can't create file\n"; return __LINE__;}
        if(buf.size()) ofs << &buf;
        while (boost::asio::read(sock, buf, boost::asio::transfer_at_least(1), err))
        {
            ofs << &buf;
        }
        ofs.close();
        if (err != boost::asio::error::eof)
        {
            std::cerr << "read() failed\n" << err.message() << "\n";
            return __LINE__;
        }
        return 0;
    }
private:
    int ParseUri()
    {
        if (!boost::regex_match(uri, res, boost::regex("(?:[url]http://)?([/url][^/]+)(.*)" ))) return 1;
        url = res[1];
        if ((urn = res[2]).empty()) urn = "/";
        return 0;
    }
    std::string uri, url, urn;
    boost::smatch res;
    boost::asio::io_service io;
    tcp::socket sock;
    tcp::resolver resolver;
    boost::system::error_code err;
    boost::asio::streambuf buf;
    std::ostream reqStream;
    std::istream respStream;
};
 
int main(){
    SetConsoleOutputCP(1251);
    try
    {
        std::ifstream ifs("1.txt");
        if(ifs)
        {
            HttpDownloader d;
            std::string sUri;
            while(std::getline(ifs, sUri))
            {
                d.Download(sUri);
            }
        }
        else std::cerr << "Can't open file\n";
        ifs.close();
    }
    catch (const std::exception& e)
    {
        std::cerr << "Exception:\n" << e.what() << std::endl;
    }
    return 0;
}
Миниатюры
Сохранение страниц сайтов в формате html  
 
Текущее время: 02:58. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2016, vBulletin Solutions, Inc.
Рейтинг@Mail.ru