Форум программистов, компьютерный форум, киберфорум
С++ для начинающих
Войти
Регистрация
Восстановить пароль
Другие темы раздела
C++ Зачем нужен h-файл? Почему нельзя все хранить в cpp? https://www.cyberforum.ru/ cpp-beginners/ thread1238679.html
Помогите новичку! С с++ работаю впервые. Перешел с явы, делфи, рнр. Не понимаю что такое h-файл и чем он отличается от cpp и почему нельзя все хранить в одном файле... Нужно "сломать сознание" под...
Составить программу расчета биномиальных коэффициентов C++
Добрый день, помогите пожалуйста решить. Задание надо переписывать в тело сообщения!
Работа с почтой: подключение, поиск, отправка C++
Привет, хочу написать свой велосипед, так в качестве разминки С++ Хочу написать программу для подключения к почтовому ящику, и набор функций (поиск, оправка почты и тд) Может есть готовые...
C++ Как подсчитать произведенное количество перестановок при быстрой сортировке? имею такой код #include <iostream> using namespace std; void qSort (int a,int nStart, int nEnd) { int L,R,c,X; if (nStart>=nEnd) return; L=nStart; R=nEnd; X=a; https://www.cyberforum.ru/ cpp-beginners/ thread1238649.html
C++ Шаблоны, рекурсия, определение типов std::function https://www.cyberforum.ru/ cpp-beginners/ thread1238646.html
#include <tuple> #include <vector> #include <iostream> #include <functional> #include <type_traits> template<typename T> struct function_traits; template<typename R, typename ...Args>
Поток, удаляющий элементы, воспринимает контейнер пустым C++
Есть два потока, один только кладет в контейнер, другой удаляет элемент, почему то поток который удаляет элемент, воспринимает контейнер пустым. //mutex pthread_mutex_t count_mutex; //поток...
C++ Остановка программы без предложения "Нажать любую клавишу"
в чистых сях для остановки в конце программы (чтобы не закрылась) я юзал getch, а что юзать в плюсах? кроме system("pause")? потому что если мне допустим не нравится что там оно пишет "нажмите любую...
C++ Считать строку с пробелами с помощью Std::cin перехожу с чистого си на плюсы, начал разбираться с cin и заметил такую штуку что она читает введенную строку только до первого же пробела... а как сделать чтобы всю строку читала? вот например так... https://www.cyberforum.ru/ cpp-beginners/ thread1238614.html
C++ Mircosoft Visio Export AddIn, есть у кого нибуть сэмпл на плюсах ? https://www.cyberforum.ru/ cpp-beginners/ thread1238612.html
Доброго! Может кто писал для Visio плагины? Есть ли линк или сэмпл на С++ для экспорта модели ? Ну или на шарпе на крайний случай :D Ну или линк на док по описанию девелопмента плагинов ...
C++ Пройти по любому разрешенному пути игрового поля от верхнего левого угла до правого нижнего Всем привет! Решаю вот такую простую задачку: Игровое поле N x M заполняется целыми числами, одно неотрицательное целое число в каждой клетке. Цель игры состоит в том, чтобы пройти по любому... https://www.cyberforum.ru/ cpp-beginners/ thread1238591.html
2226 / 1729 / 865
Регистрация: 21.12.2010
Сообщений: 3,073
Записей в блоге: 11
05.08.2014, 16:37 0

Консольное приложение, которое парсит HTML страничку

05.08.2014, 16:37. Показов 708. Ответов 5
Метки (Все метки)

Ответ

вот цельная прога, только редирект не поддерживает (надо вручную вписать новый адрес из файла out.txt)
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
#define WINVER 0x501
#include <iostream>
#include <fstream>
#include <ws2tcpip.h>
#include <winsock2.h>
#include <windows.h>
#include <string>
#include <iterator>
#pragma comment(lib, "ws2_32")
 
void Perror(const char*);
 
class HttpDownloader
{
public:
    void Download(std::string const& sUri, std::string const& sPathToSave = "out.txt") // содержимое страницы будет сохранено в файл с именем sPathToSave
    {
        sock = INVALID_SOCKET;
        addrinfo aiHint, *paiRes = nullptr, *pai = nullptr;
        ZeroMemory(&aiHint, sizeof(aiHint));
        aiHint.ai_socktype = SOCK_STREAM;
        aiHint.ai_family = AF_UNSPEC;
        int res;
        ParseUri(sUri);
        if(!(res = getaddrinfo(sUrl.c_str(), "80", &aiHint, &paiRes)))
        {
            pai = paiRes;
            do
            {
                sock = socket(pai->ai_family, pai->ai_socktype, pai->ai_protocol);
                if(INVALID_SOCKET == sock)
                    continue;
                if(connect(sock, pai->ai_addr, pai->ai_addrlen) != SOCKET_ERROR)
                    break;
                else if(SOCKET_ERROR == closesocket(sock)) Perror("closesocket");
            }
            while (pai = pai->ai_next);
            if(pai)
            {
                std::string sReq =
                    "GET " + sUrn + " HTTP/1.0\r\n"
                    "Host: " + sUrl + "\r\n"
                    "Connection: close\r\n\r\n";
                if(sReq.size() == send(sock, sReq.c_str(), sReq.size(), 0))
                {
                    std::ofstream ofs(sPathToSave.c_str());
                    if(ofs.is_open())
                    {
                        char buf[1024];
                        do
                        {
                            res = recv(sock, buf, sizeof(buf), 0);
                            switch(res)
                            {
                                case 0: std::cout << "Connection closed\n"; break;
                                case SOCKET_ERROR: Perror("recv"); break;
                                default:
                                {
                                    ofs.write(buf, res);
                                    break;
                                }
                            }
                        }
                        while(res > 0);
                    }
                    else std::cerr << "Unable to open file" << std::endl;
                    ofs.close();
                }
                else Perror("send");
            }
            else Perror("connect or socket");
            freeaddrinfo(paiRes);
        }
        else std::cerr << "getaddrinfo failed: " << res << std::endl;
        if(SOCKET_ERROR == closesocket(sock)) Perror("closesocket");
    }
private:
    void ParseUri(std::string sUri)
    {
        std::string sScheme("http://");
        std::string::size_type ind(0);
        if((ind = sUri.find(sScheme)) != std::string::npos)
        {
            sUri.erase(ind, sScheme.size());
        }
        if((ind = sUri.find('/')) != std::string::npos)
        {
            sUrl = sUri.substr(0, ind);
            sUrn = sUri.substr(ind, sUri.size() - ind);
        }
        else
        {
            sUrl = sUri;
            sUrn = "/";
        }
    }
    std::string sUrl, sUrn;
    SOCKET sock;
};
 
int main()
{
    SetConsoleOutputCP(1251);
    WSADATA wsad;
    if(!WSAStartup(0x0202, &wsad))
    {
        if(2 == LOBYTE(wsad.wVersion) && 2 == HIBYTE(wsad.wVersion))
        {
            HttpDownloader d;
            d.Download("http://www.wikipedia.org/");                       // адрес страницы в интернете
        }
        else std::cerr << "Needed library version not found" << std::endl;
        if(SOCKET_ERROR == WSACleanup()) Perror("WSACleanup");
    }
    else Perror("WSAStartup");
 
    std::ifstream ifs("out.txt");
    if(ifs.is_open())
    {
        std::string str((std::istreambuf_iterator<char>(ifs)), std::istreambuf_iterator<char>());
        std::string sres;
        std::string::size_type iend, ibeg = str.find("<title>");
        if(ibeg != std::string::size_type(-1))
        {
            iend = str.find("</title>", ibeg);
            sres.assign(str, ibeg + std::string("<title>").size(), iend - ibeg - std::string("<title>").size());
        }
        std::cout << sres << '\n';
        ifs.close();
    }
    else
        std::cerr << "Unable to open input file\n";
    return 0;
}
 
void Perror(const char* fName)
{
    std::cerr << fName << " failed: " << WSAGetLastError() << std::endl;
}


Вернуться к обсуждению:
Консольное приложение, которое парсит HTML страничку
0
Заказывайте контрольные, курсовые и дипломы здесь.
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
05.08.2014, 16:37

Заказываю контрольные, курсовые, дипломные работы и диссертации здесь.

Подскажите пожалуйста как написать консольное приложение win32, которое принимает на вход путь к папке
Нужно написать консольное приложение win32, которое принимает на вход путь к папке

Консольное приложение, которое парсит HTML страничку
Доброго времени суток! Есть сайт с такой страницей: &lt;html&gt; &lt;head&gt;...

Создать консольное приложение которое выводит таблицу на экран
Нужно создать консольное приложение которое выводит таблицу на экран. Подскажите пожалуйста как это...

Создать консольное приложение на Java, которое моделирует школу
Приложение должно содержать необходимые сущности (Person, Subject, Journal) и выполнять с ними...

0
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.