Форум программистов, компьютерный форум, киберфорум
C/С++ под Linux
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.79/57: Рейтинг темы: голосов - 57, средняя оценка - 4.79
 Аватар для Happy!
25 / 25 / 1
Регистрация: 07.12.2010
Сообщений: 245

Как получить html страницы?

26.07.2011, 22:23. Показов 11783. Ответов 61
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте, подскажите пожалуйста, как получить html код сайта при помощи С++ (компилятор g++) ?
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
26.07.2011, 22:23
Ответы с готовыми решениями:

Как получить данные с html страницы
Здравствуйте. Подскажите пожалуйста. Появилась необходимость написать программу, которая при нажатии стартовой кнопки(или по таймеру) может...

Как получить код html-страницы
Здравствуйте. Знаю, что этот вопрос уже задавали на этом форуме, но я снова задаю, потому что там я не нашел своего ответа. И так. Я...

Как получить код html-страницы?
Есть запрос к серверу, который возвращает через браузер Google Chrome экранную форму ответа - страницу, с кодом html. Как обратиться к...

61
Эксперт С++
 Аватар для niXman
3211 / 1459 / 74
Регистрация: 09.08.2009
Сообщений: 3,441
Записей в блоге: 2
04.08.2011, 01:12
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
"надо учить апи библиотеки а сокеты я уже знаю" на мой взгляд тут не разу не аргумент.
но а если я на самом деле знаю сокеты, что/зачем мне их еще раз учить? при том что я их не использую еще с детства.

Добавлено через 10 минут
в добавок скажу, из своей реальности: пока учил программирование, учил и сокеты. даже писал с их использованием всякие крени. но когда пришло время реально выкладываться, сокеты использовать запретили(на месте первой моей работы). там использовали Qt`ешные сокеты.
на следующем месте работы, Qt использовать запретили. коллеги использовали POCO, и я пошел той же дорогой. на третьем(нынешнем) месте работы, писать используя сокеты, не запрещают. но тут другой уровень. тут наглухо запрещают изобретать велосипеды. пишем продакшн код с высокими требованиями как по используемым библиотекам, так и по используемым технологиям. одним словом boost. это единственное что позволено(ну и то что в boost.sandbox).

но это все мелочи. я лишь хотел сказать, что то, что я изучал сокеты - мне в реальной практике так никогда и не пригодилось. я не разу не использовал эти знания на практике.
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 01:25
niXman, я вообще не понимаю, что означает "учить сокеты"... Запомнить семантику десятка сисколов дело не хитрое, А на счет не использую... если это намек на ваш любимый boost то на мой взгляд как ты сокет не оборачивай ни куда он от этого не денется.
На счет продакшен качества и буст: мы отказались от него из-за глобального лока вокруг epoll/kqueue да и вообще си/сpp почти полностью променяли на erlang

Добавлено через 9 минут
Цитата Сообщение от niXman Посмотреть сообщение
но это все мелочи. я лишь хотел сказать, что то, что я изучал сокеты - мне в реальной практике так никогда и не пригодилось. я не разу не использовал эти знания на практике.
Вы не обижайтесь, но это означает только то, что вам (пока) не довелось писать высокопроизводительных сетевых приложений. ни один буст не знает когда какой флаг надо поставить на сокет, какой размер тцп окна выгодней в данный момент, он не может решить (да и вообще не знает про них) когда будет выгодней сделать splice() а когда recv()+send() продолжать можно долго, я хочу сказать, что производительность она как раз в таких мелочах
0
Эксперт С++
 Аватар для niXman
3211 / 1459 / 74
Регистрация: 09.08.2009
Сообщений: 3,441
Записей в блоге: 2
04.08.2011, 01:30
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
что означает "учить сокеты"
сейчас, это действительно звучит как-то оторвано.. но когда учил, это казалось чем-то важным.

Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
если это намек
это реальное требование. ибо вам наверняка известно, что изобретать велосипед всегда дороже покупки готового.

Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
как ты сокет не оборачивай ни куда он от этого не денется.
оно и понятно. но зачем делать то, что до тебя уже сделали. при условии, что сделать это так же хорошо, вряд ли получится.
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 01:38
Цитата Сообщение от niXman Посмотреть сообщение
оно и понятно. но зачем делать то, что до тебя уже сделали. при условии, что сделать это так же хорошо, вряд ли получится.
Что бы совсем не офтопить, довайте вернемся к исходному вопросу топика.
Пусть хороший программист делает 3 ошибки на 1000 строк кода (обычно существенно больше, но у нас хороший программист) как я уже писал примерный размер кода под задачу топика 600 строк итого 2 ошибки. В нашей же библиотеке скорее всего (да мне лень скачать сырцы curl и сделать find+wc -l) тысячи строк. Какой результат будет лучше?
0
Эксперт С++
 Аватар для niXman
3211 / 1459 / 74
Регистрация: 09.08.2009
Сообщений: 3,441
Записей в блоге: 2
04.08.2011, 02:29
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
Какой результат будет лучше?
тот, чей код тестят большее кол-во людей.
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 11:05
Цитата Сообщение от niXman Посмотреть сообщение
тот, чей код тестят большее кол-во людей.
Тогда, что-ли выходит мы с вами не в том разделе форума тусуемся?
0
 Аватар для pomkalk
365 / 247 / 24
Регистрация: 03.04.2011
Сообщений: 558
Записей в блоге: 1
04.08.2011, 11:43
Есть вещи которые стоит сделать через сокеты! Но, в данном случае, нужно скачать тест страницы сайта, где заучить нужно 5 строк и 3 параметра + слегка глянув в документацию, можно выполнить авторизацию на сайте, использовать прокси, и прикрутить прогресс бар если это требуется, и это список еще можно долго продолжать!!
0
Модератор
Эксперт PythonЭксперт JavaЭксперт CЭксперт С++
 Аватар для easybudda
12843 / 7592 / 1766
Регистрация: 25.07.2009
Сообщений: 13,973
04.08.2011, 19:50
Лучший ответ Сообщение было отмечено как решение

Решение

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <netdb.h>
#include <sys/socket.h>
#include <sys/types.h>
#include <netinet/in.h>
#include <arpa/inet.h>
 
const char strHost[] = "www.cyberforum.ru";
const char strQuery[] = "GET [url]https://www.cyberforum.ru/[/url] HTTP/1.0\r\n\r\n";
 
 
int main(void){
    char buf[BUFSIZ + 1];
    int n, sockfd;
    struct hostent * hPtr;
    struct sockaddr_in servaddr;
    
    if ( ! ( hPtr = gethostbyname(strHost) ) ){
        fprintf(stderr, "Can't resolve address for %s\n", strHost);
        exit(1);
    }
    
    if ( ( sockfd = socket(AF_INET, SOCK_STREAM, 0) ) < 0 ){
        fprintf(stderr, "Can't create socket!\n");
        exit(1);
    }
    
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(80);
    memcpy(&servaddr.sin_addr, *(hPtr->h_addr_list), sizeof(struct in_addr));
    
    if ( connect(sockfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) ){
        fprintf(stderr, "Can't connect to %s\n", strHost);
        exit(1);
    }
    
    n = strlen(strQuery);
    if ( write(sockfd, strQuery, n) != n ){
        fprintf(stderr, "Can't send query to host!");
        exit(1);
    }
    
    while ( ( n = read(sockfd, buf, BUFSIZ) ) > 0 ){
        buf[n] = '\0';
        printf("%s", buf);
    }
    printf("\n");
    
    if ( close(sockfd) ){
        fprintf(stderr, "Can't properly close connection!\n");
        exit(1);
    }
    
    exit(0);
}
url в скобках в запросе само вставляется, не должно там никаких тегов-шмегов быть...
3
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 20:01
Цитата Сообщение от easybudda Посмотреть сообщение
url в скобках в запросе само вставляется, не должно там никаких тегов-шмегов быть..
Можно "GET / HTTP/1.0\r\n\r\n" оставить) и правильнее и форум не попортит)
PS: по условию задачи надо еще заголовок из ответа выпилить
0
Модератор
Эксперт PythonЭксперт JavaЭксперт CЭксперт С++
 Аватар для easybudda
12843 / 7592 / 1766
Регистрация: 25.07.2009
Сообщений: 13,973
04.08.2011, 20:11
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
Можно "GET / HTTP/1.0\r\n\r\n" оставить
не-а, 301 Moved Permanently вернёт.
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
по условию задачи надо еще заголовок из ответа выпилить
Ну это уж ТС пусть сам как-нибудь
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 20:13
Угу, написал, а потом понял что плохо подумал) если делать как я сказал, то придется в заголовки HOST добавить.
0
 Аватар для pomkalk
365 / 247 / 24
Регистрация: 03.04.2011
Сообщений: 558
Записей в блоге: 1
04.08.2011, 20:53
cURL победил!

Добавлено через 21 секунду
вот вам и ответ
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 21:58
Цитата Сообщение от pomkalk Посмотреть сообщение
cURL победил!
Хрен там
libwww
C
1
2
3
4
5
6
7
8
9
10
11
12
#include <WWWLib.h>
#include <WWWInit.h>
 
int main (void) {
    HTRequest * request;
    HTProfile_newPreemptiveClient("libwww", "1.0");
    request = HTRequest_new();
    HTLoadToFile(argc > 1) ? argv[1]: "http://www.muz-tv.ru", request, "site.html");
    HTRequest_delete(request);
    HTProfile_delete();
    return 0;
}
0
 Аватар для pomkalk
365 / 247 / 24
Регистрация: 03.04.2011
Сообщений: 558
Записей в блоге: 1
04.08.2011, 22:04
g_u_e_s_t, А FTP он пашет!!
ps. rtorrent использует cURL!
0
Модератор
Эксперт PythonЭксперт JavaЭксперт CЭксперт С++
 Аватар для easybudda
12843 / 7592 / 1766
Регистрация: 25.07.2009
Сообщений: 13,973
04.08.2011, 22:18
Цитата Сообщение от pomkalk Посмотреть сообщение
cURL победил!
Ура! А кого?
По моему скромному, если более-менее регулярно писать программы, в которых работа с сетью - не главное, но какая-то по возможности не замороченная поддержка сети всё-таки нужна, библиотеки вроде cURL - очень даже правильное решение. Если разрабатывается сетевое приложение, которое по мере необходимости должно обходить какие-то "подводные камни", использовать малоизвестные тонкости, короче выжимать из сети всё, что сможет, то тут обёртки, наверное, вряд ли подойдут... Ну или обратный случай - вдруг в коем-то веке понадобилось что-то програмкой из сети получить. Да буду я всякие там библиотеки ставить, руководства читать, ага... Быстрее будет примерно помня, как оно делается, и пару-тройку раз man набрав набыдлокодить что-нибудь вроде моего варианта, ну причесать немного, да и забыть до следующего раза...
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
04.08.2011, 22:20
Цитата Сообщение от pomkalk Посмотреть сообщение
g_u_e_s_t, А FTP он пашет!!
Да!! А еще она webdav умеет, а curl нет!!!


Цитата Сообщение от pomkalk Посмотреть сообщение
ps. rtorrent использует cURL!
На этом месте нужно проникнуться и расплакаться?
PS: http://libtorrent.rakshasa.no/... url_get.cc
C
1
2
83      // Normally libcurl should handle the timeout. But sometimes that doesn't
84      // work right so we do a fallback timeout that just aborts the transfer.
2niXman: извините, меня что-то прет) потрите пожалуйста как модератор.
0
74 / 73 / 25
Регистрация: 05.10.2008
Сообщений: 233
05.08.2011, 14:54
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
Хрен там
скомпилировал строкой:
Code
1
gcc w3c.c `libwww-config --libs` `libwww-config --cflags`
при запуске:
Code
1
2
./a.out 
./a.out: error while loading shared libraries: libwwwxml.so.0: cannot open shared object file: No such file or directory
файл на месте:
Code
1
2
ls -al /usr/local/lib/libwwwxml.so.0
lrwxrwxrwx 1 root root 18 Авг  5 13:27 /usr/local/lib/libwwwxml.so.0 -> libwwwxml.so.0.1.0
че ему еще не хватает
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
05.08.2011, 15:39
Нинаю, я ж сам собирать и запускать и не пытался... так из головы накорябал) там кстати скобочка криво поставлена и main(void) ни катит.
Попробуйте так:
Bash
1
LD_LIBRARY_PATH=/usr/local/lib/ ./a.out
0
74 / 73 / 25
Регистрация: 05.10.2008
Сообщений: 233
05.08.2011, 18:17
Цитата Сообщение от g_u_e_s_t Посмотреть сообщение
Нинаю, я ж сам собирать и запускать и не пытался...
жаль... с curl таких проблем нет ни в C ни в PHP
0
 Аватар для pomkalk
365 / 247 / 24
Регистрация: 03.04.2011
Сообщений: 558
Записей в блоге: 1
05.08.2011, 18:44
Prividenie, во во, вот и я про что!)
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
05.08.2011, 18:44
Помогаю со студенческими работами здесь

Как получить html-код страницы?
как получить html-код страницы методами js и потом его использовать в личных целях

Как получить код HTML страницы?
КАК получить код HTML страницы в переменную, неиспользую OCX'ов Ну всмысле без Winsock msInet итп...

Как получить данные с html страницы
Всегда интересовало, как к примеру пишут ботов для вк, или скрипты какие-нибудь для сайцтов итп, но механизм взаимодействия я не понимаю -...

Как получить HTML код указанной страницы?
Например, я создал форму, со строкой &quot;url&quot;, как мне получить HTML-код той страницы котору ввели в строку.

Как можно получить HTML страницы(способы)
Знаю только 1 способ(idhttp1.get('url')) но этот способ не устраивает,т.к через 25 обращений сайт блокируется на 30 секунд,это плохо(не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
60
Ответ Создать тему
Новые блоги и статьи
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
Контроль уникальности заводского номера - вариант №2
Maks 24.03.2026
В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++
8Observer8 24.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
Контроль уникальности заводского номера - вариант №1
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью в конфигурации КА2. Данные берутся из регистра сведений, по. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru