Форум программистов, компьютерный форум CyberForum.ru

Библиотеки для работы с http протоколом - C++

Восстановить пароль Регистрация
 
ninja2
 Аватар для ninja2
230 / 186 / 7
Регистрация: 26.09.2012
Сообщений: 2,018
Завершенные тесты: 1
30.11.2013, 01:48     Библиотеки для работы с http протоколом #1
Здорова господа!!!

Пишу бота для mail.ru думал что будет легко просто используешь curl и все, а от фиг там. Делаю post авторизацию все нормально, затем меняю настройки на get запрос и делаю переход по страницам и дулю что я получаю. Удается считать страницу с письмами, а дальше переходить по страницам уже не получается. Просто при считывании определенной страницы я получаю страницы с javascript кодом и толи он в браузере исполняется и просиходит новый редирект на страницы то ли хз. что происходит, но у меня не браузер и прога не может выполнить javascript код. Я вообще думаю из за того что javascript код приходит, а он вроде может просто взять и выкинуть новое окно, поэтому у меня и не идет дальшейшая загрузка страниц, короче до конечной загрузки, нужной страницы я не могу добраться.

Мне нужно такая библиотека которая могла б сделать программно авторизацию на сайте и что бы я смог получить любую страницу сайта. Curl да можно что то считать, но она не универсальная, скажем так на норм сайтах с ее помощью не пошаришь, да и браузер с ее помощью норм не напишешь. Мб есть какие нить нормальные библиотеки с помощью которых я б смог бы программно получить любую страницу из интернета. !???
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
stima
429 / 284 / 16
Регистрация: 22.03.2011
Сообщений: 923
Завершенные тесты: 1
30.11.2013, 02:20     Библиотеки для работы с http протоколом #2
Если Вам нужно эмулировать действия браузера при этом имея полноценный доступ к содержимому, то можете взять WebKit (можно совместно с qt) или CHtmlView (тут только MFC).
ninja2
 Аватар для ninja2
230 / 186 / 7
Регистрация: 26.09.2012
Сообщений: 2,018
Завершенные тесты: 1
30.11.2013, 12:51  [ТС]     Библиотеки для работы с http протоколом #3
Цитата Сообщение от stima Посмотреть сообщение
Если Вам нужно эмулировать действия браузера при этом имея полноценный доступ к содержимому, то можете взять WebKit (можно совместно с qt) или CHtmlView (тут только MFC).
Щас буду читать смотреть примеры. Мне нужна такая библотека что б я смог авторизоваться на любом сайте и получать содержимое страницы, что б библиотека делала все нужные редиректы и все остальное, а на выходе я получал как в браузере готовый html код, curl такого не делает он может дать страницу только по определенному адресу, а если будет как то редирект сделан с помощью javascript или хз. как оно происходит что с помощью браузера по одному адресу я получаю правильную странцу, а с помощью curl мне выдается совсем другая страница. Мне такое не нужно, думаю получить одну страницу ту что в браузере выдается, а получают хз. откуда взявшуюся.

Библиотеку нужно такую которая будет максимально похожа на работу браузера.

Добавлено через 1 минуту
Возможно еще есть варианты пишите рассмотрим!!!

Добавлено через 40 минут
stima, А как мне его скачать и откуда? Чото я нигде не найду где его скачать и как установить для VS2010 да вообще нигде описания нету и примеров с кодом???

Добавлено через 9 часов 35 минут
В общем webkit для виндовс не получается установить, решил попробовать CHtmlView, но тоже проблемы плохое описание да и как ее вообще подключить?

От нашол описание http://msdn.microsoft.com/ru-ru/library/42h6dke4.aspx, пытаюсь хоть одну функцию вызвать ничего не получается.

Добавлено через 1 минуту
Мб кто знает как мфс подключить к визуал студио 2010???
Avazart
 Аватар для Avazart
6897 / 5137 / 252
Регистрация: 10.12.2010
Сообщений: 22,570
Записей в блоге: 17
30.11.2013, 13:41     Библиотеки для работы с http протоколом #4
Цитата Сообщение от ninja2 Посмотреть сообщение
, а на выходе я получал как в браузере готовый html код, curl такого не делает он может дать страницу только по определенному адресу, а если будет как то редирект сделан с помощью javascript или хз.
Ни одна библиотека там не делает, нужен именно браузер для этого.
ninja2
 Аватар для ninja2
230 / 186 / 7
Регистрация: 26.09.2012
Сообщений: 2,018
Завершенные тесты: 1
30.11.2013, 16:00  [ТС]     Библиотеки для работы с http протоколом #5
Цитата Сообщение от Avazart Посмотреть сообщение
Ни одна библиотека там не делает, нужен именно браузер для этого.
Ну чо обязательно браузер? Мб есть библиотека что то наподобие браузера, от мы браузеру передали адрес допустим google.ru и получили изображение, а в библиотеке по аналогии передали адрес функции и получили готовый http код в текстовом виде. Мне нужно просто передавать адрес объекту, а объект уже сам все далает все редиректит разбирает все, подгружает аякс все подгружает и на выходе я получаю готовый html код который я дальше обрабатываю так как мне нужно и посылаю снова запрос.

Да заработала прога для мэйла с помощью curl, можно мэйлы "целевой аудитории" парсить, но это не то, как я сделал что б оно заработало? Конечно все сложно в ручную пришлось смотреть все заголовки перейти по ним вручную что бы выбрать нужный который возвращает нужную мне информацию, потом его добавить в прогу и запускать прогу. Очень неудобно и так делать для каждой страницы придется потому что не универсально средство.

От мы если взглянем на браузер хоть какой нить да, адресная строка это поле ввода, окно само где выводиться картинки изображения и вся фигня это поле вывода, от мне нужно такое средство что б оно было как браузер я передал урл и на выходе получил исходный текст.

От может быть можно как то портировать готовый браузер в мою прогу??? От браузера одно нужно ввести программно запрос и получить ответ в виде строки????

Добавлено через 46 минут
Скачал короче WebKit последнюю версию tar.bz формат там только под линукс и мак есть и скачал установил прогу Cygwin Terminal линуксовую и как то с ее помощью из этого tar.bz нужно собрать толи либу толи заголовочные файлы я так и не понял как. Cygwin Terminal - это оказывается терминал командная строка. Как мне теперь создать из линуксовых исходников либы которые нужно подключить к vs2010????
stima
429 / 284 / 16
Регистрация: 22.03.2011
Сообщений: 923
Завершенные тесты: 1
02.12.2013, 15:51     Библиотеки для работы с http протоколом #6
Читайте маны, там все написано. http://www.webkit.org/building/build.html

В вашем случае думаю легче будет взять Qt порт webkit.

п.с. Вот что у Вас должно получится
http://stackoverflow.com/questions/2...t-and-qtwebkit
Yandex
Объявления
02.12.2013, 15:51     Библиотеки для работы с http протоколом
Ответ Создать тему
Опции темы

Текущее время: 08:32. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2016, vBulletin Solutions, Inc.
Рейтинг@Mail.ru