Форум программистов, компьютерный форум, киберфорум
C++: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.80/5: Рейтинг темы: голосов - 5, средняя оценка - 4.80
290 / 193 / 23
Регистрация: 03.08.2011
Сообщений: 2,824
Записей в блоге: 12

Скачивание страницы и её ресурсов

03.01.2013, 16:36. Показов 1073. Ответов 6
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
собственно вот страница http://item.taobao.com/item.ht... 500366098&
через InternetOpenUrl получаю тоько 27 кб. хром даёт 147 кб html + 5 мб ресурсов в папке.
как добится результата который даёт браузер, желательно используя wininet?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
03.01.2013, 16:36
Ответы с готовыми решениями:

Скачивание страницы
Доброго дня, может кто знает способ скачивания HTML-страницы, вернее получение исходного кода, но НЕ с помощью IdHTTP1->Get, а чем...

Скачивание html страницы
Ошибка выскакивает уже в самой командной строке файлы класса loaderpage.h #include <QString> #include...

Скачивание страницы и кодировка
public string DownloadWebPage(string Url) { // Open a connection HttpWebRequest WebRequestObject =...

6
Модератор
 Аватар для vxg
3409 / 2180 / 354
Регистрация: 13.01.2012
Сообщений: 8,461
04.01.2013, 12:36
грузить страницу, разбирать ее и подгружать элементы. 27 кб это наверное сама страница. а там может фреймы, картинки, флеши...
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
05.01.2013, 13:42
Парсить страницу, вынимать и зменять ссылки на ресурсы, скачивать ресурсы.

Добавлено через 16 минут
Я делал подобное - качал с помощью IdHTTP ( Indy ) и парсил boost/regex
1
290 / 193 / 23
Регистрация: 03.08.2011
Сообщений: 2,824
Записей в блоге: 12
05.01.2013, 16:13  [ТС]
Avazart, а у вас исходника не осталось?

Добавлено через 7 минут
и ещё, можете дописать как конкретно(что именно, на какие строки реагировать) подгружать

Добавлено через 2 минуты
нашёл в разнице - присутствие java scriptov в страничке (которая 27 кб) а как их запустить?
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
05.01.2013, 16:26
Цитата Сообщение от Van111 Посмотреть сообщение
Avazart, а у вас исходника не осталось?
Вроде есть ... но они сырые (и не совсем под эту задачу) ... и сомневаюсь что подойдут вам так как для С++Builder

Цитата Сообщение от Van111 Посмотреть сообщение
нашёл в разнице - присутствие java scriptov в страничке (которая 27 кб) а как их запустить?
Думаю никак ... разве что через технологию OLE
0
Модератор
 Аватар для vxg
3409 / 2180 / 354
Регистрация: 13.01.2012
Сообщений: 8,461
05.01.2013, 16:27
Цитата Сообщение от Van111 Посмотреть сообщение
а как их запустить
может лучше своей прогой запускать броузер и воровать у него подгруженное содержимое? дешевле для нервов будет
1
290 / 193 / 23
Регистрация: 03.08.2011
Сообщений: 2,824
Записей в блоге: 12
05.01.2013, 16:40  [ТС]
вроде как бы всё получилось
Цитата Сообщение от vxg Посмотреть сообщение
может лучше своей прогой запускать броузер и воровать у него подгруженное содержимое? дешевле для нервов будет
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#include "stdafx.h"
#include <FSTREAM>
#include <WININET.H>
#include <Shellapi.h>
#define max_size_buffer 5 * 1024 * 1024
 
int APIENTRY WinMain(HINSTANCE hInstance,
                     HINSTANCE hPrevInstance,
                     LPSTR     lpCmdLine,
                     int       nCmdShow)
{
    BOOL bResultRead_;
    DWORD dwBytesRead_;
    unsigned int ALLBytesRead_ = 0;
    HINTERNET hSession;
    HINTERNET hHttpFile_;
    char *cBuffer_ = new char[max_size_buffer];
    char *cBuffer = new char[max_size_buffer];
    
    hSession = InternetOpen("My Internet",INTERNET_OPEN_TYPE_PRECONFIG_WITH_NO_AUTOPROXY,0,0,0);
    hHttpFile_ = InternetOpenUrlA(hSession,"http://item.taobao.com/item.htm?spm=a1z10.3.17-571001076.22.qOtIYh&id=16500366098&",0,0,0,0);
    //hHttpFile_ = InternetConnectA(hSession,"http://item.taobao.com/item.htm?spm=a1z10.3.17-571001076.22.qOtIYh&id=16500366098&",
    //  INTERNET_DEFAULT_HTTP_PORT, 0, 0, INTERNET_SERVICE_HTTP, 0, 0);
    do 
    {
        InternetQueryDataAvailable(hHttpFile_,&dwBytesRead_,0,0);
        if (dwBytesRead_)
        {
            do 
            {
                bResultRead_ =InternetReadFile(hHttpFile_, 
                    &cBuffer_[ALLBytesRead_], max_size_buffer, &dwBytesRead_);
                ALLBytesRead_ +=dwBytesRead_ ;
            }while(dwBytesRead_);
            break;
        }
    }while (!dwBytesRead_);
    cBuffer_[ALLBytesRead_] = 0;
    
    
    std::ofstream outfFile;
    outfFile.open("c:\\wamp\\www\\1.html");
    outfFile << cBuffer_;
    outfFile.close();
    
    InternetCloseHandle(hHttpFile_);
    
    ShellExecute(0,0,"c:\\wamp\\www\\1.html",0,0,0);
 
    return 0;
}
но есть одно НО надо запустить два раза и на второй раз страница только загружается. что делать?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
05.01.2013, 16:40
Помогаю со студенческими работами здесь

Скачивание html страницы.
Мне надо сначала пройти авторизацию на сервере потом скачать html код. Как скачать я знаю через IdHTTP а как перед этим пройти...

Скачивание часть веб страницы
Здрасвуйте как можно с помощю асинхроного запроса скачать часть страницы скажем сделать запрос на 5 сек или скачать n килобайт. То что...

Скачивание информации с html страницы
Есть страница, где юзеры могут увидеть историю покупок. Мне нужно отправить эти ордера в csv файл и скачать его. Все работает, но при...

генерация html + скачивание страницы
Доброго времени суток, уважаемые форумчане! Есть некоторая html-страница (см. рис), на которой можно выбрать название сайта, описание...

Скачивание содержимого страницы сайта, XML
вообщем заголовок темы - это вопрос: Как загрузить содержимое страницы сайта, допустим в переменную типа QString ? Читал и про QHttp,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Новые блоги и статьи
Оттенки серого
Argus19 18.03.2026
Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru