Динамически создать браузер, потом в цикле получать страницы по StringList-у

@leva · Регистрация: 12.04.2012

Студворк — интернет-сервис помощи студентам

В общем надо создать динамически браузер потом в цикле получать страницы по StringListу и с этих страниц записывать исходный код, уже как только не пробывал не выходит.
Делал так загружается страница (в цикле) в свойстве CppWebBrowser1DocumentComplete получаю исходный код страницы.. Но вот в чем проблема в цикле страница не грузиться до конца, а сразу зрузит следующую и так и не получает исходный код получаю только последней странице в цикле.. Пытался решить через таймер чтоб страница с начала зарузилась потом к следующей переходит, но что то не выходит...

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
for(int w = 0; w < Liset->Count; w++){
 String Url="http://at_search="+Listn->Strings[w];
Form1->CppWebBrowser1->Navigate(Url.w_str());
}
void __fastcall TForm1::CppWebBrowser1DocumentComplete(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
try{
 TComInterface<IHTMLDocument2> pHTMLDocument;
TComInterface<IHTMLElement> pEl;
if (S_OK != CppWebBrowser1->Document->QueryInterface(IID_IHTMLDocument2, (LPVOID*) &pHTMLDocument)) return; // запрос интерфейс документа
if (S_OK != pHTMLDocument->get_body(&pEl)) return; // тело документа
 
WideString wHtmlCode;
pEl->get_innerHTML(&wHtmlCode);
String m = wHtmlCode;
m=m.SubString(m.Pos("name b-user js-rendered-template")+43,m.Pos("</A></TD>")-m.Pos("name b-user js-rendered-template"));
m=m.SubString(1,m.Pos(">")-2);
Memo1->Lines->Add(m);
}
catch(...){ ;}
}

Вот так делаю... но он только последний код страницы получает.

@volvo · 07.09.2012, 15:48

Страница с фреймами, и твой код летит ко всем чертям. В этом случае надо не просто ждать окончания в OnDocumentComplete, а надо еще ждать окончания загрузки главного фрейма, только тогда можно читать содержимое, когда он загрузился полностью. Вот тут есть пример (правда, на Дельфи и для TWebBrowser-а, но принцип тот же) :
Использовать событие OnDocumentComplete у TWebBrowser при наличии фреймов

А цикл неплохо было бы вообще убрать. Потому что он не будет ждать, пока всё загрузится и обработается. А просто загрузит все подряд странички. Естественно, что только на последней ты доберешься до OnDocumentComplete. Просто первую страницу грузи сам, а потом, уже в обработчике, после сохранения, увеличивай индекс и подгружай следующую, пока список не закончился.

@leva · 07.09.2012, 16:20 **[ТС]**

Сообщение от UI

А цикл неплохо было бы вообще убрать. Потому что он не будет ждать, пока всё загрузится и обработается. А просто загрузит все подряд странички. Естественно, что только на последней ты доберешься до OnDocumentComplete. Просто первую страницу грузи сам, а потом, уже в обработчике, после сохранения, увеличивай индекс и подгружай следующую, пока список не закончился.

Да а почему то у меня браузер как получил 1 страницу следующие не получает...

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
void __fastcall TForm1::Button3Click(TObject *Sender)
{
TStringList *Liset= new TStringList;
Liset->LoadFromFile("Link.txt");
for(int w = 0; w < Liset->Count; w++){
 Listn->Add(Liset->Strings[w].Delete(1,Liset->Strings[w].Pos("|"))) ;
}
d=-1;
d=d++;
String Url="http://worldoftanks.ru/community/accounts/#wot&at_search="+Listn->Strings[d];
Form1->CppWebBrowser1->Navigate(Url.w_str());
}
 void __fastcall TForm1::CppWebBrowser1DocumentComplete(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
try{
String m;
m="0";
d=d++;
 TComInterface<IHTMLDocument2> pHTMLDocument;
TComInterface<IHTMLElement> pEl;
if (S_OK != CppWebBrowser1->Document->QueryInterface(IID_IHTMLDocument2, (LPVOID*) &pHTMLDocument)) return; // запрос интерфейс документа
if (S_OK != pHTMLDocument->get_body(&pEl)) return; // тело документа
 
WideString wHtmlCode;
pEl->get_innerHTML(&wHtmlCode);
m = wHtmlCode;
m=m.SubString(m.Pos("name b-user js-rendered-template")+43,m.Pos("</A></TD>")-m.Pos("name b-user js-rendered-template"));
m=m.SubString(1,m.Pos(">")-2);
Memo1->Lines->Add(m);
}
catch(...){ ;}
}

@volvo · 07.09.2012, 18:28

Сообщение от leva

а почему то у меня браузер как получил 1 страницу следующие не получает...

Без понятия. Может, потому что ты не читаешь, что тебе пишут? У меня получает всё, что есть в StringList-е:

C++
1
2
3
4
5
6
7
// В класс формы добавлено:
public:     // User declarations
    __fastcall TForm1(TComponent* Owner);
 
    _di_IDispatch CurDispatch; // Раз
    int currIndex; // и два
};

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
#include <memory>
 
// ...
 
void __fastcall TForm1::Button2Click(TObject *Sender)
{
    // тут Liset заполняется ...
    currIndex = 0;
    CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str()); // И грузим первый сайт
}
 
// А это уже обработчики OnDocumentComplete и OnNavigateComplete:
void __fastcall TForm1::CppWebBrowser1DocumentComplete(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
    if (CurDispatch && pDisp == CurDispatch)
    {
        // Страничка загрузилась полностью
        CurDispatch = NULL;
 
        // Теперь сохраняем содержимое:
        TComInterface<IHTMLDocument2> pHTMLDocument;
        TComInterface<IHTMLElement> pEl;
        if (S_OK != CppWebBrowser1->Document->QueryInterface(IID_IHTMLDocument2, (LPVOID*) &pHTMLDocument)) return; // запрос интерфейс документа
        if (S_OK != pHTMLDocument->get_body(&pEl)) return; // тело документа
        WideString wHtmlCode;
        pEl->get_innerHTML(&wHtmlCode);
 
        // Временный стринглист, для сохранения в файл, удалится сам
        std::auto_ptr<TStringList> L(new TStringList);
        L->Text = wHtmlCode;
        L->SaveToFile(ExtractFilePath(Application->ExeName) + IntToStr(currIndex) + ".html");
 
        currIndex += 1; // Вот оно, увеличиваем индекс и грузим следующий элемент
        if(currIndex < Liset->Count)
        {
            CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str());
        }
    }
}
//---------------------------------------------------------------------------
 
void __fastcall TForm1::CppWebBrowser1NavigateComplete2(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
    if (!CurDispatch)
        CurDispatch = pDisp; // Используется потом, для проверки, что ВСЯ страница загружена
}

@leva · 09.09.2012, 17:35 **[ТС]**

Сообщение от UI

Без понятия. Может, потому что ты не читаешь, что тебе пишут? У меня получает всё, что есть в StringList-е:

C++
1
2
3
4
5
6
7
// В класс формы добавлено:
public:     // User declarations
    __fastcall TForm1(TComponent* Owner);
 
    _di_IDispatch CurDispatch; // Раз
    int currIndex; // и два
};

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
#include <memory>
 
// ...
 
void __fastcall TForm1::Button2Click(TObject *Sender)
{
    // тут Liset заполняется ...
    currIndex = 0;
    CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str()); // И грузим первый сайт
}
 
// А это уже обработчики OnDocumentComplete и OnNavigateComplete:
void __fastcall TForm1::CppWebBrowser1DocumentComplete(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
    if (CurDispatch && pDisp == CurDispatch)
    {
        // Страничка загрузилась полностью
        CurDispatch = NULL;
 
        // Теперь сохраняем содержимое:
        TComInterface<IHTMLDocument2> pHTMLDocument;
        TComInterface<IHTMLElement> pEl;
        if (S_OK != CppWebBrowser1->Document->QueryInterface(IID_IHTMLDocument2, (LPVOID*) &pHTMLDocument)) return; // запрос интерфейс документа
        if (S_OK != pHTMLDocument->get_body(&pEl)) return; // тело документа
        WideString wHtmlCode;
        pEl->get_innerHTML(&wHtmlCode);
 
        // Временный стринглист, для сохранения в файл, удалится сам
        std::auto_ptr<TStringList> L(new TStringList);
        L->Text = wHtmlCode;
        L->SaveToFile(ExtractFilePath(Application->ExeName) + IntToStr(currIndex) + ".html");
 
        currIndex += 1; // Вот оно, увеличиваем индекс и грузим следующий элемент
        if(currIndex < Liset->Count)
        {
            CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str());
        }
    }
}
//---------------------------------------------------------------------------
 
void __fastcall TForm1::CppWebBrowser1NavigateComplete2(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
    if (!CurDispatch)
        CurDispatch = pDisp; // Используется потом, для проверки, что ВСЯ страница загружена
}

Спасибо вам за ответ!
Но у меня как то не правильно ваш код работает загружает первую ссылку и все

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
void __fastcall TForm1::Button3Click(TObject *Sender)
{
Liset->Add("http://www.yandex.ru/") ;
Liset->Add("http://www.webmoney.ru/") ;
Liset->Add("https://www.cyberforum.ru/cpp-builder/") ;
 currIndex = 0;
    CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str()); // И грузим первый сайт
}                                                                                  //   name b-user js-rendered-template
 
 
 
void __fastcall TForm1::CppWebBrowser1DocumentComplete(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
  if (CurDispatch && pDisp == CurDispatch)
    {
        // Страничка загрузилась полностью
        CurDispatch = NULL;
 
        // Теперь сохраняем содержимое:
      /*  TComInterface<IHTMLDocument2> pHTMLDocument;
        TComInterface<IHTMLElement> pEl;
        if (S_OK != CppWebBrowser1->Document->QueryInterface(IID_IHTMLDocument2, (LPVOID*) &pHTMLDocument)) return; // запрос интерфейс документа
        if (S_OK != pHTMLDocument->get_body(&pEl)) return; // тело документа
        WideString wHtmlCode;
        pEl->get_innerHTML(&wHtmlCode);
 
        // Временный стринглист, для сохранения в файл, удалится сам
        std::auto_ptr<TStringList> L(new TStringList);
        L->Text = wHtmlCode;
        L->SaveToFile(ExtractFilePath(Application->ExeName) + IntToStr(currIndex) + ".html");
          */
        currIndex += 1; // Вот оно, увеличиваем индекс и грузим следующий элемент
        if(currIndex < Liset->Count)
        {
            CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str());
        }
   }
}
//---------------------------------------------------------------------------
 
void __fastcall TForm1::CppWebBrowser1NavigateComplete2(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
if (!CurDispatch)
        CurDispatch = pDisp;
}

Ошибка по моему в проверки загружена или нет если убрать

C++
1
2
  if (CurDispatch && pDisp == CurDispatch)
    {

То загрузит последнюю ссылку....

Добавлено через 4 часа 4 минуты
Ну не знаю что не так работает у меня билдер 2009

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
//---------------------------------------------------------------------------
 #include <memory>
#include <vcl.h>
#pragma hdrstop
#include <mshtml.h>
#include "Unit1.h"
//---------------------------------------------------------------------------
#pragma package(smart_init)
#pragma link "SHDocVw_OCX"
#pragma resource "*.dfm"
TForm1 *Form1;
TStringList *Liset= new TStringList;
//---------------------------------------------------------------------------
__fastcall TForm1::TForm1(TComponent* Owner)
    : TForm(Owner)
{
}
//---------------------------------------------------------------------------
void __fastcall TForm1::Button1Click(TObject *Sender)
{
Liset->Add("http://worldoftanks.ru/community/accounts/#wot&at_search=TANK_T8");
Liset->Add("http://worldoftanks.ru/community/accounts/#wot&at_search=AhilleSs_by");
 currIndex = 0;
    CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str()); // И грузим первый сайт
}
//---------------------------------------------------------------------------
void __fastcall TForm1::CppWebBrowser1DocumentComplete(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
 if (CurDispatch && pDisp == CurDispatch)
    {
        // Страничка загрузилась полностью
        CurDispatch = NULL;
        // Теперь сохраняем содержимое:
        TComInterface<IHTMLDocument2> pHTMLDocument;
        TComInterface<IHTMLElement> pEl;
        if (S_OK != CppWebBrowser1->Document->QueryInterface(IID_IHTMLDocument2, (LPVOID*) &pHTMLDocument)) return; // запрос интерфейс документа
        if (S_OK != pHTMLDocument->get_body(&pEl)) return; // тело документа
        WideString wHtmlCode;
        pEl->get_innerHTML(&wHtmlCode);
        // Временный стринглист, для сохранения в файл, удалится сам
        std::auto_ptr<TStringList> L(new TStringList);
        L->Text = wHtmlCode;
        L->SaveToFile(ExtractFilePath(Application->ExeName) + IntToStr(currIndex) + ".html");
 
        currIndex += 1; // Вот оно, увеличиваем индекс и грузим следующий элемент
        if(currIndex < Liset->Count)
        {
            CppWebBrowser1->Navigate(Liset->Strings[currIndex].w_str());
        }
    }
}
void __fastcall TForm1::CppWebBrowser1NavigateComplete2(TObject *Sender, LPDISPATCH pDisp,
          Variant *URL)
{
    if (!CurDispatch)
        CurDispatch = pDisp;
}
         // Используется потом, для проверки, что ВСЯ страница загружена
 
//---------------------------------------------------------------------------

Добавлено через 21 час 36 минут
Не знаю что делать уже всю ночь сидел и весь день ни чего не вышло...
Может кто знает что в коде выше не так?

Добавлено через 21 час 6 минут
Актуально!

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .

@volvo Супер-модератор 33398 / 21508 / 8236 Регистрация: 22.10.2011 Сообщений: 36,904 Записей в блоге: 12
	07.09.2012, 15:48
	Страница с фреймами, и твой код летит ко всем чертям. В этом случае надо не просто ждать окончания в OnDocumentComplete, а надо еще ждать окончания загрузки главного фрейма, только тогда можно читать содержимое, когда он загрузился полностью. Вот тут есть пример (правда, на Дельфи и для TWebBrowser-а, но принцип тот же) : Использовать событие OnDocumentComplete у TWebBrowser при наличии фреймов А цикл неплохо было бы вообще убрать. Потому что он не будет ждать, пока всё загрузится и обработается. А просто загрузит все подряд странички. Естественно, что только на последней ты доберешься до OnDocumentComplete. Просто первую страницу грузи сам, а потом, уже в обработчике, после сохранения, увеличивай индекс и подгружай следующую, пока список не закончился. 0