Парсинг динамически изменяющихся Web страниц

@PIkarus · Регистрация: 09.09.2013

Студворк — интернет-сервис помощи студентам

Всем привет.
Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы.
Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется.
Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом.
Буду очень признателен за выложенный скелет проекта.

@ksk · 11.10.2013, 08:54

Сообщение от PIkarus

Но если для периодического извлечения динамически изменяющихся полей используется компонент браузера, проблема вроде бы снимается

Не снимается, если нужно обработать десятки тысяч страниц.

@gazlan · 11.10.2013, 11:08

Сообщение от PIkarus

компонент от какого браузера использовали? Была ли скорость извлечения данных достаточна для отработки Live событий?

CHTML, то есть IE. Пользователь сам задает периодичность проверки страницы (порядка нескольких минут), то есть вопрос быстродействия вообще не стоял - таблица игр обновляется реже. Ну, и никакой защиты (кроме полного редизайна каждые пару месяцев :-), на тех сайтах, с которыми я работал, не было. Так что о проблемах подмены IP итд., даже не задумывался.

@PIkarus · 11.10.2013, 11:09 **[ТС]**

Сообщение от ksk

Не снимается, если нужно обработать десятки тысяч страниц.

В каком смысле? В том, что по быстрому перебору страниц будет очевидно, что это робот, это имеется ввиду?
Если да, то это не мой случай. Мне (в основной ветке) много страниц перебирать не надо, надо отслеживать изменение многих полей на одной странице

@gazlan · 11.10.2013, 11:14

Сообщение от ksk

Не снимается, если нужно обработать десятки тысяч страниц

IMHO, не везде она есть. Например, ~200,000 страниц с auto.ru - без проблем (по крайней мере, на то время, когда я этим занимался).

@PIkarus · 11.10.2013, 11:14 **[ТС]**

Сообщение от gazlan

CHTML, то есть IE. Пользователь сам задает периодичность проверки страницы (порядка нескольких минут), то есть вопрос быстродействия вообще не стоял - таблица игр обновляется реже. Ну, и никакой защиты (кроме полного редизайна каждые пару месяцев :-), на тех сайтах, с которыми я работал, не было. Так что о проблемах подмены IP итд., даже не задумывался.

Порядка нескольких минут меня не устраивает - нужны в основном Live коэффициенты, а там обновление раза 3 в минуту.
То что IE я понял. Где б найти человечка, который бы поделился опытом использования Chromium...

@ksk · 11.10.2013, 11:31

Сообщение от gazlan

IMHO, не везде она есть. Например, ~200,000 страниц с auto.ru - без проблем (по крайней мере, на то время, когда я этим занимался).

Конечно не везде. Только там, где контент стоит денег и может стать предметом наживы конкурентов )

@Игорь[Igor] · 11.10.2013, 11:32

Сообщение от PIkarus

Так я и не сомневался, что с вашим подходом это возможно, вопрос в том, какой ценой. Вы код покажите - там наверняка или несколько обращений к сайту или Sleep ms на 1000

Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
function Find(StrSrc: string; Str1, Str2: string): TStringList;
var
  StrTmp: string;
  Pos1, Pos2, Len1, Len2: Integer;
begin
  Result:= TStringList.Create;
  // крайние левые теги для поиска
  Len1 := Length(Str1);
  // крайние правые теги для поиска
  Len2 := Length(Str2);
  Pos1 := posEx(Str1, StrSrc, 1);
  // поиск всех значений на странице, находящихся между тегами Str1 и Str2
  while Pos1 > 0 do
  begin
    Pos2 := posEx(Str2, StrSrc, Pos1 + Len1);
    if Pos2 = 0 then
    break;
    StrTmp := Copy(StrSrc, Pos1 + Len1, Pos2 - Pos1 - Len1);
    StrTmp := Trim(StrTmp);
    Result.Add(StrTmp);
    Pos1 := Pos2 + Len2;
    Pos1 := posEx(Str1, StrSrc, Pos1);
  end;
end;
 
procedure TForm1.Button1Click(Sender: TObject);
var
  PageData: TStringList;
  DData: TStringList;
begin
  PageData := TStringList.Create;
  DData := TStringList.Create;
  try
    PageData.Text := form1.IdHTTP1.Get('http://www.soccer24.com/england/premier-league/results/');
 
    DData.Clear;
    DData:=Find(PageData.Text, 'tournament-page-data', 'tournament-page-sport');
    DData:=Find(PageData.Text, '¬', '·');
 
    form1.Memo1.Text:=DData.Text;
  finally
    PageData.Free;
    DData.Free;
  end;
end;

@PIkarus · 11.10.2013, 12:23 **[ТС]**

Сообщение от Игорь[Igor]

PageData.Text := form1.IdHTTP1.Get('http://www.soccer24.com/england/premier-league/results/');

И что после этого вызова в возврате уже все поля счетов извлечены? А где обещанный post?
В общем, что-то не верю я, что это работает, а ставить Delphi для проверки неохота, у сына на компе вроде стоит, может вечерком проверю

@Игорь[Igor] · 11.10.2013, 12:36

Смотрел HttpAnalizer небыло там пост запросов как я думал, вся страница загружалась сразу, и не увидел никакого динамического обновления, потому и нет тут пост запроса.

@PIkarus · 11.10.2013, 12:46 **[ТС]**

Ну, не знаю, не знаю, как там работает этот IdHTTP дельфевский, может он и ожидает завершения выполнения скриптов, хотя, было бы странно. Скорее всего, просто повезло, что скрипт успел отработать. В любом случае, это не подходит, когда содержимое страницы меняется периодически

@Игорь[Igor] · 11.10.2013, 12:56

Ни какие скрипты не обрабатываются при этом.

Добавлено через 1 минуту
Идет по тому пути, срабатывает редирект, и страничка грузится

@gazlan · 11.10.2013, 13:16

Сообщение от PIkarus

как там работает этот IdHTTP дельфевский

Поскольку он использует тот же самый компонент (IE), подозреваю, что просто ждет 'OnDocumentComplete'.
И, если это так, то совершенно не гарантирует окончание (асинхронной) работы скриптов.

@PIkarus · 11.10.2013, 13:20 **[ТС]**

Сообщение от Игорь[Igor]

Ни какие скрипты не обрабатываются при этом.

Добавлено через 1 минуту
Идет по тому пути, срабатывает редирект, и страничка грузится

Это вам только кажется, что они не отрабатываются, на самом деле часть тела страницы заполняется JS скриптом.
Повторяю, я не знаю, как работает метод IdHTTP.Get, возможно он ожидает выполнения тех скриптов, которые должны вызываться сразу после загрузки страницы. А вот например WebBrowser.Navigate не ожидает и для него, чтобы увидеть в InnerHtml поля счетов придется еще дождаться события OnDocumentComplete.
Проблема в том, что страница может отрабатывать еще и другие скрипты, которые подгружают данные периодически и в вашем методе это решается только с риском быть забаненным

Добавлено через 2 минуты

Сообщение от gazlan

Поскольку он использует тот же самый компонент (IE), подозреваю, что просто ждет 'OnDocumentComplete'.
И, если это так, то совершенно не гарантирует окончание (асинхронной) работы скриптов.

Совершенно справедливо. Еще точнее выразил то, что я хотел сказать.

@Игорь[Igor] · 11.10.2013, 14:35

Никакой скрипт не обрабатывается этим компонентом, грузится только страница сформированная сервером

@PIkarus · 11.10.2013, 14:44 **[ТС]**

Сообщение от Игорь[Igor]

Никакой скрипт не обрабатывается этим компонентом, грузится только страница сформированная сервером

Н-да, как все запущено... Почитайте хотя бы википедию http://ru.wikipedia.org/wiki/AJAX

@Игорь[Igor] · 11.10.2013, 15:04

Действительно запущенно, вам одно, вы другое, дальше думаю нет смысла что-то говорить, юзайте браузер, который и выполняет эти скрипты.

@PIkarus · 11.10.2013, 17:47 **[ТС]**

Сообщение от Игорь[Igor]

Действительно запущенно, вам одно, вы другое, дальше думаю нет смысла что-то говорить, юзайте браузер, который и выполняет эти скрипты.

А вы все-таки почитайте, может что-то и прояснится в голове. Скрипты выполняет не браузер, а веб-сервер и выполняются они при любом извлечении страницы, хоть браузером, хоть IdHTTP.Get, т.к. вызов их прописан в коде страницы

@Игорь[Igor] · 11.10.2013, 18:09

Да сервером формируется страница, которая и загружается, но не выполняются динамически добавляемые контенты, я про это говорю. Но по данной ссылке я их не увидел где там динамически подгружаемые данные, вся страничка загружается разом, и что б было обновление, этого я не увидел. Мы наверное еще про разное говорим. и не понимаем полностью друг друга.

@ksk · 11.10.2013, 18:09

Сообщение от PIkarus

Это одна из проблем, о которой приходится думать. Но если для периодического извлечения динамически изменяющихся полей используется компонент браузера, проблема вроде бы снимается (в случае WebBrowser просто парсим текущее значение wb.Document.InnerHtml или текущее множество нод - wb.Document.All). Я правильно понимаю?

Не совсем так. я брал InnerHtml только целевого тега. А чтобы добраться до него, браузил DOM, то есть добирался до нужных множеств нод. Так оно проще мно показалось.

Сообщение от PIkarus

У меня уже есть такой вариант. Вопрос в том, какой использовали браузер? Меня не вполне устраивает скорость работы WB, который аналог IE, потому и пытаюсь смотреть в сторону Chromium и Gecko

Тот, который студия предлагает. Обёртка над IE. По скорости - наоборот ограничивать приходилось (о чём я уже писал, и на показанной мной картинке видно, как он ждёт, прежде, чем запросить очередную страницу по ссылке, найденной на текущей странице).

@PIkarus · 11.10.2013, 18:50 **[ТС]**

Сообщение от Игорь[Igor]

Но по данной ссылке я их не увидел где там динамически подгружаемые данные, вся страничка загружается разом, и что б было обновление, этого я не увидел.

Ну не загружается она "разом", вы просто этого не видите, т.к. используете метод, который, скорее всего, возвращает данные после полной загрузки страницы, которая включает в себя вызов части данных с какого-то отдельно стоящего сервера (эти данные не прописаны в исходном HTML коде страницы). Чтобы убедиться в этом попробуйте вызвать эту страницу в C# компонентом WebBrowser, метод Naviagte и посмотрите, что будет в wb.Document.InnerHtml сразу после вызова. На месте таблицы счетов там бинарный код. Обновления данных там действительно нет, но это ведь я дал самый простейший случай. Обновление есть например на Live странице того же сайта

Добавлено через 10 минут

Сообщение от ksk

Не совсем так. я брал InnerHtml только целевого тега. А чтобы добраться до него, браузил DOM, то есть добирался до нужных множеств нод. Так оно проще мно показалось.

Так и я так же делаю - выбираю нужные ноды из wb.Document.All, но все равно, мне так кажется, это не вызывает дополнительных обращений к серверу, чего и следует опасаться

Сообщение от ksk

Тот, который студия предлагает. Обёртка над IE. По скорости - наоборот ограничивать приходилось (о чём я уже писал, и на показанной мной картинке видно, как он ждёт, прежде, чем запросить очередную страницу по ссылке, найденной на текущей странице).

В вашем случае может и приходилось. Но мне нужно обрабатывать Live события, там данные обновляются раза 3 в минуту, а полей данных м.б. несколько сотен. Это один из сценариев, а другой - не Live, но на странице много данных и IE компонент начинает тупить на их раскрытии вплоть до того, что идет сообщение "сценарий, выполняемый на этой странице замедляет чего то там и не хочешь ли ты его остановить", причем тот же эффект для этой страницы наблюдается и просто при вызове IE, а вот в хроме все работает нормально

Новые блоги и статьи Все статьи Все блоги /
Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .	Установка MinGW GCC 16.2 и CMake 8Observer8 10.08.2026 VK Видео: https:/ / vkvideo. ru/ video-240781534_456239017 YouTube: eY5-5PyI9NM Текстовая версия
Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо anaschu 10.08.2026 Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .	Калькулятор для расчета родства russiannick 07.08.2026 1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь	Мир по моей воле kumehtar 07.08.2026 Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .	Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .

@PIkarus 0 / 0 / 2 Регистрация: 09.09.2013 Сообщений: 32

	Парсинг динамически изменяющихся Web страниц 10.10.2013, 12:12. Показов 13234. Ответов 43 Метки нет (Все метки) Всем привет. Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы. Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется. Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом. Буду очень признателен за выложенный скелет проекта. 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 12:36
	Смотрел HttpAnalizer небыло там пост запросов как я думал, вся страница загружалась сразу, и не увидел никакого динамического обновления, потому и нет тут пост запроса. 0

@PIkarus 0 / 0 / 2 Регистрация: 09.09.2013 Сообщений: 32
	11.10.2013, 12:46 [ТС]
	Ну, не знаю, не знаю, как там работает этот IdHTTP дельфевский, может он и ожидает завершения выполнения скриптов, хотя, было бы странно. Скорее всего, просто повезло, что скрипт успел отработать. В любом случае, это не подходит, когда содержимое страницы меняется периодически 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 12:56
	Ни какие скрипты не обрабатываются при этом. Добавлено через 1 минуту Идет по тому пути, срабатывает редирект, и страничка грузится 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 14:35
	Никакой скрипт не обрабатывается этим компонентом, грузится только страница сформированная сервером 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 15:04
	Действительно запущенно, вам одно, вы другое, дальше думаю нет смысла что-то говорить, юзайте браузер, который и выполняет эти скрипты. 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 18:09
	Да сервером формируется страница, которая и загружается, но не выполняются динамически добавляемые контенты, я про это говорю. Но по данной ссылке я их не увидел где там динамически подгружаемые данные, вся страничка загружается разом, и что б было обновление, этого я не увидел. Мы наверное еще про разное говорим. и не понимаем полностью друг друга. 0