Парсинг динамически изменяющихся Web страниц

Всем привет.
Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы.
Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется.
Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом.
Буду очень признателен за выложенный скелет проекта.

0

Selenium + phantomjs

1

Сообщение от Петррр Selenium + phantomjs

Бегло посмотрел о чем идет речь.
Не хотелось бы погружаться в изучение совершенно новых для меня технологий без всякой гарантии на результат.
А нельзя ли все-таки средствами C#?

0

а вам обязательно показывать сам браузер? можно же через webClient грузить страницу и делать с html что нужно. Если грамотно распараллелить всё это, то ничего тормозить не будет

1

Сообщение от PIkarus Не хотелось бы погружаться в изучение совершенно новых для меня технологий без всякой гарантии на результат.

Новая технология - это громко сказано, там все легко.

0

Попробуй post запросами обновлять отправляя в нужное для тебя время сам запрос

1

Сообщение от Петррр Новая технология - это громко сказано, там все легко.

Ну, Вам может и легко - при наличии исходной подготовки, а мне точно тяжеловато будет.
И самое главное, совсем не обязательно, что что-то из этого выйдет

Сообщение от Монфрид а вам обязательно показывать сам браузер? можно же через webClient грузить страницу и делать с html что нужно. Если грамотно распараллелить всё это, то ничего тормозить не будет

Да пожалуй, что и не обязательно, так - для визуального контроля использовал. Но ведь для этого можно и отдельное окно браузера открыть, причем любого, а не тормознутого IE.
Так что наверное попробую, спасибо за совет

Правда у меня там в планах еще программный ввод данных в поля и кликанье по кнопкам.
Насколько я понимаю, WebClient этого делать не умеет? Тогда придется окно WebBrowser'a для этой цели сохранить...

Добавлено через 4 часа 31 минуту
Нет, не подходит WebClient в данном случае. Проблема в том, что событие DownloadStringCompleted совсем не означает, что динамическое содержание страницы уже загружено. Получается то же самое, о чем я писал в своей первой теме И снова про код HTML страницы.

Так что, выходит без браузера не обойтись, просто браузер должен быть более шустрым.

А потому возвращаюсь к исходному вопросу. Неужели никто не решал такую задачу? (и все-таки желательно средствами C#)

0

Я тебе уде сказал, post-запросами, get=запросом грузи страничку постами получай динамически загружаемое содержимое, нужет только компонент idHTTP незнаю только есть он в C# в Delphi есть такой, в С такой аналогичный должен быть.

0

Сообщение от Игорь[Igor] Я тебе уде сказал, post-запросами, get=запросом грузи страничку постами получай динамически загружаемое содержимое, нужет только компонент idHTTP незнаю только есть он в C# в Delphi есть такой, в С такой аналогичный должен быть.

Аналог вроде есть - метод UploadData того же WebClient http://msdn.microsoft.com/ru-r... bwh0a.aspx
но это не помогает, т.к. момент, когда содержимое уже загружено, неизвестен. Мне что, вызывать его 1000 раз пока не увижу, что уже все ok? При работе с WebBrowser.Document это можно себе позволить (просто проверяю текущее значение нужных мне нод), т.к. в этом случае нет дополнительного обращения к серверу сайта. А если я стану 1000 раз постить меня через 10 минут забанят.

Вы, видимо, просто не очень представляете себе о чем идет речь. Попробуйте вашим методом (хоша бы и на Delphi) загрузить все счета со страницы http://www.soccer24.com/englan... e/results/

0

Зачем тебе это знать, страницу даже можно и не загружать. а сразу отправить пост запрос на получение динамического сожержимого. да и если ты так загрузиш страницу, то содержимое это не загрузиться без отправки этого поста. И ненужно вызывать его 1000 раз. Чуть позже будет время, попробую.

0

Когда-то я парсил сайт zakupki.gov.ru.
Там контент появлялся только после клика на картинку в результате выполнения JS. И там ещё задержки были в этих JS, секунд по 10. Этот контент, насколько я тогда понял, появлялся только в результате выполнения скрипта в браузере, когда я программно делал Clic на картинке, или на тексте, завёрнутом в DIV определённого класса, то есть без браузера было никак не получить контент.

Тем не менее, программа успевала собирать данные быстрее, чем они появлялись.

Есть в этом деле ещё один прикол, который я встретил на других сайтах. Подобные сайты обычно отслеживают частые обращения с одного IP адреса, и через некоторое (очень небольшое время) банят IP, на все вопросы с которого начинают денег просить. Поэтому приходилось вводить рандомные таймауты на обращения к сайту, изображая поведение человека. На некоторых сайтах это помогало, но не на всех. Иногда приходилось менять IP, с которого велось сканирование.

Так что на самых интересных сайтах за скоростью гнаться особо не приходилось.

А если сайт был не защищён от ddos и данные на нём были в виде просто текста, мой заказчик выкачивал весь сайт какой-то линуксовой тулзой, и я просто парсил htmlки как текст, без браузера. Это работает довольно быстро.

По поводу "скедета" программы для обхода сайтов с помощью браузера - я реализовал MDI приложение, каждый документ - браузер, который обходит дерево ссылок сайта, удовлетворяющих заданному фильтру, накладываемому на URL. Выложить исходник нельзя, таков уговор с заказчиком.

1

Угу. Не вижу проблем с задержкой. Использование броузера будет простейшим вариантом. Я так парсил сайты типа www.188bet.com (Screenshots)

0

Браузер та же программа, что может читать с сайта, а вы своими программами почему то нет?

0

Сообщение от Игорь[Igor] почему-то нет?

Угу. А обфусцированные скрипты кто будет эмулировать?

0

Все равно все данные отправляются и получаются через браузер, то же самое можно сделать и в программе

0

Для того, чтобы сформировать запрос надо исполнить обфусцированный скрипт. Я сомневаюсь, что было бы эффективным делать это в программе.

0

Сообщение от Игорь[Igor] то же самое можно сделать и в программе

Можно. Подключив код половины броузера :-)

0

Вот спарсил таблицу со странице по ссылке в ней имеются такие данные ихе еще только еще надо привести в читабельный вид и выделить нужные. Сдесь только 2 строки я показал.

KtcCSrQn
1381071600
3
3
Tottenham
TOT
Tottenham
0
0
0
team
WES
West Ham
2
2
3
0
3
team
bXeGR2ug
1381071600
3
3
West Brom
WES
West Brom
0
0
1
1
0
team
ARS
Arsenal
1
0
1
team
...

0

Удобнее парсить InnerHTML - там не ошибешься.

1

Ого! Пока я спал, здесь целая дискуссия образовалась. Всем спасибо за участие, всем отвечаю:

Сообщение от Игорь[Igor] Вот спарсил таблицу со странице по ссылке ...

Так я и не сомневался, что с вашим подходом это возможно, вопрос в том, какой ценой. Вы код покажите - там наверняка или несколько обращений к сайту или Sleep ms на 1000

Сообщение от ksk Подобные сайты обычно отслеживают частые обращения с одного IP адреса, и через некоторое (очень небольшое время) банят IP

Это одна из проблем, о которой приходится думать. Но если для периодического извлечения динамически изменяющихся полей используется компонент браузера, проблема вроде бы снимается (в случае WebBrowser просто парсим текущее значение wb.Document.InnerHtml или текущее множество нод - wb.Document.All). Я правильно понимаю?

Сообщение от ksk я реализовал MDI приложение, каждый документ - браузер, который обходит дерево ссылок сайта, удовлетворяющих заданному фильтру, накладываемому на URL

У меня уже есть такой вариант. Вопрос в том, какой использовали браузер? Меня не вполне устраивает скорость работы WB, который аналог IE, потому и пытаюсь смотреть в сторону Chromium и Gecko

Сообщение от gazlan Угу. Не вижу проблем с задержкой. Использование броузера будет простейшим вариантом. Я так парсил сайты типа www.188bet.com

Это примерно то, что мне нужно. Вопрос тот же, что и выше - компонент от какого браузера использовали? Была ли скорость извлечения данных достаточна для отработки Live событий?

0