Парсинг динамически изменяющихся Web страниц

@PIkarus · Регистрация: 09.09.2013

Студворк — интернет-сервис помощи студентам

Всем привет.
Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы.
Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется.
Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом.
Буду очень признателен за выложенный скелет проекта.

@Игорь[Igor] · 11.10.2013, 19:03

Делайте как вам удобнее я предпочитаю не работать с WebBrowser

@PIkarus · 11.10.2013, 19:08 **[ТС]**

Сообщение от Игорь[Igor]

я предпочитаю не работать с WebBrowser

Ну зачем же так себя ограничивать, для каждой цели надо искать подходящее средство, может и вам он когда пригодится )

@ksk · 11.10.2013, 19:33

Сообщение от PIkarus

Так и я так же делаю - выбираю нужные ноды из wb.Document.All, но все равно, мне так кажется, это не вызывает дополнительных обращений к серверу, чего и следует опасаться

Конечно не вызывает.

Сообщение от PIkarus

В вашем случае может и приходилось. Но мне нужно обрабатывать Live события, там данные обновляются раза 3 в минуту, а полей данных м.б. несколько сотен. Это один из сценариев, а другой - не Live, но на странице много данных и IE компонент начинает тупить на их раскрытии вплоть до того, что идет сообщение "сценарий, выполняемый на этой странице замедляет чего то там и не хочешь ли ты его остановить", причем тот же эффект для этой страницы наблюдается и просто при вызове IE, а вот в хроме все работает нормально

Короче, ваш случай совсем не такой, каким был мой. Соответственно, мой подход для вашего случая может и не быть оптимальным.

@Игорь[Igor] · 11.10.2013, 20:49

Сообщение от PIkarus

Ну зачем же так себя ограничивать, для каждой цели надо искать подходящее средство, может и вам он когда пригодится )

Ну пока что обходился этим компонентом TidHttp, WebBrowser в руках даже не держал если честно.

Новые блоги и статьи Все статьи Все блоги /
Мир по моей воле kumehtar 07.08.2026 Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .	Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .	У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35". kumehtar 04.08.2026 С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .	Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники). Hrethgir 04.08.2026 Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .
Термопринтер QR701 Argus19 03.08.2026 Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .	Создание формы заимствованного документа Maks 03.08.2026 Задача: Необходимо создать собственную форму заимствованного документа. На форме должен быть реквизит "Покупатель", а также табличная часть со следующими реквизитами: - Расчетный счет покупателя. . .	Задача предоставления скидок покупателям Maks 03.08.2026 Задача: В документе "Продажи" необходимо реализовать функционал предоставления скидок покупателям. Скидка должна автоматически рассчитываться и подставляться в соответствующее поле при выборе. . .	Почему SEO не начинается с ключевых слов: что проверить до написания текстов Neotwalker 01.08.2026 Когда владельцу сайта предлагают заняться SEO, первым шагом часто становится сбор запросов и написание текстов. Логика кажется понятной: 1. Находим ключевые слова. 2. Добавляем их на. . .

@PIkarus 0 / 0 / 2 Регистрация: 09.09.2013 Сообщений: 32

	Парсинг динамически изменяющихся Web страниц 10.10.2013, 12:12. Показов 13215. Ответов 43 Метки нет (Все метки) Всем привет. Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы. Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется. Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом. Буду очень признателен за выложенный скелет проекта. 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 19:03
	Делайте как вам удобнее я предпочитаю не работать с WebBrowser 0