Парсинг динамически изменяющихся Web страниц

@PIkarus · Регистрация: 09.09.2013

Студворк — интернет-сервис помощи студентам

Всем привет.
Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы.
Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется.
Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом.
Буду очень признателен за выложенный скелет проекта.

@Игорь[Igor] · 11.10.2013, 19:03

Делайте как вам удобнее я предпочитаю не работать с WebBrowser

@PIkarus · 11.10.2013, 19:08 **[ТС]**

Сообщение от Игорь[Igor]

я предпочитаю не работать с WebBrowser

Ну зачем же так себя ограничивать, для каждой цели надо искать подходящее средство, может и вам он когда пригодится )

@ksk · 11.10.2013, 19:33

Сообщение от PIkarus

Так и я так же делаю - выбираю нужные ноды из wb.Document.All, но все равно, мне так кажется, это не вызывает дополнительных обращений к серверу, чего и следует опасаться

Конечно не вызывает.

Сообщение от PIkarus

В вашем случае может и приходилось. Но мне нужно обрабатывать Live события, там данные обновляются раза 3 в минуту, а полей данных м.б. несколько сотен. Это один из сценариев, а другой - не Live, но на странице много данных и IE компонент начинает тупить на их раскрытии вплоть до того, что идет сообщение "сценарий, выполняемый на этой странице замедляет чего то там и не хочешь ли ты его остановить", причем тот же эффект для этой страницы наблюдается и просто при вызове IE, а вот в хроме все работает нормально

Короче, ваш случай совсем не такой, каким был мой. Соответственно, мой подход для вашего случая может и не быть оптимальным.

@Игорь[Igor] · 11.10.2013, 20:49

Сообщение от PIkarus

Ну зачем же так себя ограничивать, для каждой цели надо искать подходящее средство, может и вам он когда пригодится )

Ну пока что обходился этим компонентом TidHttp, WebBrowser в руках даже не держал если честно.

Новые блоги и статьи Все статьи Все блоги /
Был там один разговор по поводу свободы в материальном мире. kumehtar 19.08.2026 Суть: рассматривается живое существо, оказавшееся внутри довольно странной системы (этого мира) и пытающееся обустроить в ней свой кусок пространства. Жизнь действительно предъявляет каждому. . .	Когда логика программы не спасает от человеческих ошибок Maks 18.08.2026 В последнее время всё чаще и чаще сталкиваюсь с таким явлением, как абсолютная невнимательность (или глупость) пользователей. Проявляется это чаще всего на работе в коллективе. Допустим, человек с. . .	Лето уходит kumehtar 17.08.2026	Мысли в слух kumehtar 17.08.2026 Забавно, насколько сейчас стала доступна информация. Например о магии, духовном развитии, медитациях, и других подобных направлениях, ранее зачастую тайных, передаваемых от учителя к ученику. Хотя. . .
Перемещение строк из ТЧ в другой документ с учетом текущего пробега Maks 17.08.2026 Реализация из решения ниже выполнена на примере нетипового документа "Автозапчасти", с ТЧ "Шины". За основу взят алгоритм отсюда: https:/ / www. cyberforum. ru/ blogs/ 359708/ 10838. html Задача: . . .	Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .

@PIkarus 0 / 0 / 2 Регистрация: 09.09.2013 Сообщений: 32

	Парсинг динамически изменяющихся Web страниц 10.10.2013, 12:12. Показов 13268. Ответов 43 Метки нет (Все метки) Всем привет. Пишу проект, в котором требуется выгружать в БД со страницы сайта некоторый набор динамически изменяющихся полей (т.е. их зависимость от времени). Есть реализация с периодическим извлечением текущих значений через WebBrowser.Document, однако не устраивает скорость работы - IE даже и сам по себе довольно медленно отрабатывает изменения наполнения страницы. Курил форум по CefSharp, но не смог оттуда почерпнуть того, что требуется. Если кто-то решал подобную задачу, например с использованием Chromium или Gecko, поделитесь пожалуйста опытом. Буду очень признателен за выложенный скелет проекта. 0

@Игорь[Igor] 726 / 478 / 130 Регистрация: 24.12.2008 Сообщений: 3,924
	11.10.2013, 19:03
	Делайте как вам удобнее я предпочитаю не работать с WebBrowser 0

Опции темы