Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
 
Рейтинг 5.00/6: Рейтинг темы: голосов - 6, средняя оценка - 5.00
5 / 5 / 5
Регистрация: 15.07.2012
Сообщений: 773
1

Замена Webbrowser или другой лучший вариант для скоростного парсинга

16.03.2016, 15:51. Показов 1074. Ответов 3
Метки нет (Все метки)

Замена Webbrowser или другой лучший вариант для скоростной парсинг
Добрый день хочу написать программу-парсинг не для кражи контента, а для сбора и анализа данных. Так вот раньше я таким не занимался немного порыл попробовал Webbrowser который на ошибки js материться. Почитал и понял, что многие не используют Webbrowser а используют другие движки.
Первое что спрошу так это насчет ajax и js и безболезненного получения результата их работы. Есть ли более быстрые способы получения подгружаемых данных ajax и js кроме как webbrowser и подобных(кроме как самому отслеживать что откуда и чем вызывается, мне не пойдет потому что на сайтах которые я собираюсь парсить хорошая защита и много js ).
Если нет других способов, расскажите, какими движками вы пользуетесь, насколько они быстры и практичны в работе. В идеале хотелось бы получить возможность отключать css, картинки, видео, желательно не подгружать данные со сторонних сайтов (если не будет конечно мешать работе нужного нам js), и все что связанно с авторизацией и смены ip и многопоточность. Очень буду ждать ответов
__________________
Помощь в написании контрольных, курсовых и дипломных работ здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
16.03.2016, 15:51
Ответы с готовыми решениями:

Лучший вариант для работы с Modbus
Здравствуйте. Внезапно у меня появилась задача: организовать передачу данных от приложения с...

Лучший вариант обновления для моей системы
У меня: Intel i3, 3,07 на ядро GeForce GTS 450, 4 Gb RAM Win 7, 64-bit Какую видео карты вы...

ЧПУ: лучший вариант для адресов страниц сайта
Думаю суть вопросы понятна, хотелось бы услышать ваши комментарии. Конечно же мы говорим об...

Какой лучший вариант для домашнего ПК (оптимальный вариан)
Добрый день, посмотрел на форуме раздел похожих ситуаций, мне маленько не подходят они, не знал что...

3
1450 / 843 / 150
Регистрация: 06.06.2012
Сообщений: 2,370
16.03.2016, 16:00 2
Короче слухай сюда Братуха,

Попробуй это юзануть: https://sourceforge.net/projects/webkitdotnet/
может прокатит.
1
5 / 5 / 5
Регистрация: 15.07.2012
Сообщений: 773
16.03.2016, 16:04  [ТС] 3
Спасибо буду читать, а сами пробовали
0
1450 / 843 / 150
Регистрация: 06.06.2012
Сообщений: 2,370
16.03.2016, 16:11 4
Цитата Сообщение от Братуха Посмотреть сообщение
а сами пробовали
Пока нет! Но если надо будет парсить страницы точно заюзаю эту штуку.
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
16.03.2016, 16:11

Не открывается ссылка через webbrowser для парсинга
Есть ссылка : http://s4.radioboss.fm:8158/ Как её открыть для парса?

Подскажите что из двух вариантов лучше, или предложите лучший вариант. Игровой компьютер, от 35 000 до 37 000
Всем привет, хочу собрать игровой компьютер, для начала разгонять не собираюсь, но в дальнейшем в...

Справочник по phpQuery или другой простой способ парсинга сайтов
Озадачился я парсингом одного сайта наиболее простым для новичка способом: Строковый поиск -...

Апгрейд или есть другой вариант?
Корпус Cooler Master HAF 912 Plus, Black БП ATX 600W FSP ATX-600PNR Intel Core i5 3470 GigaByte...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.