|
0 / 0 / 1
Регистрация: 25.03.2012
Сообщений: 11
|
||||||
.NET 4.x Многопоточный парсер сайтов: как обрабатывать javaScript13.12.2012, 19:30. Показов 3670. Ответов 2
Метки нет (Все метки)
Здравствуйте!
Есть задание написать парсер 3-х сайтов с извлечением определенной информации (для примера картинки). Каждый сайт должен парсится в отдельном потоке. Все бы ничего, кажется создаем поток, в нем объект WebRequest и парсим. Но вся проблема в том, что некоторые картинки можно получить только отработав javaScript функцию на сайте. А как известно WebRequest это не делает. Можно конечно извратиться и сделать что-то наподобие этого:
Может у кого-нибудь есть более изящные способы решения данной задачи? Или хотя бы решение как исправить данную ошибку)) Заранее благодарен
0
|
||||||
| 13.12.2012, 19:30 | |
|
Ответы с готовыми решениями:
2
Многопоточный парсер Как лучше реализовать парсер HTML/XML, CSS, JavaScript? Дайте совет:как правильно собрать многопоточный парсер динамических страниц |
|
29 / 29 / 8
Регистрация: 13.12.2009
Сообщений: 70
|
|
| 13.12.2012, 19:52 | |
|
Проблема может быть в том, что событие DocumentCompleted может вызываться несколько раз (In case of multiple frames, DocumentComplete gets fired multiple times...)
Поставьте бряк на событии и проверьте. Если это так, то действуйте по хорошей статье... статья и здесь для познавания.
0
|
|
|
0 / 0 / 1
Регистрация: 25.03.2012
Сообщений: 11
|
||||||
| 14.12.2012, 14:34 [ТС] | ||||||
|
Попробовал метод
Потестировал выполнение данного javascript на компоненте WebBrowser. Отрабатывал javascript по нажатию кнопки. Результатом этого теста стало подтверждение того, что даже в интерфейсе при отработке скрипта, страница в бразуере перезагружается но уже с необходимым мне изображением. Может есть еще какие-нибудь предложения по исправлению данной ошибки. Добавлено через 18 часов 19 минут Промучался полдня и дошел до того, что при вызове метода DownLoadCompleted выполняется javascript. Однако как мне забрать модифицированный скриптом html? Если после загрузки страницы выполнить какое-либо действие (к примеру нажать на кнопку) в котором получать доступ к необходимому элементу, то все проходит на ура... Итак вопрос! Как можно выполнить какое-нибудь действия после выполнения метода DownLoadCompleted?
0
|
||||||
| 14.12.2012, 14:34 | |
|
Помогаю со студенческими работами здесь
3
парсер сайтов
Как можно обрабатывать две скрипта javascript одновременно? Многопоточный HTML Парсер Многопоточный парсер по ftp Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
|
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/
O1rJuneU_ls
https:/ / vkvideo. ru/ video-115721503_456239114
|
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ВВЕДЕНИЕ
Введу сокращения:
аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
|
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi
ветка по-частям.
коммит Create переделка под биомассу. txt
вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
|
|
Расчёт токов в цепи постоянного тока
igorrr37 05.01.2026
/ *
Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях.
Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её.
Последовательность действий:. . .
|
Новый CodeBlocs. Версия 25.03
palva 04.01.2026
Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .
|
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение.
И на уровне агентов добавится между грибами или бактериями взаимодействий.
До того я пробовал подход через многомерные массивы,. . .
|
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Налог на собак: https:/ / **********/ gallery/ V06K53e
Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf
Пост отсюда. . .
|