Форум программистов, компьютерный форум, киберфорум
.NET
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.85/13: Рейтинг темы: голосов - 13, средняя оценка - 4.85
144 / 112 / 9
Регистрация: 12.09.2011
Сообщений: 763
1

Парсинг сайта с Java

24.07.2020, 08:20. Просмотров 2553. Ответов 2
Метки нет (Все метки)

Привет всем!

У меня есть задача парсить данные с сайта, большая часть которого генерируется какими-то скриптами, скорее всего Java. То есть, когда я открываю этот сайт в браузере и сохраняю его в html, то на выходе получается небольшой html-файл, в котором самих нужных мне данных нет, а есть какие-то вызовы скриптов.

Подскажите, пожалуйста, возможно ли средствами .NET (C# или VB) получать всё содержимое страницы сайта со всеми сгенерированными данными на странице, то есть так, как если бы я её открыл в браузере? Может быть есть какая-то бесплатная библиотека для этого? Может быть HtmlAgilityPack может такое сделать?

Спасибо!
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
24.07.2020, 08:20
Ответы с готовыми решениями:

Помогите реализовать парсинг сайта на Java
Здравствуйте уважаемые форумчане, возникла такая ситуация, есть пост запрос следующего содержания:...

Парсинг данных с сайта или страницы сайта
Здравствуйте, добрые люди! Есть задача спарсить данные с страницы соц сети. Или просто со...

Парсинг пакета на java
Господа, подскажите, как это правильно делать в Java? Допустим я получаю по сети пакет...

Парсинг XML в java
Помогите с программой пожалуйста (хотя бы задайте верное направление) Имеется xml документ, там...

2
Эксперт .NET
8529 / 5969 / 996
Регистрация: 21.01.2016
Сообщений: 22,603
24.07.2020, 09:18 2
Цитата Сообщение от Vinemax Посмотреть сообщение
Может быть HtmlAgilityPack может такое сделать?
Т.е. вы ещё не пробовали, но вопрос уже задаёте?

Вообще, если содержимое страницы формируется динамически, то HtmlAgilityPack уже не поможет. Нужно или работать с веб-приложение через браузер (гуглите: Selenium) или смотреть как скрипты с сервером взаимодействуют (API) и обращаться к серверу напрямую.
1
608 / 437 / 158
Регистрация: 21.02.2019
Сообщений: 1,597
24.07.2020, 11:51 3
Vinemax,
.. в вашем случае прежде всего можно поставить Fiddler между браузером и сайтом, и посмотреть на формат ответа от сервера, возможно там есть все данные, которые вам нужны в открытом виде в формате JSON или XML или URL-encoding ...Но есть большая вероятность, что эти данные упакованы/зашифрованы в виде base64 или еще как - тогда Selenium, как сказали выше, или подобные ...
1
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
24.07.2020, 11:51

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь.

Парсинг Java чата
здравствуйте. Хочу спарсить чат - а конкретно все что есть в элементе(1). Но если вписываю его...

Парсинг сайта
Добрый день, стоит задача парсить сайт game.co.uk. Необходимо консольное апп, которое принимает...

Парсинг сайта
Имеется страница с примерно следующим содержимым ... <div class="main random"> <b>1</b>...

Парсинг сайта
Здравствуйте. Подскажите пожалуйста. Есть необходимость получать данные со страниц сайта, нажимать...

Парсинг сайта
Всем привет! Никак не могу найти хорошего описания "с чего начать" при написании парсера (авито...

Парсинг с сайта
Здравствуйте. Не могу никак понять, как парсить "неопределённую" информацию с сайта. Вот допустим...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.