Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.67/3: Рейтинг темы: голосов - 3, средняя оценка - 4.67
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
1
.NET 4.x

Трудности при париснге HTML страницы - пустые данные

03.08.2014, 17:14. Показов 610. Ответов 13
Метки нет (Все метки)

Здравствуйте. Практикую парсинг страниц, использую HtmlAgilityPack и возникли проблемы, паршу ноду по ХPath'у и она остается пустой, т.е. не находит элемента по такому пути. Сначала грешил на HTML документ, мол, он пуст (я не знаю, ка проверить пуст ли), но когда попробовал спарсить другую информацию с этой же странице, то все прошло удачно.
В чем может быть дело? Может там есть подгрузки чего-то, что я пытаюсь спарсить уже после загрузки страницы?
__________________
Помощь в написании контрольных, курсовых и дипломных работ здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
03.08.2014, 17:14
Ответы с готовыми решениями:

Программно вывести необходимые данные из HTML страницы.
Здравствуйте друзья! Я программно перешел на страницу сайта (формата страницы HTML) через...

Спарсить данные с HTML страницы
Имеется HTML страница, со следующими содержаниеми: <table class="table table-hover"> ...

Как получить данные с html страницы
Здравствуйте. Подскажите пожалуйста. Появилась необходимость написать программу, которая при...

При сохранении HTML из TextBox появляются пустые строки
Сохраняю в файл из TextBox2.Text, смотрю сохраненный файл в блокноте, появляются в файлах *.htm ...

13
6243 / 3544 / 898
Регистрация: 28.10.2010
Сообщений: 5,926
03.08.2014, 17:24 2
Значит Вы написали неправильный XPath.
0
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
03.08.2014, 17:54  [ТС] 3
Петррр, Chrome мог дать неправильный XPath? Сомневаюсь.
0
6243 / 3544 / 898
Регистрация: 28.10.2010
Сообщений: 5,926
03.08.2014, 18:36 4
KriBetko, продолжайте сомневаться, от этого Ваша задача не будет прогрессировать.
В Chrome работает JavaScript и после загрузки он может изменить DOM. HtmlAgilityPack не браузер, там нет JavaScript, эта библиотека, которая просто выполняет разбор текста, поэтому вполне возможно, что там нужен совсем другой XPath.
0
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
03.08.2014, 18:41  [ТС] 5
Петррр, да, поэтому я получаю HTML через HttpRequest. А как можно определить "настоящий" XPath?
0
6243 / 3544 / 898
Регистрация: 28.10.2010
Сообщений: 5,926
03.08.2014, 18:45 6
HtmlAgilityPack.HtmlDocument.DocumentNode.OuterHtml
1
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
03.08.2014, 19:00  [ТС] 7
Петррр, а как это работает?

Добавлено через 4 минуты
Петррр, стоп, это просто получение HTML дока в текст, спасибо, но мне бы основную проблему решить
0
868 / 718 / 304
Регистрация: 15.04.2013
Сообщений: 2,047
Записей в блоге: 5
03.08.2014, 19:08 8
KriBetko,
Возможно требуемая вам информация подгружается подгружается AJAX'ом смотрите на запросы.
0
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
03.08.2014, 19:43  [ТС] 9
XRoy, выполняется полтора десятка JS и пара jQuery. Что-то из этого?
0
868 / 718 / 304
Регистрация: 15.04.2013
Сообщений: 2,047
Записей в блоге: 5
03.08.2014, 20:29 10
KriBetko,
Просмотрите полученные запросы, большая доля вероятности что там есть та информация которая вам необходима.
0
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
03.08.2014, 20:40  [ТС] 11
XRoy, а как понять, что мне необходимо?
0
868 / 718 / 304
Регистрация: 15.04.2013
Сообщений: 2,047
Записей в блоге: 5
03.08.2014, 21:06 12
KriBetko,
Смотрите на ответы сервера
0
Заблокирован
03.08.2014, 21:21 13
KriBetko, может вы уже код покажите, откуда и как вы парсите?
1
4 / 4 / 4
Регистрация: 01.11.2013
Сообщений: 135
04.08.2014, 09:33  [ТС] 14
Ev_Hyper, прикрепил проект.
А откуда и что:заходите на "darkorbit.bigpoint.com" (не оставляю ссылкой), авторизируетесь данными TesTetko:125125 переходите в "Скайлэб", нажимаете на любой модуль, вкладка Апргейд и вот, я пытаюсь парсить кнопку "построить"
Вложения
Тип файла: zip ParsingTestProject.zip (177.5 Кб, 4 просмотров)
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
04.08.2014, 09:33

МФУ HP photosmart 6510 выдает пустые страницы при ксерокопировании документов
Добрый день ! Возник следующий вопрос - МФУ HP photosmart 6510 начал выдавать пустые страницы...

При переходе в категории, регистрации, статистики и прочего открываются пустые страницы
Доброго времени суток! У меня возникла проблема, при переходе в категории, регистрации, статистики...

Вытащить данные с html страницы в БД
Необходимо взять данные с HTML страницы и вставить их в свою БД

Получить данные со страницы HTML
Открыл такую тему в ветке по Делфям, но потом понял, что наверное, не совсем там спросил....


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
14
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru