Как спарсить скрытую информацию со страницы html?

@NasNeDagonyat · Регистрация: 18.08.2017

Студворк — интернет-сервис помощи студентам

Пишу парсер на C# VS 2017 используя Browser.FindElements(); Но не получается достать скрытую Нужную информацию со страницы (она не отображается на ней). С помощью Browser.FindElements(#carlist div.car) Получается спарсить только видимую.
<div class ="carlist" id = "12345">
__<div class="car" cost="123" hash="Нужная информация"><div class=...></div>...</div>
Возможно нужно использовать другие методы? Или есть какие-то более правильные указатели пути?

@OwenGlendower · 18.08.2017, 17:17

NasNeDagonyat, у найденного элемента должна быть коллекция атрибутов. Там и должна быть нужная тебе информация.

@hoolygan · 18.08.2017, 17:47

Не факт.
Смотря каким образом скрывают.
Могут быть скрипты, да всё что угодно, так что не обязательно, что найдешь посредством стандартных атрибутов css, которые "скрывают" видимость элемента.
Поскольку сам сайт не указан - то помочь особо не получится.

@NasNeDagonyat · 18.08.2017, 18:06 **[ТС]**

OwenGlendower, она вроде нигде не дублируется. Поискал через ctrl+f в панели разработчика.
hoolygan, При наведении мышкой на элемент высвечивается нужная информация. Элементов много, поэтому писать скрипт с поочередным наведением не имеет смысла. Как-то по-другому ее нужно получить.

@edward_freedom · 18.08.2017, 18:13

NasNeDagonyat, Нажми просмотреть исходный код вручную и поищи там информацию, если ее не будет, но надо будет искать ее в готовом DOM

@OwenGlendower · 18.08.2017, 18:18

Сообщение от hoolygan

Смотря каким образом скрывают.

ТС привел HTML из которого понятно что речь идет всего лишь о атрибуте. И раз он есть в HTML или DOM, то нет никаких проблем добраться до него.

Сообщение от hoolygan

Могут быть скрипты, да всё что угодно, так что не обязательно, что найдешь посредством стандартных атрибутов css, которые "скрывают" видимость элемента.

Визуальное скрытие никак не мешает получать доступ к таким элементам.

Добавлено через 42 секунды

Сообщение от NasNeDagonyat

она вроде нигде не дублируется

При чем здесь дублирование?

@NasNeDagonyat · 18.08.2017, 19:22 **[ТС]**

Сообщение от OwenGlendower

И раз он есть в HTML или DOM, то нет никаких проблем добраться до него.

как?

@OwenGlendower · 18.08.2017, 19:47

NasNeDagonyat, уже писал выше как - через коллекцию атрибутов. Если нужен конкретный код, то поясни что за метод Browser.FindElements(). Это из библиотеки Selenium?

@NasNeDagonyat · 18.08.2017, 20:18 **[ТС]**

OwenGlendower, да

C#
1
List<IWebElement> Cars = Browser.FindElements(By.CssSelector(#carlist div.car))

и на выходе я получаю <div class="car" cost="123" hash="Нужная информация">Вот эту информацию</div>

@OwenGlendower · 18.08.2017, 20:24

NasNeDagonyat,

C#
1
2
3
4
5
List<IWebElement> Cars = Browser.FindElements(By.CssSelector("#carlist div.car"));
foreach (var element in Cars)
{
    string hash = element.GetAttribute("hash");
}

@NasNeDagonyat · 18.08.2017, 21:00 **[ТС]**

OwenGlendower, Огромное спасибо, то что нужно! (совсем не знал про метод GetAttribute())

@Почтальон · 20.08.2017, 09:52

NasNeDagonyat, GetAttribute() относится к списочным типам данных, к парсингу это вообще не имеет отношения.
OwenGlendower привел вам код, который получает коллекцию элементов, далее (в цикле) идет ее обработка.

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

@NasNeDagonyat 0 / 0 / 0 Регистрация: 18.08.2017 Сообщений: 6

	Как спарсить скрытую информацию со страницы html? 18.08.2017, 17:02. Показов 5521. Ответов 11 Метки нет (Все метки) Пишу парсер на C# VS 2017 используя Browser.FindElements(); Но не получается достать скрытую Нужную информацию со страницы (она не отображается на ней). С помощью Browser.FindElements(#carlist div.car) Получается спарсить только видимую. <div class ="carlist" id = "12345"> __<div class="car" cost="123" hash="Нужная информация"><div class=...></div>...</div> Возможно нужно использовать другие методы? Или есть какие-то более правильные указатели пути? 0

@OwenGlendower Администратор 18296 / 14220 / 5368 Регистрация: 17.03.2014 Сообщений: 28,897 Записей в блоге: 1
	18.08.2017, 17:17
	NasNeDagonyat, у найденного элемента должна быть коллекция атрибутов. Там и должна быть нужная тебе информация. 0

@hoolygan 360 / 287 / 76 Регистрация: 21.06.2016 Сообщений: 1,115
	18.08.2017, 17:47
	Не факт. Смотря каким образом скрывают. Могут быть скрипты, да всё что угодно, так что не обязательно, что найдешь посредством стандартных атрибутов css, которые "скрывают" видимость элемента. Поскольку сам сайт не указан - то помочь особо не получится. 0

@NasNeDagonyat 0 / 0 / 0 Регистрация: 18.08.2017 Сообщений: 6
	18.08.2017, 18:06 [ТС]
	OwenGlendower, она вроде нигде не дублируется. Поискал через ctrl+f в панели разработчика. hoolygan, При наведении мышкой на элемент высвечивается нужная информация. Элементов много, поэтому писать скрипт с поочередным наведением не имеет смысла. Как-то по-другому ее нужно получить. 0

@edward_freedom 1569 / 1448 / 303 Регистрация: 01.10.2011 Сообщений: 2,636
	18.08.2017, 18:13
	NasNeDagonyat, Нажми просмотреть исходный код вручную и поищи там информацию, если ее не будет, но надо будет искать ее в готовом DOM 0

@OwenGlendower Администратор 18296 / 14220 / 5368 Регистрация: 17.03.2014 Сообщений: 28,897 Записей в блоге: 1
	18.08.2017, 19:47
	NasNeDagonyat, уже писал выше как - через коллекцию атрибутов. Если нужен конкретный код, то поясни что за метод Browser.FindElements(). Это из библиотеки Selenium? 1

@NasNeDagonyat 0 / 0 / 0 Регистрация: 18.08.2017 Сообщений: 6
	18.08.2017, 21:00 [ТС]
	OwenGlendower, Огромное спасибо, то что нужно! (совсем не знал про метод GetAttribute()) 0

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	20.08.2017, 09:52
	NasNeDagonyat, GetAttribute() относится к списочным типам данных, к парсингу это вообще не имеет отношения. OwenGlendower привел вам код, который получает коллекцию элементов, далее (в цикле) идет ее обработка. 0

Как спарсить скрытую информацию со страницы html?

Решение