Парсинг скрытых ссылок на сайтах

@muhomka · Регистрация: 06.04.2017

Студворк — интернет-сервис помощи студентам

Добрый день!
Я программирую на C# (делаю веб-парсер для экстракции номеров телефонов и ссылок), с JavaScript я не знаком. Сейчас я вижу что почти все сайты используют сокрытые ссылки, прячут номера телефонов и другое содержимое. Для их подгрузки нужно выполнять действия нажатия. В "спарсенном" коде они отсутствуют. Подскажите пожалуйста где мне почитать и что изучить, чтоб можно было как то спарсить эту инфу, отправлять запрос на подгрузку этих сокрытых ссылок или как?. Вот пример HTML кода с сайта где сокрыт номер телефона.

Буду благодарен за любую помощь! Спасибо!

@diadiavova · 08.11.2018, 17:34

muhomka, самый простой вариант - использовать WebBrowser или другой веб-движок. Загружать в него страницу и управлять содержимым программно. Если этот вариант не подходит, то придется освоиться с инструментами разработчика, встроенными в любой браузер (открываются клавишей F12), смотреть откуда подгружаются данные, изучать как формируется запрос и дальше можно будет отправлять запросы программно.

@muhomka · 08.11.2018, 17:50 **[ТС]**

Я собираюсь использовать чисто консольное приложение

@diadiavova · 08.11.2018, 17:59

Сообщение от muhomka

Я собираюсь использовать чисто консольное приложение

Тогда второй вариант. Есть, конечно, возможность задействовать IE, но это так себе решение. Грузи страницу, открывай инструменты разработчика, вкладка Сеть, там можно выбрать фильтр XHR, дальше выполняешь действие по которому подгружается информация, в это время в список отправленных запросов в инструментах добавятся новые, вот их нужно изучить, чтобы понять какие запросы надо посылать. Иногда это просто, а бывает надо покумекать.

@Evgen1337 · 08.11.2018, 18:04

смотри CEFSharp.OffScreen - хромиум в хидлесс режиме...
https://github.com/cefsharp/Ce... en.Example

@muhomka · 10.11.2018, 01:04 **[ТС]**

Я пока не пробовал, но вспомнил про програмку Fidler, там можно будет посмотреть сформированный запрос браузера. Так подойдет?

@diadiavova · 10.11.2018, 03:07

Сообщение от muhomka

но вспомнил про програмку Fidler, там можно будет посмотреть сформированный запрос браузера. Так подойдет?

Подойдет. Если ты ее хорошо знаешь, то она может дать массу преимуществ, в противном случае с ней возни будет намного больше.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@muhomka 1 / 1 / 0 Регистрация: 06.04.2017 Сообщений: 17

	Парсинг скрытых ссылок на сайтах 08.11.2018, 16:04. Показов 1731. Ответов 6 Метки нет (Все метки) Добрый день! Я программирую на C# (делаю веб-парсер для экстракции номеров телефонов и ссылок), с JavaScript я не знаком. Сейчас я вижу что почти все сайты используют сокрытые ссылки, прячут номера телефонов и другое содержимое. Для их подгрузки нужно выполнять действия нажатия. В "спарсенном" коде они отсутствуют. Подскажите пожалуйста где мне почитать и что изучить, чтоб можно было как то спарсить эту инфу, отправлять запрос на подгрузку этих сокрытых ссылок или как?. Вот пример HTML кода с сайта где сокрыт номер телефона. Буду благодарен за любую помощь! Спасибо! 0

@diadiavova 7259 / 2606 / 744 Регистрация: 11.04.2015 Сообщений: 4,150 Записей в блоге: 43
	08.11.2018, 17:34
	muhomka, самый простой вариант - использовать WebBrowser или другой веб-движок. Загружать в него страницу и управлять содержимым программно. Если этот вариант не подходит, то придется освоиться с инструментами разработчика, встроенными в любой браузер (открываются клавишей F12), смотреть откуда подгружаются данные, изучать как формируется запрос и дальше можно будет отправлять запросы программно. 0

@muhomka 1 / 1 / 0 Регистрация: 06.04.2017 Сообщений: 17
	08.11.2018, 17:50 [ТС]
	Я собираюсь использовать чисто консольное приложение 0

@Evgen1337 249 / 162 / 68 Регистрация: 10.12.2017 Сообщений: 558
	08.11.2018, 18:04
	смотри CEFSharp.OffScreen - хромиум в хидлесс режиме... https://github.com/cefsharp/Ce... en.Example 0

@muhomka 1 / 1 / 0 Регистрация: 06.04.2017 Сообщений: 17
	10.11.2018, 01:04 [ТС]
	Я пока не пробовал, но вспомнил про програмку Fidler, там можно будет посмотреть сформированный запрос браузера. Так подойдет? 0