Парсинг динамических сайтов

@kryacer · Регистрация: 04.01.2016

Студворк — интернет-сервис помощи студентам

Всем привет! Ищу способы получения HTML кода сайтов которые подгружают данные путем javascript-a. Стандартные способы webrequest, webclient, webbrowser не помогают. Просьба знающих помочь в данном вопросе.

@Shogun31337 · 21.05.2017, 04:16

Сообщение от kryacer

Стандартные способы webrequest, webclient, webbrowser не помогают.

С чего это вдруг??? Согласен, что долго и нудно, но, по крайней мере, webrequest прекрасно работает.

Сообщение от kryacer

подгружают данные путем javascript-a

Можешь попробовать загружать js и выполнять в своей программе. Начальные сведения можно почерпнуть отсюда!
Еще, как вариант, можно использовать webdriver. Но вариант достаточно тормозной.

@kryacer · 21.05.2017, 11:44 **[ТС]**

Сообщение от Shogun31337

webrequest прекрасно работает.

webrequest выдает не полный HTML код.

Из всего что я искал возможно подойдут варианты с phantomjs или cefsharp. Но чет не разобрался как с ними получить html код

@Shogun31337 · 21.05.2017, 15:08

Сообщение от kryacer

webrequest выдает не полный HTML код.

webrequest выдает результат запроса. Это не обязательно должен быть полный html. В динамических сайтах, как правило, код загружается при первом запросе, а потом данные передаются в json, который парсить еще проще, чем html. Т.е. тут неважно, что использовать! Результат запроса от этого не изменится!

Сообщение от kryacer

подойдут варианты с phantomjs или cefsharp.

По этому поводу ничего не могу сказать. Сам не использовал подобные библиотеки.

@kryacer · 27.05.2017, 03:39 **[ТС]**

Сообщение от Shogun31337

а потом данные передаются в json, который парсить еще проще

Мог б примерный код набрать?

C#
1
2
3
4
5
6
7
8
9
10
string URL = "http://www.mlb.com/mlb/schedule/";
 
using (var client = new WebClient())
{
    client.Headers["Content-Type"] = "application/json; charset=UTF-8";
    var json =  client.UploadString(URL, JsonConvert.SerializeObject(new { License = "1CALLCC871KC", Ubi ="", IrlVilationId="", IsSecured="" }));
 
    dynamic response = JsonConvert.DeserializeObject(json);
    Console.WriteLine(response.d.ReturnValue.Contractor.BusinessName.ToString());
}

код из инета, но он не работает

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

@kryacer 0 / 0 / 0 Регистрация: 04.01.2016 Сообщений: 3

	.NET 4.x Парсинг динамических сайтов 20.05.2017, 23:34. Показов 4333. Ответов 4 Метки парсинг html (Все метки) Всем привет! Ищу способы получения HTML кода сайтов которые подгружают данные путем javascript-a. Стандартные способы webrequest, webclient, webbrowser не помогают. Просьба знающих помочь в данном вопросе. 0