|
5 / 5 / 3
Регистрация: 10.06.2011
Сообщений: 242
|
|||||||||||
Получить код HTML страницы предварительно выполнив скрипты23.10.2019, 11:24. Показов 2044. Ответов 13
Здравствуйте, ув. форумчане! Подскажите, пожалуйста, правильное решение моей задачи.
Допустим, есть сайт - http://info.goaloo.com/en/team/summary/407.html Мне нужно получить HTML код таблицы со статистикой для дальнейшего парсинга данных. Используя один из классических способов, у меня ничего не получилось. Думаю проблема в том, что таблица создается Js скриптом при открытие страницы, а метод HttpWebRequest просто не приспособлен для работы в таком формате.
Добавлено через 1 час 4 минуты Кстати, даже используя WebBrowser получилось не очень хорошо:
0
|
|||||||||||
| 23.10.2019, 11:24 | |
|
Ответы с готовыми решениями:
13
Как получить код страницы, после того, как все скрипты данной страницы отработают, и выдадут все результаты? Получить код HTML страницы Получить HTML код страницы |
|
800 / 583 / 207
Регистрация: 21.02.2019
Сообщений: 2,095
|
|
| 23.10.2019, 12:16 | |
|
..насколько я понял, китайцы данные передают непосредственно в JavaScript-файлах в виде массивов .. В принципе их можно распарсить, если понять структуру, т.е. загружать непосредственно файлы из папки jsData и работать с массивами ...
0
|
|
|
5 / 5 / 3
Регистрация: 10.06.2011
Сообщений: 242
|
||
| 23.10.2019, 12:22 [ТС] | ||
|
Я посмотрел куки, там только ID сессии сохраняется, что никак на скрипты влиять не должно.
0
|
||
|
800 / 583 / 207
Регистрация: 21.02.2019
Сообщений: 2,095
|
|
| 23.10.2019, 12:31 | |
|
.. WebBrowser работает на движке Internet Explorer, как говорят .. возможно, он не все скрипты отрабатывает ...
0
|
|
|
5 / 5 / 3
Регистрация: 10.06.2011
Сообщений: 242
|
|
| 23.10.2019, 12:36 [ТС] | |
|
0
|
|
|
800 / 583 / 207
Регистрация: 21.02.2019
Сообщений: 2,095
|
|
| 23.10.2019, 12:43 | |
|
Maxsis,
.. если речь идет о данном конкретном сайте (а не о парсинге HTML в общем), то я бы просто загружал JSscript-ы в виде файлов, открывал их как текстовые файлы, а потом десериализировал каким-нибудь походящим способом, например, как здесь: How can I parse a string representation of an array ? ... это бы заняло гораздо меньше ресурсов ... Но это как вариант ...
0
|
|
|
5 / 5 / 3
Регистрация: 10.06.2011
Сообщений: 242
|
||
| 23.10.2019, 12:56 [ТС] | ||
|
0
|
||
|
800 / 583 / 207
Регистрация: 21.02.2019
Сообщений: 2,095
|
|
| 23.10.2019, 13:05 | |
|
Maxsis,
.. откройте консоль разработчика в Chrome, например, там на вкладке Sources увидите "папку" jsData, а в ней эти самые файлы .. Но я не разбирался, какой к чему ... Массивы там объявлены просто строкой типа var arrTeam =
0
|
|
|
5 / 5 / 3
Регистрация: 10.06.2011
Сообщений: 242
|
|||||||
| 23.10.2019, 13:22 [ТС] | |||||||
0
|
|||||||
|
800 / 583 / 207
Регистрация: 21.02.2019
Сообщений: 2,095
|
|
| 23.10.2019, 13:26 | |
|
..ну, значит, они как-то пересчитываются непосредственно в исполняемом скрипте .. наверное, понять можно, но увы ..
0
|
|
|
911 / 796 / 329
Регистрация: 08.02.2014
Сообщений: 2,391
|
|
| 23.10.2019, 14:33 | |
|
Maxsis, jsData/teamInfo/teamDetail/tdl407_en.js там все Ваши данные если брать конкретную страницу
0
|
|
|
5 / 5 / 3
Регистрация: 10.06.2011
Сообщений: 242
|
||||||||
| 23.10.2019, 21:24 [ТС] | ||||||||
|
Добавлено через 11 минут
0
|
||||||||
|
911 / 796 / 329
Регистрация: 08.02.2014
Сообщений: 2,391
|
||
| 24.10.2019, 09:42 | ||
|
Добавлено через 5 минут По поводу чтения, Вам нужно прочитать текст и распарсить его как Вам нужно уже. Тут надо смотреть я с js не общался, но думаю есть готовые библиотеки для парсинга, осталось только получить сам файл для этого можно например использую WebClient скачать его себе и работать уже дальше с этим файлом локально, ну или как вы и делали через стримы
0
|
||
|
215 / 149 / 48
Регистрация: 28.12.2016
Сообщений: 716
|
|||||||||||
| 24.10.2019, 18:21 | |||||||||||
|
Maxsis, можете переменную teamcount перевести в json и распарсить в c#
Обрезал json, а то лимит на форуме, нельзя более 25к симв Кликните здесь для просмотра всего текста
0
|
|||||||||||
| 24.10.2019, 18:21 | |
|
Помогаю со студенческими работами здесь
14
Получить код html-страницы Получить код html страницы
Получить HTML код страницы Получить html код любой страницы Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Налог на собак: https:/ / **********/ gallery/ V06K53e
Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf
Пост отсюда. . .
|
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop?
Ниже её машинный перевод.
После долгих разбирательств я наконец-то вернула себе. . .
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод
Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод.
Thinkpad X220 Tablet —. . .
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|