Парсинг данных с сайта

@Jesterru · Регистрация: 19.06.2016

Студворк — интернет-сервис помощи студентам

Добрый вечер, есть проблема :

Мне надо парсить количество поставленных денег на каждую из команд на на данном сайте (del).
Дело в том, что если просто скачать html (С помощью WebClient.DownloadString(); ), то нужные параметры всегда будут равны нулю. Как мне получить реальные значения на момент парсинга? Встречал много таких сайтов, информацию с которых так просто не запарсишь, но ответа на вопрос Почему? не получил

Добавлено через 7 минут
К сожалению, выглядит как реклама, простите уж, но мне интересно узнать саму причину того, почему я не могу запарсить данные и как это правильно делать

@edward_freedom · 14.04.2018, 22:57

Jesterru, Все данные там получаются через сокет. Ты можешь подключится к нему вручную и будешь получать данные в реальном времени. Такие данные будешь получать

JSON
1
["reservation",{"username":"♛ lucky ♛","avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/2b/2b5a43a30b9c63fc9b81e2615e256f302f45de90_medium.jpg","openId":"76561198338899780","level":21,"worth":500,"choice":3,"total":5590,"bets":39}]

@Jesterru · 15.04.2018, 00:01 **[ТС]**

edward_freedom, А каким образом мне через сокет это все получать? Я просто полный ноль в этой теме

@Jesterru · 15.04.2018, 20:13 **[ТС]**

Мне нужно парсить количество поставленной валюты на каждую из команд на ~~этом~~ сайте. Дело в том, что он динамический, информация постоянно подгружается. С помощью гугл хрома обнаружил, что информация подгружается с помощью вебсокетов. А теперь сам вопрос :

Как на C# подключиться к этому сайту и получать те же данные, что и браузер?

Пытался с помощью обычных сокетов подключиться, но я не знаю, что указывать в параметре порт и как этот адрес для вебсокета перевести в цифры (wss://******/socket.io/?EIO=3&transport=websocket).

Сам класс ClientWebSocket и WebSoket у меня использовать не получилось, вылетали исключения, а документации нет почти

@Почтальон · 16.04.2018, 12:26

Jesterru, может проще Selenium использовать ?

@Jesterru · 16.04.2018, 13:55 **[ТС]**

Почтальон, а разве эта библиотека позволит достичь моей цели? Я посмотрел документацию и не нашел решения проблеме. Мне ведь надо просто через вебсокеты получать ту информацию, которую получает мой браузер, но я не пойму как это сделать (Уж и библиотеки разные юзал, и документации читал, эффекта 0)

@Почтальон · 16.04.2018, 14:37

Сообщение от Jesterru

Мне ведь надо просто через вебсокеты получать ту информацию, которую получает мой браузер, но я не пойму как это сделать (Уж и библиотеки разные юзал, и документации читал, эффекта 0)

Если разрабы не дураки, то они шифруют трафик. Вам же, если будете делать через сокеты, придется его еще и дешифровать.

Сообщение от Jesterru

Дело в том, что он динамический, информация постоянно подгружается.

С помощью Selenium`а можно тупо периодически обновлять страницу (самое простое).
Либо можно попытаться использовать скрипты, которые шлют инфу чтобы страница обновлялась.

Сообщение от Jesterru

С помощью гугл хрома обнаружил, что информация подгружается с помощью вебсокетов.

Каким образом вы это определили ?

@Jesterru · 16.04.2018, 14:55 **[ТС]**

Сообщение от Почтальон

Каким образом вы это определили ?

Через гугл хром в консоли разработчика нашел вкладку "WS", в ней было подключение к сокету

Сообщение от Почтальон

Если разрабы не дураки, то они шифруют трафик

Да вроде нет, там все операции "несекретные", все в чистом виде в формате json

Сообщение от Почтальон

С помощью Selenium`а можно тупо периодически обновлять страницу (самое простое)

Это решение проблемы, но, к сожалению, мне нужна конечная информация раунда, а этот конец всегда наступает с разной задержкой. А через сокеты я как раз смогу отследить команду, означающую конец раунда.

Веб Сокеты - это ведь обертка над обычными сокетами? А возможно ли через обычные сокеты получать эту информацию?

Добавлено через 11 минут
Извиниюсь, обычные и веб сокеты - разные вещи

@Почтальон · 16.04.2018, 15:05

Сообщение от Jesterru

Через гугл хром в консоли разработчика нашел вкладку "WS", в ней было подключение к сокету

Скорее всего работает скрипт, и уже через него идет прием данных.

@Jesterru · 16.04.2018, 15:15 **[ТС]**

Сообщение от Почтальон

Скорее всего работает скрипт, и уже через него идет прием данных.

Т.е. что это значит? Что это меняет?

@Почтальон · 16.04.2018, 15:19

Сообщение от Jesterru

Т.е. что это значит? Что это меняет?

Отправлять данные скрипту, принимать их и обрабатывать.

@Jesterru · 16.04.2018, 15:50 **[ТС]**

Сообщение от Почтальон

Отправлять данные скрипту, принимать их и обрабатывать

Спасибо! Но не дадите ли вы мне направление, в котором искать информацию по поводу отправки информации скриптам?

Добавлено через 13 минут

Сообщение от Почтальон

Скорее всего работает скрипт

Но ведь там сокет есть, почему бы прямо из него и не получать данные?

Добавлено через 14 минут
Возник другой вопрос :
Возможно ли скопировать текст со страницы НЕ через html, а напрямую?

@Почтальон · 16.04.2018, 16:28

Сообщение от Jesterru

Возможно ли скопировать текст со страницы НЕ через html, а напрямую?

Отправить запрос через WebClient, прочитать ответ. Но это не избавит вас от исполнения скриптов

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит переходные токи и напряжения на элементах схемы. . . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@Jesterru 3 / 2 / 2 Регистрация: 19.06.2016 Сообщений: 299

	Парсинг данных с сайта 14.04.2018, 22:53. Показов 2378. Ответов 12 Метки нет (Все метки) Добрый вечер, есть проблема : Мне надо парсить количество поставленных денег на каждую из команд на на данном сайте (del). Дело в том, что если просто скачать html (С помощью WebClient.DownloadString(); ), то нужные параметры всегда будут равны нулю. Как мне получить реальные значения на момент парсинга? Встречал много таких сайтов, информацию с которых так просто не запарсишь, но ответа на вопрос Почему? не получил Добавлено через 7 минут К сожалению, выглядит как реклама, простите уж, но мне интересно узнать саму причину того, почему я не могу запарсить данные и как это правильно делать 0

@Jesterru 3 / 2 / 2 Регистрация: 19.06.2016 Сообщений: 299
	15.04.2018, 00:01 [ТС]
	edward_freedom, А каким образом мне через сокет это все получать? Я просто полный ноль в этой теме 0

@Jesterru 3 / 2 / 2 Регистрация: 19.06.2016 Сообщений: 299
	15.04.2018, 20:13 [ТС]
	Мне нужно парсить количество поставленной валюты на каждую из команд на ~~этом~~ сайте. Дело в том, что он динамический, информация постоянно подгружается. С помощью гугл хрома обнаружил, что информация подгружается с помощью вебсокетов. А теперь сам вопрос : Как на C# подключиться к этому сайту и получать те же данные, что и браузер? Пытался с помощью обычных сокетов подключиться, но я не знаю, что указывать в параметре порт и как этот адрес для вебсокета перевести в цифры (wss://******/socket.io/?EIO=3&transport=websocket). Сам класс ClientWebSocket и WebSoket у меня использовать не получилось, вылетали исключения, а документации нет почти 0

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	16.04.2018, 12:26
	Jesterru, может проще Selenium использовать ? 0

@Jesterru 3 / 2 / 2 Регистрация: 19.06.2016 Сообщений: 299
	16.04.2018, 13:55 [ТС]
	Почтальон, а разве эта библиотека позволит достичь моей цели? Я посмотрел документацию и не нашел решения проблеме. Мне ведь надо просто через вебсокеты получать ту информацию, которую получает мой браузер, но я не пойму как это сделать (Уж и библиотеки разные юзал, и документации читал, эффекта 0) 0