Форум программистов, компьютерный форум, киберфорум
Наши страницы
C#: Web, ASP.NET
Войти
Регистрация
Восстановить пароль
 
 
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
1

Своеобразный парсинг вкладки Network

14.07.2018, 17:39. Просмотров 481. Ответов 20

Дорогие знатоки! Существует ли возможность как-либо достать информацию о источнике файла. Очень грамотно это реализовано во вкладке Network в Google Chrome, при зажимании комбинации Shift+Ctrl+J или F12.
0
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
14.07.2018, 17:39
Ответы с готовыми решениями:

Парсинг вкладки Network в панеле разработчика (F12)
Здравствуйте. Как написать PHP-скрипт, который будет "заходить" в панель, переходить в Network,...

Парсинг вкладки браузера
Всем доброго времени суток! Хочу написать автоответчик типа бота для whatsapp, и хочу попробовать...

The system seems to lack either network cards or network drivers (Не загружается ОС)
Перезапустил Windows, и выскачила такая ошибка Пробывал зайти в безопасный режим, но не выходит,...

Гнал процессор и после этого появилась надпись "The system seems to lack either network cards or network drivers"
Гнал процессор, обыно когда я это делал не было никаких проблем, теперь я решил сделать еще и...

Своеобразный интеграл
\int_{-1}^{1}\frac{dx}{1+{2}^{tg(x)}}.

20
sau
2310 / 1789 / 313
Регистрация: 22.07.2011
Сообщений: 6,811
Завершенные тесты: 1
14.07.2018, 18:33 2
В смысле для какого либо сайта ?
- загружаете главную , парсите с нее все ссылки , и так рекурсивный обход. - то , что примерно делает браузер , и результат чего Вы видите на вкладке Network
0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
14.07.2018, 20:25  [ТС] 3
Хорошо, давайте немного уточним вопрос. Есть плеер Moonwalk, который работает не с цельным файлом, а с его частями. Я хочу сделать грамотную приложуху, которая получает ссылку на .m3u8 файл и воспроизводит потоковое видео без лишних проблем. Но организация алгоритма для получения ссылки на заветный .m3u8 файл является для меня загадкой.

Добавлено через 1 час 11 минут
В нашем случае, .m3u8 файл - это файл плейлиста, который организует последовательный доступ к каждому кусочку видеофайла. Пытаясь что-либо найти в HTML коде, можно выйти только на сам iframe плеера, а вот файлик подгружается (как я понял) именно через него.
Вот iframe плеера:
<iframe id="cdn-player" src="http://s9.cdnapponline.com/video/7aa51eb21ec009ad/iframe?nocontrols=1&amp;season=&amp;episode=" name="it1531588562" width="640" height="360" frameborder="0" allowfullscreen="" webkitallowfullscreen="" mozallowfullscreen="" oallowfullscreen="" msallowfullscreen=""></iframe>
А вот и тот этот файл, который я нашёл в Network-e: http://37.220.39.62/sec/1531621041/3...4,5/index.m3u8
0
Usaga
Эксперт .NET
6167 / 4379 / 765
Регистрация: 21.01.2016
Сообщений: 17,086
Завершенные тесты: 2
15.07.2018, 09:52 4
EpicMandM, что-то яснее не стало, что вам надо и что не получается.
0
15.07.2018, 09:52
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
15.07.2018, 12:02  [ТС] 5
Мне нужно программным образом получить ссылку на файл, который отмечен на скрине. Причём, самое главное, чтобы алгоритм был универсальным и работал на других страницах.
Своеобразный парсинг вкладки Network
0
Usaga
Эксперт .NET
6167 / 4379 / 765
Регистрация: 21.01.2016
Сообщений: 17,086
Завершенные тесты: 2
15.07.2018, 12:57 6
EpicMandM, ну, вам в первом же сообщении и дали ответ: загружайте документ, парсите, берите из него нужные ссылки.
0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
15.07.2018, 17:28  [ТС] 7
Хорошо, тогда давайте поставим вопрос по-другому. Как мне это сделать?
0
Usaga
Эксперт .NET
6167 / 4379 / 765
Регистрация: 21.01.2016
Сообщений: 17,086
Завершенные тесты: 2
15.07.2018, 18:21 8
EpicMandM, или вручную грузить через HttpClient\WeblClient и парсить (тоже вручную). Или использовать библиотеку в виде HtmlAgilityPack или AngleSharp.
0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
15.07.2018, 20:20  [ТС] 9
Ну хорошо, предположим. Вот полный HTML код этого сайта: content.rar
Каким-таким образом у меня получится достать из него вот эту ссылку?:
http://37.220.39.62/sec/1531621041/3...4,5/index.m3u8
0
sau
2310 / 1789 / 313
Регистрация: 22.07.2011
Сообщений: 6,811
Завершенные тесты: 1
15.07.2018, 21:04 10
Ссылка на файл может лежать глубже в дереве зависимых документов , а может строиться динамически скриптами , т.е не все так просто , нужно исследовать работу сайта в живую. , одной статичной странички в архиве недостаточно.
1
Usaga
Эксперт .NET
6167 / 4379 / 765
Регистрация: 21.01.2016
Сообщений: 17,086
Завершенные тесты: 2
16.07.2018, 05:45 11
EpicMandM, посмотрите код странице в браузере. Chromе покажет оригинальный код страницы при нажатии Ctrl+U. Если там будет нужная ссылка, то берёте озвученные мной выше вещи (гугл в помощь - названия классов и библиотек есть) и грузите и парсите страничку уже в своём приложении.

Если ссылки там нет, то она или подгружается позже или генерируется JavaScript-сценариями. Тогда всё становится сложнее, ибо нужно будет в браузере исследовать работу приложения и смотреть что к чему. И уже потом думать над решением.
0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
16.07.2018, 13:12  [ТС] 12
Вот мы и подошли к сути этой проблемы. Ссылки там нет, так-как её подгружает iframe плеера. На одном форуме я нашёл решение этой проблемы. Увы, но мои знания по web-программированию не очень велики ( базовые понятия и правила ) и я не могу полностью понять смысл указанного там php-скрипта.
Вот копия статьи с этого форума ( там нужна регистрация и в статье содержится очень много нецензурных выражений, поэтому я немного его отредактировал, но не менял главный посыл и последовательность решения ): Статья с форума.docx
0
Usaga
Эксперт .NET
6167 / 4379 / 765
Регистрация: 21.01.2016
Сообщений: 17,086
Завершенные тесты: 2
16.07.2018, 13:16 13
EpicMandM, в iframe загружается другая страничка, адрес которой вы точно так же можете распарсить, а саму страницу подгрузить и тоже распарсить.
0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
16.07.2018, 14:52  [ТС] 14
Если парсить страничку, которая указана в iframe, ничего хорошего тоже не получается. Вместо плеера страничка выдаёт лишь ошибку.
Контент недоступен в вашем регионе.
Приносим извинения за неудобства.
Sorry, video was deleted. Error [902]
Может нужно создавать специфический запрос? Если да, то какой?
0
sau
2310 / 1789 / 313
Регистрация: 22.07.2011
Сообщений: 6,811
Завершенные тесты: 1
16.07.2018, 15:55 15
Фрейм является частью видеоплеера , т.е его параметры могут меняться скриптом плеера , тут нужно смотреть алгоритм работы скриптов плеера и какие запросы в какой последовательности идут в Network-е.
Ну или , видео действительно удалено. Вам виднее.
0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
16.07.2018, 17:22  [ТС] 16
Хорошо, нужно смотреть алгоритм работы скриптов плеера. Только можно, пожалуйста, объяснить как мне это сделать?
0
Usaga
Эксперт .NET
6167 / 4379 / 765
Регистрация: 21.01.2016
Сообщений: 17,086
Завершенные тесты: 2
16.07.2018, 17:27 17
EpicMandM, воспользуйтесь инструментами разработчика в браузере (F12).
0
sau
2310 / 1789 / 313
Регистрация: 22.07.2011
Сообщений: 6,811
Завершенные тесты: 1
16.07.2018, 20:47 18
воспользуйтесь инструментами разработчика в браузере (F12).
Думаю , тут нужен способ попроще , в заветной категории фриланса.

Не по теме:

Usaga,
А что там с доступом на фриланс , заглянул , все разделы пропали ?

0
Usaga
16.07.2018, 20:47
  #19

Не по теме:

sau, да, теперь фриланс только по приглашению. Администраторы вопрос ребром поставили)

0
EpicMandM
3 / 3 / 0
Регистрация: 09.04.2017
Сообщений: 45
17.07.2018, 00:16  [ТС] 20
Минуточку, я спросил как, а не чем.
0
17.07.2018, 00:16
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
17.07.2018, 00:16

Своеобразный запрос
Здравствуйте уважаемый Гуру SQL. Возникла проблема борюсь с ней уже часа два. :( Объясняю...

Своеобразный tab
Всем привет. Как сделать такой табер?(На картинке). При выборе, заменялся контент(отметил...

своеобразный парсер
суть темы: пользователь вводит в Edit название марки некоего продукта. программа должна добавить...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.