Своеобразный парсинг вкладки Network

@EpicMandM · Регистрация: 09.04.2017

Студворк — интернет-сервис помощи студентам

Дорогие знатоки! Существует ли возможность как-либо достать информацию о источнике файла. Очень грамотно это реализовано во вкладке Network в Google Chrome, при зажимании комбинации Shift+Ctrl+J или F12.

@sau · 14.07.2018, 18:33

В смысле для какого либо сайта ?
- загружаете главную , парсите с нее все ссылки , и так рекурсивный обход. - то , что примерно делает браузер , и результат чего Вы видите на вкладке Network

@EpicMandM · 14.07.2018, 20:25 **[ТС]**

Хорошо, давайте немного уточним вопрос. Есть плеер Moonwalk, который работает не с цельным файлом, а с его частями. Я хочу сделать грамотную приложуху, которая получает ссылку на .m3u8 файл и воспроизводит потоковое видео без лишних проблем. Но организация алгоритма для получения ссылки на заветный .m3u8 файл является для меня загадкой.

Добавлено через 1 час 11 минут
В нашем случае, .m3u8 файл - это файл плейлиста, который организует последовательный доступ к каждому кусочку видеофайла. Пытаясь что-либо найти в HTML коде, можно выйти только на сам iframe плеера, а вот файлик подгружается (как я понял) именно через него.
Вот iframe плеера:
<iframe id="cdn-player" src="http://s9.cdnapponline.com/video/7aa51eb21ec009ad/iframe?nocontrols=1&season=&epis ode=" name="it1531588562" width="640" height="360" frameborder="0" allowfullscreen="" webkitallowfullscreen="" mozallowfullscreen="" oallowfullscreen="" msallowfullscreen=""></iframe>
А вот и тот этот файл, который я нашёл в Network-e: http://37.220.39.62/sec/153162... index.m3u8

@Usaga · 15.07.2018, 09:52

EpicMandM, что-то яснее не стало, что вам надо и что не получается.

@EpicMandM · 15.07.2018, 12:02 **[ТС]**

Мне нужно программным образом получить ссылку на файл, который отмечен на скрине. Причём, самое главное, чтобы алгоритм был универсальным и работал на других страницах.

@Usaga · 15.07.2018, 12:57

EpicMandM, ну, вам в первом же сообщении и дали ответ: загружайте документ, парсите, берите из него нужные ссылки.

@EpicMandM · 15.07.2018, 17:28 **[ТС]**

Хорошо, тогда давайте поставим вопрос по-другому. Как мне это сделать?

@Usaga · 15.07.2018, 18:21

EpicMandM, или вручную грузить через HttpClient\WeblClient и парсить (тоже вручную). Или использовать библиотеку в виде HtmlAgilityPack или AngleSharp.

@EpicMandM · 15.07.2018, 20:20 **[ТС]**

Ну хорошо, предположим. Вот полный HTML код этого сайта: content.rar
Каким-таким образом у меня получится достать из него вот эту ссылку?:
http://37.220.39.62/sec/153162... index.m3u8

@sau · 15.07.2018, 21:04

Ссылка на файл может лежать глубже в дереве зависимых документов , а может строиться динамически скриптами , т.е не все так просто , нужно исследовать работу сайта в живую. , одной статичной странички в архиве недостаточно.

@Usaga · 16.07.2018, 05:45

EpicMandM, посмотрите код странице в браузере. Chromе покажет оригинальный код страницы при нажатии Ctrl+U. Если там будет нужная ссылка, то берёте озвученные мной выше вещи (гугл в помощь - названия классов и библиотек есть) и грузите и парсите страничку уже в своём приложении.

Если ссылки там нет, то она или подгружается позже или генерируется JavaScript-сценариями. Тогда всё становится сложнее, ибо нужно будет в браузере исследовать работу приложения и смотреть что к чему. И уже потом думать над решением.

@EpicMandM · 16.07.2018, 13:12 **[ТС]**

Вот мы и подошли к сути этой проблемы. Ссылки там нет, так-как её подгружает iframe плеера. На одном форуме я нашёл решение этой проблемы. Увы, но мои знания по web-программированию не очень велики ( базовые понятия и правила ) и я не могу полностью понять смысл указанного там php-скрипта.
Вот копия статьи с этого форума ( там нужна регистрация и в статье содержится очень много нецензурных выражений, поэтому я немного его отредактировал, но не менял главный посыл и последовательность решения ): Статья с форума.docx

@Usaga · 16.07.2018, 13:16

EpicMandM, в iframe загружается другая страничка, адрес которой вы точно так же можете распарсить, а саму страницу подгрузить и тоже распарсить.

@EpicMandM · 16.07.2018, 14:52 **[ТС]**

Если парсить страничку, которая указана в iframe, ничего хорошего тоже не получается. Вместо плеера страничка выдаёт лишь ошибку.

Контент недоступен в вашем регионе.

Приносим извинения за неудобства.

Sorry, video was deleted. Error [902]

Может нужно создавать специфический запрос? Если да, то какой?

@sau · 16.07.2018, 15:55

Фрейм является частью видеоплеера , т.е его параметры могут меняться скриптом плеера , тут нужно смотреть алгоритм работы скриптов плеера и какие запросы в какой последовательности идут в Network-е.
Ну или , видео действительно удалено. Вам виднее.

@EpicMandM · 16.07.2018, 17:22 **[ТС]**

Хорошо, нужно смотреть алгоритм работы скриптов плеера. Только можно, пожалуйста, объяснить как мне это сделать?

@Usaga · 16.07.2018, 17:27

EpicMandM, воспользуйтесь инструментами разработчика в браузере (F12).

@sau · 16.07.2018, 20:47

воспользуйтесь инструментами разработчика в браузере (F12).

Думаю , тут нужен способ попроще , в заветной категории фриланса.

Не по теме:

Usaga,
А что там с доступом на фриланс , заглянул , все разделы пропали ?

@Usaga · 16.07.2018, 20:47

Не по теме:

sau, да, теперь фриланс только по приглашению. Администраторы вопрос ребром поставили)

@EpicMandM · 17.07.2018, 00:16 **[ТС]**

Минуточку, я спросил как, а не чем.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51

	Своеобразный парсинг вкладки Network 14.07.2018, 17:39. Показов 5563. Ответов 22 Метки browser, network, parser (Все метки) Дорогие знатоки! Существует ли возможность как-либо достать информацию о источнике файла. Очень грамотно это реализовано во вкладке Network в Google Chrome, при зажимании комбинации Shift+Ctrl+J или F12. 0

@sau 2773 / 2073 / 386 Регистрация: 22.07.2011 Сообщений: 7,820
	14.07.2018, 18:33
	В смысле для какого либо сайта ? - загружаете главную , парсите с нее все ссылки , и так рекурсивный обход. - то , что примерно делает браузер , и результат чего Вы видите на вкладке Network 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	14.07.2018, 20:25 [ТС]
	Хорошо, давайте немного уточним вопрос. Есть плеер Moonwalk, который работает не с цельным файлом, а с его частями. Я хочу сделать грамотную приложуху, которая получает ссылку на .m3u8 файл и воспроизводит потоковое видео без лишних проблем. Но организация алгоритма для получения ссылки на заветный .m3u8 файл является для меня загадкой. Добавлено через 1 час 11 минут В нашем случае, .m3u8 файл - это файл плейлиста, который организует последовательный доступ к каждому кусочку видеофайла. Пытаясь что-либо найти в HTML коде, можно выйти только на сам iframe плеера, а вот файлик подгружается (как я понял) именно через него. Вот iframe плеера: <iframe id="cdn-player" src="http://s9.cdnapponline.com/video/7aa51eb21ec009ad/iframe?nocontrols=1&season=&epis ode=" name="it1531588562" width="640" height="360" frameborder="0" allowfullscreen="" webkitallowfullscreen="" mozallowfullscreen="" oallowfullscreen="" msallowfullscreen=""></iframe> А вот и тот этот файл, который я нашёл в Network-e: http://37.220.39.62/sec/153162... index.m3u8 0

@Usaga 14087 / 9305 / 1348 Регистрация: 21.01.2016 Сообщений: 34,949
	15.07.2018, 09:52
	EpicMandM, что-то яснее не стало, что вам надо и что не получается. 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	15.07.2018, 12:02 [ТС]
	Мне нужно программным образом получить ссылку на файл, который отмечен на скрине. Причём, самое главное, чтобы алгоритм был универсальным и работал на других страницах. 0

@Usaga 14087 / 9305 / 1348 Регистрация: 21.01.2016 Сообщений: 34,949
	15.07.2018, 12:57
	EpicMandM, ну, вам в первом же сообщении и дали ответ: загружайте документ, парсите, берите из него нужные ссылки. 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	15.07.2018, 17:28 [ТС]
	Хорошо, тогда давайте поставим вопрос по-другому. Как мне это сделать? 0

@Usaga 14087 / 9305 / 1348 Регистрация: 21.01.2016 Сообщений: 34,949
	15.07.2018, 18:21
	EpicMandM, или вручную грузить через HttpClient\WeblClient и парсить (тоже вручную). Или использовать библиотеку в виде HtmlAgilityPack или AngleSharp. 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	15.07.2018, 20:20 [ТС]
	Ну хорошо, предположим. Вот полный HTML код этого сайта: content.rar Каким-таким образом у меня получится достать из него вот эту ссылку?: http://37.220.39.62/sec/153162... index.m3u8 0

@sau 2773 / 2073 / 386 Регистрация: 22.07.2011 Сообщений: 7,820
	15.07.2018, 21:04
	Ссылка на файл может лежать глубже в дереве зависимых документов , а может строиться динамически скриптами , т.е не все так просто , нужно исследовать работу сайта в живую. , одной статичной странички в архиве недостаточно. 1

@Usaga 14087 / 9305 / 1348 Регистрация: 21.01.2016 Сообщений: 34,949
	16.07.2018, 05:45
	EpicMandM, посмотрите код странице в браузере. Chromе покажет оригинальный код страницы при нажатии Ctrl+U. Если там будет нужная ссылка, то берёте озвученные мной выше вещи (гугл в помощь - названия классов и библиотек есть) и грузите и парсите страничку уже в своём приложении. Если ссылки там нет, то она или подгружается позже или генерируется JavaScript-сценариями. Тогда всё становится сложнее, ибо нужно будет в браузере исследовать работу приложения и смотреть что к чему. И уже потом думать над решением. 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	16.07.2018, 13:12 [ТС]
	Вот мы и подошли к сути этой проблемы. Ссылки там нет, так-как её подгружает iframe плеера. На одном форуме я нашёл решение этой проблемы. Увы, но мои знания по web-программированию не очень велики ( базовые понятия и правила ) и я не могу полностью понять смысл указанного там php-скрипта. Вот копия статьи с этого форума ( там нужна регистрация и в статье содержится очень много нецензурных выражений, поэтому я немного его отредактировал, но не менял главный посыл и последовательность решения ): Статья с форума.docx 0

@Usaga 14087 / 9305 / 1348 Регистрация: 21.01.2016 Сообщений: 34,949
	16.07.2018, 13:16
	EpicMandM, в iframe загружается другая страничка, адрес которой вы точно так же можете распарсить, а саму страницу подгрузить и тоже распарсить. 0

@sau 2773 / 2073 / 386 Регистрация: 22.07.2011 Сообщений: 7,820
	16.07.2018, 15:55
	Фрейм является частью видеоплеера , т.е его параметры могут меняться скриптом плеера , тут нужно смотреть алгоритм работы скриптов плеера и какие запросы в какой последовательности идут в Network-е. Ну или , видео действительно удалено. Вам виднее. 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	16.07.2018, 17:22 [ТС]
	Хорошо, нужно смотреть алгоритм работы скриптов плеера. Только можно, пожалуйста, объяснить как мне это сделать? 0

@Usaga 14087 / 9305 / 1348 Регистрация: 21.01.2016 Сообщений: 34,949
	16.07.2018, 17:27
	EpicMandM, воспользуйтесь инструментами разработчика в браузере (F12). 0

@Usaga
	16.07.2018, 20:47
	Не по теме: sau, да, теперь фриланс только по приглашению. Администраторы вопрос ребром поставили) 0

@EpicMandM 3 / 3 / 0 Регистрация: 09.04.2017 Сообщений: 51
	17.07.2018, 00:16 [ТС]
	Минуточку, я спросил как, а не чем. 0