Как получить файл подгружаемый сайтом во время загрузки URL (также как во вкладке Network: > Headers: > Request URL:)?

@Wowan18 · Регистрация: 12.09.2019

Студворк — интернет-сервис помощи студентам

Добрый день, подскажите пути решения проблемы.

Похожее изображение но это не оно:

Как получить файл подгружаемый сайтом во время загрузки URL (также как во вкладке Network: > Headers: > Request URL:)?

Смысл такой:
- при открытии URL чуть позже погрузятся файл, один из них будет type: xhr, как мне достучатся до него (путь к файлу: исследовать элемент -> вкладка Network -> в столбце Name нужный мне файл "type: xhr" -> Headers) и получить его Request URL:

Хочу попробовать достать этот файл когда он уже подгружен на сайте, но нигде не могу найти как это сделать.
Подскажите, как достать файл.

@sqltd1 · 01.05.2022, 15:30

не очень понятно. если вы в DeveloperTools на закладке Network видите строчку с загруженным файлом, то в заголовках должен быть URL, скопируйте его в клипборд и вставьте в адресную строку броузера (лучше скормите этот адрес wget'у (он должен быть и под виндой, или какой-нибудь его виндовый аналог) и загружайте. Могут быть нюансы с кукисами правда

@Wowan18 · 01.05.2022, 15:46 **[ТС]**

Вот так кпримеру я получу только Headers от сайта https://_____

Java
1
2
3
4
5
6
7
8
9
10
11
12
StrictMode.ThreadPolicy policy = new StrictMode.ThreadPolicy.Builder().permitAll().build();
        StrictMode.setThreadPolicy(policy);
 
        URL url = new URL("https://_____");
        HttpURLConnection connection = ((HttpURLConnection) url.openConnection());
        InputStream instream = connection.getInputStream();
 
 
 
        for (Map.Entry<String, List<String>> k : connection.getHeaderFields().entrySet()) {
            System.out.println(k.toString());
        }

такой ответ

Java
1
2
3
4
5
I/System.out: Connection=[keep-alive]
I/System.out: Content-Type=[text/html; charset=UTF-8]
I/System.out: Date=[Sun, 01 May 2022 11:35:46 GMT]
I/System.out: Server=[nginx]
I/System.out: ...... т.д.

а мне необходимо достучаться до файла который загрузится чуть позже и хз как до него добраться

@sqltd1 · 02.05.2022, 17:23

пардон. я неправильно понял первоначальный вопрос.

вам нужно смотреть в сторону движков для web-scrap'инга. Применительно к Java - например, вот обзор - https://stackabuse.com/web-scraping-the-java-way/

@Wowan18 · 02.05.2022, 23:22 **[ТС]**

Хм, вроде что-то похожее но я начало прочитал позже все прочту отпишусь а так отрывок похож

Code
1
Некоторые веб-сайты и организации не предоставляют API, которые предоставляют информацию на своих веб-сайтах. API облегчают извлечение данных, поскольку их легко использовать из других приложений. В их отсутствие мы можем использовать web scraping для извлечения информации.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Wowan18 0 / 0 / 0 Регистрация: 12.09.2019 Сообщений: 10

	Как получить файл подгружаемый сайтом во время загрузки URL (также как во вкладке Network: > Headers: > Request URL:)? 01.05.2022, 15:20. Показов 1039. Ответов 4 Метки нет (Все метки) Добрый день, подскажите пути решения проблемы. Похожее изображение но это не оно: Смысл такой: - при открытии URL чуть позже погрузятся файл, один из них будет type: xhr, как мне достучатся до него (путь к файлу: исследовать элемент -> вкладка Network -> в столбце Name нужный мне файл "type: xhr" -> Headers) и получить его Request URL: Хочу попробовать достать этот файл когда он уже подгружен на сайте, но нигде не могу найти как это сделать. Подскажите, как достать файл. 0

@sqltd1 352 / 315 / 83 Регистрация: 17.04.2022 Сообщений: 1,031 Записей в блоге: 8
	01.05.2022, 15:30
	не очень понятно. если вы в DeveloperTools на закладке Network видите строчку с загруженным файлом, то в заголовках должен быть URL, скопируйте его в клипборд и вставьте в адресную строку броузера (лучше скормите этот адрес wget'у (он должен быть и под виндой, или какой-нибудь его виндовый аналог) и загружайте. Могут быть нюансы с кукисами правда 0

@sqltd1 352 / 315 / 83 Регистрация: 17.04.2022 Сообщений: 1,031 Записей в блоге: 8
	02.05.2022, 17:23
	пардон. я неправильно понял первоначальный вопрос. вам нужно смотреть в сторону движков для web-scrap'инга. Применительно к Java - например, вот обзор - https://stackabuse.com/web-scraping-the-java-way/ 1