Какие средства есть для работы с URI?

@rustammv · Регистрация: 08.09.2014

Author24 — интернет-сервис помощи студентам

Есть набор ссылок.
например
http://www.qqq.com
http://www.qqq.com/eee.rar (могут быть разные файлы не html разметки)
http://www.qqq.com/index.html
http://www.qqq.com/
../my/index/
/index/3/

ну и так далее. получены они из аргумента href тега <a>

какие средства есть для работы с ними пользуюсь классом Uri но не могу им проверить (или не могу найти как это сделать)
что ссылка ведёт на архив или файл для скачивания

делать свою проверку на расширение, не очень хороший вариант, уверен что должно быть стандартное решение.

@freeba · 15.01.2015, 10:51

вы имеете ввиду что-то подобное?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
using System;
using System.Linq;
using System.IO;
 
public class Program
{
    public static void Main()
    {
        var uri = new Uri("https://www.myurl.com/deep/path/file.rdp?q=true");
        var isFile = Path.HasExtension(uri.AbsolutePath);
        
        Console.WriteLine(isFile);
        if (isFile)
        {
            var ext = Path.GetExtension(uri.AbsolutePath);
            Console.WriteLine(ext);
        }
    }
}

@rustammv · 15.01.2015, 12:10 **[ТС]**

Не совсем.
хочу понять как можно различить ссылки
http://www.qqq.com/index.html или http://www.qqq.com/index.rar
что одна ссылается на страницу а вторая нет.

я это могу проверить через

C#
1
2
3
                WebRequest request = HttpWebRequest.Create(url);
                WebResponse response = request.GetResponse();
                var cont = response.ContentType;

и если cont начинается на text/html - страница если нет чтото другое

но ищю другой способ, может есть что-то без запросов.

@freeba · 15.01.2015, 12:18

Сообщение от rustammv

что одна ссылается на страницу а вторая нет.

Строго говоря они обе ссылаются на файлы. Только один с расширением html, а второй rar.

Придется вручную фильтровать, вот примерный список того что может быть страницей или ее частью

.3dm
.asp
.aspx
.cer
.chm
.csr
.css
.dll
.download
.eml
.flv
.htacces
.htm
.html
.jnlp
.js
.jsp
.mht
.mhtm
.mhtml
.msg
.mso
.php
.prf
.rss
.srt
.swf
.url
.vcf
.webarch
.xhtml
.xul

KOPOJI · 15.01.2015, 12:29

Сообщение от freeba

.htacces

".htaccess". И если есть доступ к этому файлу - то я не завидую этому сайту))
А по поводу остального - типов возможных файлов может быть бесконечное множество, и указан здесь, скорее, не примерный список, а минимальный. Например, помимо php и html есть также phtm, phtml, php5 - это только относительно php/html. А так еще всякие xml, coffee, scss, less и т.д., не говоря уже о куче возможных расширений картинок, музыки, видео, архивов и т.п.
Мне кажется, лучше спарсить страницу и посмотреть, что находится внутри - если там есть html-теги (а сейчас, вроде как, все веб-языки генерируют html-код, других нет), то значит, это "страница". Несмотря на более сильную нагрузку это позволит более точно определить тип файла по ссылке, нежели основываться на расширении файла.
Ну и, не стоит забывать о том, что, к примеру, при переходе по адресу с .php или .aspx мы можем получить вовсе не html-код (т.е., страницу), а файл, который "отдает" этот скрипт (с помощью заголовков и чтения файла), а также о том, что есть возможность настроить сервер на обработку программного кода и в файлах с другим типом - например, в css или еще где

@rustammv · 15.01.2015, 12:55 **[ТС]**

KOPOJI, получается что мой крайний вариант
с применением

C#
1
2
3
WebRequest request = HttpWebRequest.Create(url);
                WebResponse response = request.GetResponse();
                var cont = response.ContentType;

тоже не всегда коректно будет работать ???
какие https://ru.wikipedia.org/wiki/... 0%BE%D0%B2 из этих контекстов могут содердать html

которе начинаются на "text/" или ещё чтото

@freeba · 15.01.2015, 12:55

KOPOJI, я же говорил о примерном списке.

KOPOJI · 15.01.2015, 17:57

rustammv, смотря что требуется. Может корректно работать, а может и некорректно, в зависимости от задачи.
К примеру, если стоит задача определить именно конечный тип файла (т.е. тот, который получим при переходе по адресу), то полагаться на заголовки - лучший способ (не будем говорить про инъекции в файлы и всякие подобные хакерские штуки). Если же смотреть с другой стороны - например, тот же php файл может интерпретироваться браузером (на основе переданных заголовков, конечно) как картинка JPEG или еще что-то другое

Сообщение от rustammv

какие https://ru.wikipedia.org/wiki/... 0%BE%D0%B2 из этих контекстов могут содердать html

все

Но работать будет только при html

интерпретаторы/компиляторы php и других языков обычно выдают в ответ html-код, и, значит, ответ будет тоже text/html.. Хотя не уверен, если честно, как-то никогда особо не вдавался в подробности.

Новые блоги и статьи Все статьи Все блоги /
SwiftUI Data Flow: Передача данных между представлениями mobDevWorks 23.03.2025 При первом знакомстве со SwiftUI кажется, что фреймворк предлагает избыточное количество механизмов для передачи данных: @State, @Binding, @StateObject, @ObservedObject, @EnvironmentObject и другие. . . .	Моки в Java: Сравниваем Mockito, EasyMock, JMockit Javaican 23.03.2025 Как протестировать класс, который зависит от других сложных компонентов, таких как базы данных, веб-сервисы или другие классы, с которыми и так непросто работать в тестовом окружении? Для этого и. . .	Архитектурные паттерны микросервисов: ТОП-10 шаблонов ArchitectMsa 22.03.2025 Популярность микросервисной архитектуры объясняется множеством важных преимуществ. К примеру, она позволяет командам разработчиков работать независимо друг от друга, используя различные технологии и. . .	Оптимизация рендеринга в Unity: Сортировка миллиона спрайтов GameUnited 22.03.2025 Помните, когда наличие сотни спрайтов в игре приводило к существенному падению производительности? Время таких ограничений уходит в прошлое. Сегодня геймдев сталкивается с задачами совершенно иного. . .	Образование и практика Igor3D 21.03.2025 Добрый день А вот каково качество/ эффективность ВУЗовского образования? Аналитическая геометрия изучается в первом семестре и считается довольно легким курсом, что вполне справедливо. Ну хорошо,. . .
Lazarus. Таблица с объединением ячеек. Massaraksh7 21.03.2025 Понадобилась представление на экране таблицы с объединёнными ячейками. И не одной, а штук триста, и все разные. На Delphi я использовал для этих целей TStringGrid, и то, кривовато получалось. А в. . .	Async/await в Swift: Асинхронное программирование в iOS mobDevWorks 20.03.2025 Асинхронное программирование долго было одной из самых сложных задач для разработчиков iOS. В течение многих лет мы сражались с замыканиями, диспетчеризацией очередей и обратными вызовами, чтобы. . .	Колмогоровская сложность: Приёмы упрощения кода ArchitectMsa 20.03.2025 Наверное, каждый программист хотя бы раз сталкивался с кодом, который напоминает запутанный лабиринт — чем дальше в него погружаешься, тем сложнее найти выход. И когда мы говорим о сложности кода, мы. . .	PostgreSQL в Kubernetes: Подготовка кластера и настройка Mr. Docker 20.03.2025 Когда доходит до контейнеризации баз данных и особенно таких требовательных к ресурсам системах как PostgreSQL, многие команды до сих пор колеблются, прежде чем перенести их в контейнерную. . .	C++26: Индексирование пакетов и метапрограммирование bytestream 20.03.2025 Эволюция C++ продолжается стремительными темпами – каждый новый стандарт приносит функциональность, о которой мы мечтали годами. Звучит слишком громко? Если вы когда-либо боролись с вариадическими. . .

@rustammv 16 / 16 / 9 Регистрация: 08.09.2014 Сообщений: 66

	Какие средства есть для работы с URI? 15.01.2015, 09:55. Показов 1257. Ответов 7 Метки нет (Все метки) Есть набор ссылок. например http://www.qqq.com http://www.qqq.com/eee.rar (могут быть разные файлы не html разметки) http://www.qqq.com/index.html http://www.qqq.com/ ../my/index/ /index/3/ ну и так далее. получены они из аргумента href тега <a> какие средства есть для работы с ними пользуюсь классом Uri но не могу им проверить (или не могу найти как это сделать) что ссылка ведёт на архив или файл для скачивания делать свою проверку на расширение, не очень хороший вариант, уверен что должно быть стандартное решение. 0

@freeba Неадекват 1497 / 1234 / 247 Регистрация: 02.04.2010 Сообщений: 2,805
	15.01.2015, 12:18
	Сообщение от rustammv что одна ссылается на страницу а вторая нет. Строго говоря они обе ссылаются на файлы. Только один с расширением html, а второй rar. Придется вручную фильтровать, вот примерный список того что может быть страницей или ее частью .3dm .asp .aspx .cer .chm .csr .css .dll .download .eml .flv .htacces .htm .html .jnlp .js .jsp .mht .mhtm .mhtml .msg .mso .php .prf .rss .srt .swf .url .vcf .webarch .xhtml .xul 0

KOPOJI Почетный модератор 16844 / 6724 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	15.01.2015, 12:29
	Сообщение от freeba .htacces ".htaccess". И если есть доступ к этому файлу - то я не завидую этому сайту)) А по поводу остального - типов возможных файлов может быть бесконечное множество, и указан здесь, скорее, не примерный список, а минимальный. Например, помимо php и html есть также phtm, phtml, php5 - это только относительно php/html. А так еще всякие xml, coffee, scss, less и т.д., не говоря уже о куче возможных расширений картинок, музыки, видео, архивов и т.п. Мне кажется, лучше спарсить страницу и посмотреть, что находится внутри - если там есть html-теги (а сейчас, вроде как, все веб-языки генерируют html-код, других нет), то значит, это "страница". Несмотря на более сильную нагрузку это позволит более точно определить тип файла по ссылке, нежели основываться на расширении файла. Ну и, не стоит забывать о том, что, к примеру, при переходе по адресу с .php или .aspx мы можем получить вовсе не html-код (т.е., страницу), а файл, который "отдает" этот скрипт (с помощью заголовков и чтения файла), а также о том, что есть возможность настроить сервер на обработку программного кода и в файлах с другим типом - например, в css или еще где 0

@freeba Неадекват 1497 / 1234 / 247 Регистрация: 02.04.2010 Сообщений: 2,805
	15.01.2015, 12:55
	KOPOJI, я же говорил о примерном списке. 0

KOPOJI Почетный модератор 16844 / 6724 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	15.01.2015, 17:57
	rustammv, смотря что требуется. Может корректно работать, а может и некорректно, в зависимости от задачи. К примеру, если стоит задача определить именно конечный тип файла (т.е. тот, который получим при переходе по адресу), то полагаться на заголовки - лучший способ (не будем говорить про инъекции в файлы и всякие подобные хакерские штуки). Если же смотреть с другой стороны - например, тот же php файл может интерпретироваться браузером (на основе переданных заголовков, конечно) как картинка JPEG или еще что-то другое Сообщение от rustammv какие https://ru.wikipedia.org/wiki/... 0%BE%D0%B2 из этих контекстов могут содердать html все Но работать будет только при html интерпретаторы/компиляторы php и других языков обычно выдают в ответ html-код, и, значит, ответ будет тоже text/html.. Хотя не уверен, если честно, как-то никогда особо не вдавался в подробности. 0

Опции темы