Какие средства есть для работы с URI?

@rustammv · Регистрация: 08.09.2014

Студворк — интернет-сервис помощи студентам

Есть набор ссылок.
например
http://www.qqq.com
http://www.qqq.com/eee.rar (могут быть разные файлы не html разметки)
http://www.qqq.com/index.html
http://www.qqq.com/
../my/index/
/index/3/

ну и так далее. получены они из аргумента href тега <a>

какие средства есть для работы с ними пользуюсь классом Uri но не могу им проверить (или не могу найти как это сделать)
что ссылка ведёт на архив или файл для скачивания

делать свою проверку на расширение, не очень хороший вариант, уверен что должно быть стандартное решение.

@freeba · 15.01.2015, 10:51

вы имеете ввиду что-то подобное?

C#

using System;
using System.Linq;
using System.IO;
 
public class Program
{
    public static void Main()
    {
        var uri = new Uri("https://www.myurl.com/deep/path/file.rdp?q=true");
        var isFile = Path.HasExtension(uri.AbsolutePath);
        
        Console.WriteLine(isFile);
        if (isFile)
        {
            var ext = Path.GetExtension(uri.AbsolutePath);
            Console.WriteLine(ext);
        }
    }
}

@rustammv · 15.01.2015, 12:10 **[ТС]**

Не совсем.
хочу понять как можно различить ссылки
http://www.qqq.com/index.html или http://www.qqq.com/index.rar
что одна ссылается на страницу а вторая нет.

я это могу проверить через

C#

1
2
3

                WebRequest request = HttpWebRequest.Create(url);
                WebResponse response = request.GetResponse();
                var cont = response.ContentType;

и если cont начинается на text/html - страница если нет чтото другое

но ищю другой способ, может есть что-то без запросов.

@freeba · 15.01.2015, 12:18

Сообщение от rustammv

что одна ссылается на страницу а вторая нет.

Строго говоря они обе ссылаются на файлы. Только один с расширением html, а второй rar.

Придется вручную фильтровать, вот примерный список того что может быть страницей или ее частью

.3dm
.asp
.aspx
.cer
.chm
.csr
.css
.dll
.download
.eml
.flv
.htacces
.htm
.html
.jnlp
.js
.jsp
.mht
.mhtm
.mhtml
.msg
.mso
.php
.prf
.rss
.srt
.swf
.url
.vcf
.webarch
.xhtml
.xul

KOPOJI · 15.01.2015, 12:29

Сообщение от freeba

.htacces

".htaccess". И если есть доступ к этому файлу - то я не завидую этому сайту))
А по поводу остального - типов возможных файлов может быть бесконечное множество, и указан здесь, скорее, не примерный список, а минимальный. Например, помимо php и html есть также phtm, phtml, php5 - это только относительно php/html. А так еще всякие xml, coffee, scss, less и т.д., не говоря уже о куче возможных расширений картинок, музыки, видео, архивов и т.п.
Мне кажется, лучше спарсить страницу и посмотреть, что находится внутри - если там есть html-теги (а сейчас, вроде как, все веб-языки генерируют html-код, других нет), то значит, это "страница". Несмотря на более сильную нагрузку это позволит более точно определить тип файла по ссылке, нежели основываться на расширении файла.
Ну и, не стоит забывать о том, что, к примеру, при переходе по адресу с .php или .aspx мы можем получить вовсе не html-код (т.е., страницу), а файл, который "отдает" этот скрипт (с помощью заголовков и чтения файла), а также о том, что есть возможность настроить сервер на обработку программного кода и в файлах с другим типом - например, в css или еще где

@rustammv · 15.01.2015, 12:55 **[ТС]**

KOPOJI, получается что мой крайний вариант
с применением

C#

1
2
3

WebRequest request = HttpWebRequest.Create(url);
                WebResponse response = request.GetResponse();
                var cont = response.ContentType;

тоже не всегда коректно будет работать ???
какие https://ru.wikipedia.org/wiki/... 0%BE%D0%B2 из этих контекстов могут содердать html

которе начинаются на "text/" или ещё чтото

@freeba · 15.01.2015, 12:55

KOPOJI, я же говорил о примерном списке.

KOPOJI · 15.01.2015, 17:57

rustammv, смотря что требуется. Может корректно работать, а может и некорректно, в зависимости от задачи.
К примеру, если стоит задача определить именно конечный тип файла (т.е. тот, который получим при переходе по адресу), то полагаться на заголовки - лучший способ (не будем говорить про инъекции в файлы и всякие подобные хакерские штуки). Если же смотреть с другой стороны - например, тот же php файл может интерпретироваться браузером (на основе переданных заголовков, конечно) как картинка JPEG или еще что-то другое

Сообщение от rustammv

какие https://ru.wikipedia.org/wiki/... 0%BE%D0%B2 из этих контекстов могут содердать html

все

Но работать будет только при html

интерпретаторы/компиляторы php и других языков обычно выдают в ответ html-код, и, значит, ответ будет тоже text/html.. Хотя не уверен, если честно, как-то никогда особо не вдавался в подробности.

@rustammv 16 / 16 / 9 Регистрация: 08.09.2014 Сообщений: 66
		1
	Какие средства есть для работы с URI? 15.01.2015, 09:55. Показов 1145. Ответов 7 Метки нет (Все метки) Есть набор ссылок. например http://www.qqq.com http://www.qqq.com/eee.rar (могут быть разные файлы не html разметки) http://www.qqq.com/index.html http://www.qqq.com/ ../my/index/ /index/3/ ну и так далее. получены они из аргумента href тега <a> какие средства есть для работы с ними пользуюсь классом Uri но не могу им проверить (или не могу найти как это сделать) что ссылка ведёт на архив или файл для скачивания делать свою проверку на расширение, не очень хороший вариант, уверен что должно быть стандартное решение. 0

@freeba Неадекват 1485 / 1224 / 245 Регистрация: 02.04.2010 Сообщений: 2,783
	15.01.2015, 12:18	4
	Сообщение от rustammv что одна ссылается на страницу а вторая нет. Строго говоря они обе ссылаются на файлы. Только один с расширением html, а второй rar. Придется вручную фильтровать, вот примерный список того что может быть страницей или ее частью .3dm .asp .aspx .cer .chm .csr .css .dll .download .eml .flv .htacces .htm .html .jnlp .js .jsp .mht .mhtm .mhtml .msg .mso .php .prf .rss .srt .swf .url .vcf .webarch .xhtml .xul 0

KOPOJI Почетный модератор 16844 / 6723 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	15.01.2015, 12:29	5
	Сообщение от freeba .htacces ".htaccess". И если есть доступ к этому файлу - то я не завидую этому сайту)) А по поводу остального - типов возможных файлов может быть бесконечное множество, и указан здесь, скорее, не примерный список, а минимальный. Например, помимо php и html есть также phtm, phtml, php5 - это только относительно php/html. А так еще всякие xml, coffee, scss, less и т.д., не говоря уже о куче возможных расширений картинок, музыки, видео, архивов и т.п. Мне кажется, лучше спарсить страницу и посмотреть, что находится внутри - если там есть html-теги (а сейчас, вроде как, все веб-языки генерируют html-код, других нет), то значит, это "страница". Несмотря на более сильную нагрузку это позволит более точно определить тип файла по ссылке, нежели основываться на расширении файла. Ну и, не стоит забывать о том, что, к примеру, при переходе по адресу с .php или .aspx мы можем получить вовсе не html-код (т.е., страницу), а файл, который "отдает" этот скрипт (с помощью заголовков и чтения файла), а также о том, что есть возможность настроить сервер на обработку программного кода и в файлах с другим типом - например, в css или еще где 0

@freeba Неадекват 1485 / 1224 / 245 Регистрация: 02.04.2010 Сообщений: 2,783
	15.01.2015, 12:55	7
	KOPOJI, я же говорил о примерном списке. 0

KOPOJI Почетный модератор 16844 / 6723 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	15.01.2015, 17:57	8
	rustammv, смотря что требуется. Может корректно работать, а может и некорректно, в зависимости от задачи. К примеру, если стоит задача определить именно конечный тип файла (т.е. тот, который получим при переходе по адресу), то полагаться на заголовки - лучший способ (не будем говорить про инъекции в файлы и всякие подобные хакерские штуки). Если же смотреть с другой стороны - например, тот же php файл может интерпретироваться браузером (на основе переданных заголовков, конечно) как картинка JPEG или еще что-то другое Сообщение от rustammv какие https://ru.wikipedia.org/wiki/... 0%BE%D0%B2 из этих контекстов могут содердать html все Но работать будет только при html интерпретаторы/компиляторы php и других языков обычно выдают в ответ html-код, и, значит, ответ будет тоже text/html.. Хотя не уверен, если честно, как-то никогда особо не вдавался в подробности. 0

Опции темы