Как разобраться с кодировками в консольном торрент-клиенте

@xnimor · Регистрация: 16.06.2012

Author24 — интернет-сервис помощи студентам

Здравствуйте, о великие и могучие умы данного форума. Проблема возникла на моем пути и не решается легко. Консультация Ваша потребовалась...

Так..Если серьезно, то пишу консольный торрент-клиент и как обычно, у меня с шарпом одна проблема - я плохо работаю с кодировками.

Суть вопроса - на запрос трекеру подается SHA-1 хешкод (20 символов), причем их необходимо закодировать в виде %hh, где h - шестнадцатеричная цифра. (кодировать необходимо, если они не входят в определенное множество символов. RFC 1738)

Для прогона я взял торрент ubuntu - в нем выдрал все нужное, перекодирование сделал так

C#

string info_hash = "";
            
            foreach (var x in hash)
            {
                if ((x>='0' && x <= '9') || (x>='a' && x<='z') || (x>='A' && x<='Z') || inGoodChars(x))
                   info_hash += x;
                else
                    info_hash += "%" + x16[(byte)x / 16] + x16[(byte)x % 16];
            }

Торрент файл пытался (поочередно) обрабатывать, как Encoding.ASCII (7-бит -> многие символы становились вопросами)
Encoding.UTF8 - 16 бит на символ - многовато(
Encoding.Default (то бишь, ANSI)- самая правдоподобная, но тем не менее ответ был -
"d14:failure reason63:Requested download is not authorized for use with this tracker.e"
То бишь у меня трабл с описанием...
И да, пробовал все символы переводить в представление %hh - также не помогло...

Буду рад Вашим мыслям по данному поводу

@m0nax · 19.08.2012, 22:30

sha1.ComputeHash выдает тебе массив байт
чтоб перегнать его в строку нужного вида достаточно использовать System.Web.HttpUtility.UrlEncode

m0nax, Hash уже есть в файле.

нет, его там нет
есть только сама по себе структура-словарь "info", после ее чтения с нее берется хеш

@bumbaram · 19.08.2012, 22:31

Попробую внести для себя ясность.
1) В какой кодировке общается сервер?
2) В какой кодировке ты получаешь SHA-1?

@xnimor · 19.08.2012, 22:55 **[ТС]**

m0nax, Hash уже есть в файле.

bumbaram, Имеется описание, (BitTorrent Protocol), что символы записаны в ASCII, однако, т.к. он содержит 7 бит, то (касаемо SHA1) 1 бит остается пустым, символы, где этот бит обращен в 1 и записываются как %hh. Чтение происходит в формате ANSI. Сервер работает (как правило) в том же режиме.

Добавлено через 11 минут
m0nax, pieces - строка длиной 20*pieces_length, где каждые 20 символов - SHA1 хеш части. пруф http://jonas.nitro.dk/bittorre... t-rfc.html

Добавлено через 1 минуту
System.Web.HttpUtility.UrlEncode - не допускает имя класса - HttpUtility..

Дебильный вопрос (я понимаю), но HttpUtility действительно у меня не определяется как класс... В чем может быть дело?

Добавлено через 8 минут
Так... с HttpUtility разобрался... счас через него попробую

@m0nax · 19.08.2012, 22:55

ну да, тут все запущенней чем я подумал
info_hash который отправляют на трекер и pieces в торрент файле это абсолютно разные вещи

торрент файл это не текстовый файл, его нельзя читать как текстовый файл, к нему(целиком) нельзя применять какие либо кодировки
в кодировке ASCII там записаны только сами элементы формата, например вот тут жирным это ASCII

d14:failure reason63:Requested download is not authorized for use with this tracker.e

все остальное - нет, там могут быть любые данные, в том числе чистые массивы байтов для которых любой перевод в строку смертелен

вот как раз поля pieces это и есть просто последовательность байтов

@sau · 19.08.2012, 22:55

info_hash += "%" + x16[(byte)x / 16] + x16[(byte)x % 16];

черт. а почему так сложно ? , я думал все вопросы решаются стандартными классами кодировки и хэширования.

@xnimor · 19.08.2012, 23:06 **[ТС]**

m0nax, все же не дурак я... работал с ним через BinaryReader... Не текстовый файл....

Добавлено через 9 минут
m0nax, Спасибо UrlEncode решил проблему...

@m0nax · 19.08.2012, 23:06

короче, info_hash это хеш со всего блока info в торрент файле
в этом блоке кроме всего прочего лежат блоки pieces, которые сами по себе является набором хешей для частей файлов

со всего этого блока со всеми потрохами берется sha1 хеш и получается info_hash, который потом кодируется UrlEncode отправляется на трекер

@bumbaram · 19.08.2012, 23:07

Мож я че не понял. Но допустим ты получил строку с sha-1 от какого-то файла. Потом

C#

namespace test
{
    class Program
    {
        static void Main(string[] args)
        {
            using(StreamWriter writer = new StreamWriter("test.txt"))
            {
                string sha = "2fd4e1c67a2d28fced849ee1bb76e7391b93eb12";
                byte[] bytes = Encoding.Default.GetBytes(sha.ToCharArray());
                char[] ansi_sha = Encoding.ASCII.GetChars(bytes);
                writer.Write(ansi_sha);                
            }
            Console.WriteLine("program is done");
            Console.Read();
        }
    }
}

Файл проверил, точно в ANSII и точно те символы.

@xnimor · 19.08.2012, 23:08 **[ТС]**

Спецификацию протоколов читать умею =)
Я замудрил больно с переводом....
Спасибо за подкинутый класс HttpUtility

@xnimor 72 / 72 / 6 Регистрация: 16.06.2012 Сообщений: 220
	19.08.2012, 23:08 [ТС]	10
	Спецификацию протоколов читать умею =) Я замудрил больно с переводом.... Спасибо за подкинутый класс HttpUtility 0

@m0nax 1274 / 975 / 113 Регистрация: 12.01.2010 Сообщений: 1,971
	19.08.2012, 22:30	2
	sha1.ComputeHash выдает тебе массив байт чтоб перегнать его в строку нужного вида достаточно использовать System.Web.HttpUtility.UrlEncode m0nax, Hash уже есть в файле. нет, его там нет есть только сама по себе структура-словарь "info", после ее чтения с нее берется хеш 1

@bumbaram 47 / 47 / 9 Регистрация: 13.02.2012 Сообщений: 176
	19.08.2012, 22:31	3
	Попробую внести для себя ясность. 1) В какой кодировке общается сервер? 2) В какой кодировке ты получаешь SHA-1? 0

@xnimor 72 / 72 / 6 Регистрация: 16.06.2012 Сообщений: 220
	19.08.2012, 22:55 [ТС]	4
	m0nax, Hash уже есть в файле. bumbaram, Имеется описание, (BitTorrent Protocol), что символы записаны в ASCII, однако, т.к. он содержит 7 бит, то (касаемо SHA1) 1 бит остается пустым, символы, где этот бит обращен в 1 и записываются как %hh. Чтение происходит в формате ANSI. Сервер работает (как правило) в том же режиме. Добавлено через 11 минут m0nax, pieces - строка длиной 20pieces_length, где каждые 20 символов - SHA1 хеш части. пруф http://jonas.nitro.dk/bittorre... t-rfc.html Добавлено через 1 минуту* System.Web.HttpUtility.UrlEncode - не допускает имя класса - HttpUtility.. Дебильный вопрос (я понимаю), но HttpUtility действительно у меня не определяется как класс... В чем может быть дело? Добавлено через 8 минут Так... с HttpUtility разобрался... счас через него попробую 0

@m0nax 1274 / 975 / 113 Регистрация: 12.01.2010 Сообщений: 1,971
	19.08.2012, 22:55	5
	ну да, тут все запущенней чем я подумал info_hash который отправляют на трекер и pieces в торрент файле это абсолютно разные вещи торрент файл это не текстовый файл, его нельзя читать как текстовый файл, к нему(целиком) нельзя применять какие либо кодировки в кодировке ASCII там записаны только сами элементы формата, например вот тут жирным это ASCII d14:failure reason63:Requested download is not authorized for use with this tracker.e все остальное - нет, там могут быть любые данные, в том числе чистые массивы байтов для которых любой перевод в строку смертелен вот как раз поля pieces это и есть просто последовательность байтов 0

@sau 2735 / 2041 / 380 Регистрация: 22.07.2011 Сообщений: 7,731
	19.08.2012, 22:55	6
	info_hash += "%" + x16[(byte)x / 16] + x16[(byte)x % 16]; черт. а почему так сложно ? , я думал все вопросы решаются стандартными классами кодировки и хэширования. 0

@xnimor 72 / 72 / 6 Регистрация: 16.06.2012 Сообщений: 220
	19.08.2012, 23:06 [ТС]	7
	m0nax, все же не дурак я... работал с ним через BinaryReader... Не текстовый файл.... Добавлено через 9 минут m0nax, Спасибо UrlEncode решил проблему... 0

@m0nax 1274 / 975 / 113 Регистрация: 12.01.2010 Сообщений: 1,971
	19.08.2012, 23:06	8
	короче, info_hash это хеш со всего блока info в торрент файле в этом блоке кроме всего прочего лежат блоки pieces, которые сами по себе является набором хешей для частей файлов со всего этого блока со всеми потрохами берется sha1 хеш и получается info_hash, который потом кодируется UrlEncode отправляется на трекер 0