Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.76/21: Рейтинг темы: голосов - 21, средняя оценка - 4.76
24 / 4 / 2
Регистрация: 03.09.2009
Сообщений: 73

Не правильно конвертирует в UTF-8

11.10.2010, 15:16. Показов 4311. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Ребят, такая беда,
Есть некий байтовый массив, в котором хранится строка
я С помощью функции которая по частям вытаскивает этот массив, записывает его во временный буфер и из него конвертирует в строку, на выходе должна получится эта же строка только уже в String а не в битовом масиве

Проблема
В случае если вконце временного буфера записывается половина символа UTF-8 то конвертирует он его в абрукадабру типа :�
И соответственно следующий кусок буфера тоже начинается с половины символа, которая также выглядит �.
В итоге на выходе вместо например:
Распечатать
получаю:
Ра��печ��тат��
Как уйти от такой пакости?)

Добавлено через 3 минуты
Если бы все символы весили одинаково, ответ я понимаю, прост , сделать буфер размером кратным весу символов и усе... но в ютф-ке ведь все символы разные(
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
11.10.2010, 15:16
Ответы с готовыми решениями:

<globalization fileEncoding='utf-8' requestEncoding='utf-8' responseEncoding='utf-8' />
Если в коде пишу строку скажем Response.Write ('Вася дурак') - все срабатывает нормально, а если в &lt;body&gt;&lt;h1&gt;Вася...

XmlSerializer.Serialize() как поменять кодировку с UTF-16 на UTF-8
Задача серилизовать объект в string, но с кодировкой UTF-8. подзадача - как представить строку как Stream? // VALIDATE ...

Не конвертирует файл Png в Bmp
Пишу консольное приложение для конвертиции из Png в Bmp. Вот что сделал : using System; using System.Collections.Generic; using...

10
 Аватар для m0nax
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
11.10.2010, 16:16
а класс Encoding чем не нравится? там как бы есть готовые методы для таких преобразований
0
24 / 4 / 2
Регистрация: 03.09.2009
Сообщений: 73
11.10.2010, 16:55  [ТС]
я ним и пользуюсь Encoding.UTF8.GETString(byte[] array)
выдает именно такой результат

Добавлено через 16 минут
Вот для наглядности кусок кода
C#
1
2
3
4
5
6
7
8
9
byte[] buf = new byte[8];
Int32 l;
StreamWriter writer = new StreamWriter("Исходники Сайта\\shop-print.html", false, Encoding.UTF8);
do
{
     l = nstream.Read(buf, 0, buf.Length);
     writer.Write(Encoding.UTF8.GetString(buf, 0, l));
} while (l > 0);
writer.Close();
0
 Аватар для m0nax
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
11.10.2010, 20:20
Добавлено через 3 минуты
Если бы все символы весили одинаково, ответ я понимаю, прост , сделать буфер размером кратным весу символов и усе... но в ютф-ке ведь все символы разные(
дык это и есть ответ, зачем собственно кусками преобразовывать?
можно ведь сначала прочитать все данные и только потом их конвертировать...
прочить хотя бы в тот же List<byte> если изначально размер неизвестен (nstream это наверно networkstream)..
1
24 / 4 / 2
Регистрация: 03.09.2009
Сообщений: 73
11.10.2010, 21:10  [ТС]
Да в принципе я так и сделал... Посидел подумал, и вспомнил что записывать в файл ведь можно не построчно а побитово)
тоесть конвертация это лишний шаг, и
В обход StreamWriter -а
Записал прямо в FileStream
C#
1
2
3
4
5
6
7
8
9
NetworkStream nstream = client.GetStream();
nstream.Write(buff, 0, buff.Length);
byte[] buf = new byte[1024];
Int32 l;
do
{
     l = nstream.Read(buf, 0, buf.Length);
     file.Write(buf, 0, l);
} while (l > 0);

А ваш варриант в данном случае мне не подходит по той причине, что входящий байтовый массив у меня весит примерно 8 метров.. хранить его в памяти.. очень не удобно...
учитывая что это циклическая функция у меня быстро кончатся ресурсы)
0
 Аватар для sCreator
39 / 39 / 2
Регистрация: 19.09.2010
Сообщений: 97
11.10.2010, 21:25
У меня работает так:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
 
namespace TestEncodingConsole
{
    class Program
    {
        static void Main(string[] args)
        {
            int leng;
            char[] charBuf = new char[25];
            StreamReader sr = new StreamReader("11 pravilo.txt", Encoding.UTF8);
            StreamWriter sw = new StreamWriter("shop-print.txt", false, Encoding.Unicode);
            while (0 < (leng = sr.Read(charBuf, 0, charBuf.Length)))
            {
                sw.Write(charBuf);
                Console.Write(charBuf);
            }
            Console.WriteLine("\n\nНажмите что нибудь");
            Console.ReadKey();
        }
    }
}
Вложения
Тип файла: zip TestEncodingConsole.zip (22.5 Кб, 20 просмотров)
1
24 / 4 / 2
Регистрация: 03.09.2009
Сообщений: 73
11.10.2010, 22:13  [ТС]
угу) тож самое только реализация другими классами)
0
 Аватар для sCreator
39 / 39 / 2
Регистрация: 19.09.2010
Сообщений: 97
12.10.2010, 21:44
Цитата Сообщение от newdj Посмотреть сообщение
угу) тож самое только реализация другими классами)
Вообще то не тоже самое - у меня конвертируется из UTF8 в Unicode ( в теме было "Не правильно конвертирует в UTF-8" ).

Пока набросок делал, Вы и успели сообщить, что конвертация вообще не причем - нужна запись потока в файл.

Добавлено через 3 минуты
Кстати, byte - это байт и состоит из восьми битов
1
 Аватар для s-kvv
76 / 73 / 9
Регистрация: 09.06.2010
Сообщений: 206
13.10.2010, 09:25
Цитата Сообщение от newdj Посмотреть сообщение
Проблема
В случае если вконце временного буфера записывается половина символа UTF-8 то конвертирует он его в абрукадабру типа :�
И соответственно следующий кусок буфера тоже начинается с половины символа, которая также выглядит �.
В итоге на выходе вместо например:
Распечатать
получаю:
Ра��печ��тат��
Как уйти от такой пакости?)
посмотрите
кодировка.GetDecoder();
Decoder позволяет такие последовательности перекодировать, т.к. сохраняет инф. с педыдушего конвертирования ("недоконвертированные байты").
1
24 / 4 / 2
Регистрация: 03.09.2009
Сообщений: 73
25.10.2010, 22:20  [ТС]
Цитата Сообщение от s-kvv Посмотреть сообщение
посмотрите
кодировка.GetDecoder();
Decoder позволяет такие последовательности перекодировать, т.к. сохраняет инф. с педыдушего конвертирования ("недоконвертированные байты").
Вот кручу этот декодер, никак не могу понять как его использовать... можно примерчик?
0
 Аватар для s-kvv
76 / 73 / 9
Регистрация: 09.06.2010
Сообщений: 206
26.10.2010, 01:17
Тут посмотри
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
26.10.2010, 01:17
Помогаю со студенческими работами здесь

Не конвертируется в число , точней конвертирует 5 в 53 и тд
int num = Convert.ToInt32(Console.ReadLine()); string num2 = Convert.ToString(num); int stac; ...

UTF-8 файл конвертирует и сохраняет как ANSI
Доброго времени суток. Подскажите ктонибудь пожалуйста что не так делаю? Файл формируется на 1c если брать его просто так то он в utf-8....

getBytes('UTF-16') даёт UTF-16LE или UTF-16BE?
Добрый день! Делаю J2ME-клиента к некому серверу, исходников которого у меня нет, но есть работающий клиент на C#. Выяснилось, что C#...

Конвертация из ASCII в UTF-32 или UTF-8 в UTF-32
Собсно сабж.

Как правильно определить длину строки в кодировке UTF-8?
подскажите как в этот код добавить utf-8 ? потому что русские символы тяжелее в 2 раза. if(strlen($_POST) &gt;= 4 &amp;&amp;...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Нашел на реддите интересную статью под названием «Кто-нибудь знает, где получить бесплатный компьютер или. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru