Как перевести в Unicode с обратным порядком байтов?

@WalStrile · Регистрация: 11.07.2020

Студворк — интернет-сервис помощи студентам

@liv · 14.07.2020, 17:43

Еще раз спрашиваю:

Сообщение от liv

что собой представляют данные? Внутри может быть байт '\0'?

Сообщение от WalStrile

big-endian

Речь идет о порядке байт в исходной строке?
Спрашиватся, каков порядок байт в UTF-16? Два байта могут быть записаны двумя способами

Добавлено через 5 минут
WalStrile, кажется, я понял

Порядок исходных байт остается неизменный. Формируем UTF-16 с порядком старший вперед.
Например, код '1' = 0x31 преобразуется в 0x0031
Правильно?

@WalStrile · 14.07.2020, 17:48 **[ТС]**

Сообщение от Avazart

Как потом собираетесь это использовать?

Далее нужно сравнивать строку с этой строкой юникод обратным порядком байт

Добавлено через 1 минуту
liv, ну да..

@argcargv · 14.07.2020, 17:54

Не по теме:

Сообщение от Avazart

Это какой такой? Какой тогда прямой порядок?

Офигенные вопросы задают люди с шильдиком "Эксперт C++", который вроде как ******** язык.

@liv · 14.07.2020, 17:55

Ну а на этот вопрос будет ответ?

Сообщение от liv

что собой представляют данные? Внутри может быть байт '\0'?

@Avazart · 14.07.2020, 18:02

argcargv, Мм а Вы знаете правильный ответ на вопрос? На который в принципе не может быть правильного ответа?

@WalStrile · 14.07.2020, 18:04 **[ТС]**

liv,

Сообщение от liv

что собой представляют данные? Внутри может быть байт '\0'?

Нет там лишь номера символов от 0 до 255

@liv · 14.07.2020, 18:04

WalStrile, могу предложить такой вариант, возможно, неоптимальный, но вполне рабочий:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
static wstring GetUnicodeString(unsigned char* ByteFile, unsigned long long startIndex, int Lenght)
{
    char *temp = new char[Lenght];
    char *ptr = (char*)&ByteFile[startIndex];
    for (int i = 0; i < Lenght; ++i)
        temp[i] = ptr[Lenght - i - 1];
    wchar_t *ws = new wchar_t[Lenght+1];
    MultiByteToWideChar(CP_ACP, 0, ptr, Lenght, ws, Lenght);
    ws[Lenght] = 0;
    for (int i = 0; i < Lenght; ++i)
        swap(((char*)&ws[i])[0], ((char*)&ws[i])[1]);
    wstring w{ ws };
    return w;
}
 
int main()
{
    unsigned char s[256] = "йцукенг";
    wstring wBE = GetUnicodeString(s, 2, 3);
}

@Avazart · 14.07.2020, 18:04

Сообщение от WalStrile

Далее нужно сравнивать строку с этой строкой юникод обратным порядком байт

Чё?

@liv · 14.07.2020, 18:07

WalStrile, что такое "номер символов 0"? Символ '0' или код 0x00?

Добавлено через 1 минуту
Avazart, так понимаю, есть где-то строки в кодировке UTF-16BE. И вот с ними потом будет сравнение неких подстрок из массива.

@WalStrile · 14.07.2020, 18:10 **[ТС]**

символы из таблицы acii

Добавлено через 1 минуту
liv, так возможно получить юникод с обратным порядком байтов в string??

@liv · 14.07.2020, 18:14

Сообщение от WalStrile

номера символов из таблицы acii

Так код 0x00 тоже из таблицы ASCII! Он возможен или нет внутри подстроки?

Сообщение от WalStrile

так возможно получить юникод с обратным порядком байтов в string?

На этот вопрос уже был дан ответ. Вы читаете, что Вам пишут или нет? string работает только с однобайтными строками.

@argcargv · 14.07.2020, 18:15

Сообщение от Avazart

Мм а Вы знаете правильный ответ на вопрос?

Прямым порядком называют big-endian.

@WalStrile · 14.07.2020, 18:19 **[ТС]**

liv, хорошо, я понял. А как получить обычную unicode строку тогда? таким же способом

C++
1
2
3
4
static string UnicodeGetString(unsigned char* ByteFile, unsigned long long srartIndex, int Lenght)
    {
 
    }

Добавлено через 43 секунды

Сообщение от liv

Так код 0x00 тоже из таблицы ASCII!

да я же написал что те символы с 0 до 255

@liv · 14.07.2020, 18:24

WalStrile, проблема в том, что 0x00 - признак конца строки C_STYLE. И функция MultiByteToWideChar() обработает строку только до этого нулевого байта, даже если будет указана большая длина.

@Avazart · 14.07.2020, 18:32

Сообщение от argcargv

Прямым порядком называют big-endian.

Очевидно что это вещь зависимая.

@liv · 14.07.2020, 18:34

Сообщение от WalStrile

как получить обычную unicode строку

Что значит "обычную"?
Я Вам дал код, который вернет wstring с UTF-16BE кодированной подстрокой. При условии, что внутри этой подстроки не будет байта '\0' = 0x00. Уже не устраивает?

Добавлено через 1 минуту
Правда, там еще не мешало бы проверить на уход за массив...

@Avazart · 14.07.2020, 18:36

Сообщение от liv

Avazart, так понимаю, есть где-то строки в кодировке UTF-16BE. И вот с ними потом будет сравнение неких подстрок из массива.

Ну он сказал std::string что все лишает смысла так как это всего лишь контейнер. В C# же скорее всего там юникодные (двухбайтовые) строки. Тут еще касательно сравнения могут быть проблемы с локалью в С++.

@liv · 14.07.2020, 18:48

Avazart, локаль, полагаю уже непринципиальна. Т.к. строки будут уже UTF-16BE. Но проблемы при сравнении все равно будут. Если на равно еще можно будет сравнить, то на больше/меньше просто уже не получится.
А не лучше ли использовать UTF16LE (младший вперед), которая более родная для Intel-овского порядка?

Впрочем, постановка задачи скрыта за семью печатями

Оставим разгребать дальше ТС

А big-endian таки называется прямым порядком. Так исторически сложилось.

@DrOffset · 14.07.2020, 19:06

Сообщение от WalStrile

А как получить обычную unicode строку тогда? таким же способом

В string можно записать UTF-8, но для UTF-8 порядок байт всегда один, потому что от него зависит корректность кодирования.

Вы бы лучше написали что вам по сути сделать надо. Вслепую переводить конструкции с одного языка на другой и с одной библиотеки на другую не всегда продуктивно.

@Avazart · 14.07.2020, 22:46

Сообщение от liv

Avazart, так понимаю, есть где-то строки в кодировке UTF-16BE. И вот с ними потом будет сравнение неких подстрок из массива.

А в массив какой? Откуда там данные? Если в коде зашит то одно, если из файла то другое (нужно учитывать кодировку исходников или файла)

Напомню что в винде используется UTF-16 LE. А исходники обычно хранят в UTF-8.
Нужно понять в какой кодировке и виде исходная строка и что хотим получить.

Добавлено через 6 минут
Тут https://docs.microsoft.com/en-... etcore-3.1 указаны кодовые страницы:

1200	utf-16	Unicode
1201	utf-16BE	Unicode (Big-Endian)

Их и стоит использовать при перекодировании с помощью MultiByteToWideChar() и WideCharToMultiByte()

Новые блоги и статьи Все статьи Все блоги /
Doom для терминала без стрельбы и монстров. 3D Raycasting на ascii. dcc0 05.07.2026 Попросил нейронную сеть deepai. org написать рейкастинг 3D с библиотекой ncurses для Linux. Чтобы можно было ходить на стрелочки. Чтобы стены были отрисованы символами. Справилась. Первый вариант. . .	Установка статуса документа по условию Maks 05.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "НарядПутевка" разработанного в КА2. Задача: в табличной части "Материалы" документа при записи автоматически устанавливать статус. . .	Сезонность и суточность закисления почв anaschu 04.07.2026 200 часов это все равно моловато. Есть ситуации, но нестандартные, когда смена происходит за 5 лет. Но обычно это 50 лет и более. Наверное, закисление почвы происходит сезонно в средней. . .	В чем ценность человеческого опыта в глобальном смысле? kumehtar 03.07.2026 Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .
интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .	Сам себя обучал rest api anaschu 02.07.2026 Педагогический лайфхак: Почему чистый REST API для ученика намного круче, чем готовые библиотеки Когда мы отказались от капризного JAR-файла AnyLogic и переписали код на стандартный HttpClient,. . .	rest api anylogic - выполнение модели на своём русском сайте anaschu 02.07.2026 Как подружиться с AnyLogic Cloud API, победить провайдеров и развернуться Java-бэкенд в Docker на бесплатном хостинге: Двухдневный лог борьбы Всем привет! Хочу поделиться свежим (и довольно. . .

@WalStrile 0 / 0 / 0 Регистрация: 11.07.2020 Сообщений: 90

	Как перевести в Unicode с обратным порядком байтов? 14.07.2020, 16:04. Показов 3228. Ответов 53 Метки нет (Все метки) Как перевести в Unicode с обратным порядком байтов? 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	14.07.2020, 18:02
	argcargv, Мм а Вы знаете правильный ответ на вопрос? На который в принципе не может быть правильного ответа? 0

@liv 5120 / 4574 / 855 Регистрация: 07.10.2015 Сообщений: 9,462
	14.07.2020, 18:07
	WalStrile, что такое "номер символов 0"? Символ '0' или код 0x00? Добавлено через 1 минуту Avazart, так понимаю, есть где-то строки в кодировке UTF-16BE. И вот с ними потом будет сравнение неких подстрок из массива. 0

@WalStrile 0 / 0 / 0 Регистрация: 11.07.2020 Сообщений: 90
	14.07.2020, 18:10 [ТС]
	символы из таблицы acii Добавлено через 1 минуту liv, так возможно получить юникод с обратным порядком байтов в string?? 0

@liv 5120 / 4574 / 855 Регистрация: 07.10.2015 Сообщений: 9,462
	14.07.2020, 18:24
	WalStrile, проблема в том, что 0x00 - признак конца строки C_STYLE. И функция MultiByteToWideChar() обработает строку только до этого нулевого байта, даже если будет указана большая длина. 0

@liv 5120 / 4574 / 855 Регистрация: 07.10.2015 Сообщений: 9,462
	14.07.2020, 18:48
	Avazart, локаль, полагаю уже непринципиальна. Т.к. строки будут уже UTF-16BE. Но проблемы при сравнении все равно будут. Если на равно еще можно будет сравнить, то на больше/меньше просто уже не получится. А не лучше ли использовать UTF16LE (младший вперед), которая более родная для Intel-овского порядка? Впрочем, постановка задачи скрыта за семью печатями Оставим разгребать дальше ТС А big-endian таки называется прямым порядком. Так исторически сложилось. 0