Как задать локаль для потока?

@taras atavin · Регистрация: 24.11.2009

Студворк — интернет-сервис помощи студентам

Задача прочитать UTF-8 без BOM из файла в std::wstring. Однобайтные символы читаются, а кириллица нет. Если поставить

C++
1
Fille.imbue("ru_RU.UTF8");

, или

C++
1
std::locale::global(std::locale("ru_RU.UTF8"));

, прога аварийно завершается.

@taras atavin · 06.05.2013, 19:26 **[ТС]**

А где?

Убежденный · 06.05.2013, 19:30

Сообщение от taras atavin

Задача прочитать UTF-8 без BOM из файла в std::wstring. Однобайтные символы читаются, а кириллица нет.

Прочитайте содержимое файла в буфер, а затем вызовите MultiByteToWideChar с CodePage = CP_UTF8.
Получите строку в UTF-16 Little Endian, которую можно будет передать в wstring.
Тащить для такой мелкой задачи Boost и ICU (особенно ввиду объема последней) - страшный overkill.

@taras atavin · 08.05.2013, 09:41 **[ТС]**

Дополнительное условие: приложение должно распространяться только в бинарниках, под другой лицензией и иметь закрытый исходный текст.

Добавлено через 1 минуту

Сообщение от Убежденный

Прочитайте содержимое файла в буфер, а затем вызовите MultiByteToWideChar с CodePage = CP_UTF8.
Получите строку в UTF-16 Little Endian, которую можно будет передать в wstring.

Сообщение от Убежденный

Прочитайте содержимое файла в буфер, а затем вызовите MultiByteToWideChar с CodePage = CP_UTF8.

1. Какого типа должен быть буфер?
2. Как перед чтением файла определить его размер?
3. Преобразование происходит в самом буфере?

Добавлено через 1 минуту
Дайте пожалуйста пример на эту функцию.

Убежденный · 08.05.2013, 09:47

Сообщение от taras atavin

1. Какого типа должен быть буфер?

char.

Сообщение от taras atavin

2. Как перед чтением файла определить его размер?

GetFileSizeEx.

Сообщение от taras atavin

3. Преобразование происходит в самом буфере?

Да.

@ForEveR · 08.05.2013, 09:48

taras atavin, 1) char же (в терминах майкрософта LPCSTR).
2) http://en.cppreference.com/w/c... ream/seekg
http://en.cppreference.com/w/c... ream/tellg

C++
1
2
3
fs.seekg(0, std::ios_base::end);
std::ios::pos_type size = fs.tellg();
fs.seekg(0, std::ios_base::beg);

3) http://msdn.microsoft.com/en-u... 85%29.aspx

@taras atavin · 09.05.2013, 14:50 **[ТС]**

А где брать cbMultiByte и cchWideChar и какого размера создавать lpWideCharStr? http://msdn.microsoft.com/en-u... s.85).aspx.

@OhMyGodSoLong · 09.05.2013, 20:05

Сообщение от taras atavin

где брать cbMultiByte и cchWideChar

Мне вас читать учить? Это размеры входного и выходного буферов. В байтах и wchar_t соответственно. Вот где выделяете память под буферы, там и берите.

Сообщение от taras atavin

и какого размера создавать lpWideCharStr

Из параноидального расчёта: 1 wchar_t на каждый байт входной последовательности. Вообще на один кириллический символ уходит по два-три байта UTF-8 или один двухбайтовый символ UTF-16, но лучше обойтись без сюрпризов, потому что на пробелы и всякие точки-скобочки уходит по одному байту UTF-8.

Убежденный · 09.05.2013, 20:33

MultiByteToWideChar умеет возвращать необходимый размер буфера, если ее "попросить",
указав в cchWideChar нулевое значение. Только учитывайте, что она, в зависимости от
аргументов, может формировать выходной буфер без завершающего нуля.

@taras atavin · 09.05.2013, 21:03 **[ТС]**

Вообще не понял. Куда она будет писать результат преобразования, если память не выделялась? И как она вернёт размер буфера в байтах и в символах?

Убежденный · 09.05.2013, 21:11

Если вкратце. Есть буфер, размер которого известен, с текстом в кодировке UTF-8.
Текст нужно перевести в UTF-16.

Шаг 1 - определяем размер выходного буфера.
Для этого вызываем MultiByteToWideChar, указывая ноль в cchWideChar.
В описании этого параметра сказано: "If this value is 0, the function returns the
required buffer size, in characters, including any terminating null character, and makes
no use of the lpWideCharStr buffer". В случае успеха функция вернет необходимый
размер выходного буфера, в символах.

Шаг 2 - выделяем буфер необходимого размера (new/malloc/VirtualAlloc и т.п.).

Шаг 3 - вызываем функцию MultiByteToWideChar повторно, теперь в последних
параметрах указываем адрес и размер выходного буфера.

Особое внимание уделите вот этому фрагменту из описания функции:

cbMultiByte [in]

If this parameter is -1, the function processes the entire input string, including the
terminating null character. Therefore, the resulting Unicode string has a terminating
null character, and the length returned by the function includes this character.

If this parameter is set to a positive integer, the function processes exactly the
specified number of bytes. If the provided size does not include a terminating null
character, the resulting Unicode string is not null-terminated, and the returned
length does not include this character.

@taras atavin · 10.05.2013, 14:08 **[ТС]**

Сообщение от OhMyGodSoLong

Это размеры входного и выходного буферов. В байтах и wchar_t соответственно.

Со входным поняно. Но как сосчитать символы? И сколько надо выделить памяти на wchar_t-буфер?

Добавлено через 35 минут
Повторно вызвал. Как теперь загнать эту строку в std::wstring? Можно написать

C++
1
Result=wchar_tBuffer;

?

@Optimus11 · 23.01.2020, 18:52

Сообщение от Убежденный

MultiByteToWideChar умеет возвращать необходимый размер буфера, если ее "попросить",
указав в cchWideChar нулевое значение. Только учитывайте, что она, в зависимости от
аргументов, может формировать выходной буфер без завершающего нуля.

Здравствуйте,
Если я правильно понял, то при нулевом cchWideChar, MultiByteToWideChar возвращает не размер бфера, то есть не размер байт, а кол-во преобразованных символов utf16, то есть размер буфера все таки определить не удается.

Добавлено через 6 минут
Или же я немного не прав и MultiByteToWideChar возвращает не кол-во символов, а кол-во двухбайтовых wchar_t байт, скорее наверное так.

Новые блоги и статьи Все статьи Все блоги /
Книги по геймдизайну, левел-дизайну, игровым механикам и проектированию игрового опыта 8Observer8 08.11.2026 Содержание блога \| English Version 1. 2003 - 06 - Designing Virtual Worlds (1st Edition) Автор: Richard A. Bartle \| Объем: 768 стр. Ссылки: Amazon . . .	Родители токсичные абьюзеры по отношению к своим детям ругают их оскорбляют не любят zorxor 08.11.2026 Жить в атмосфере постоянных оскорблений, критики и холодности со стороны родителей — это тяжелое и болезненное испытание, которое оставляет глубокие эмоциональные раны. Токсичное и абьюзивное. . .	Как только я захожу к себе в свою комнату я сразу же с себя снимаю свои трусы. Ответ от Джемени ИИ. zorxor 08.11.2026 Джемени, как только я захожу к себе в свою комнату я сразу же с себя снимаю свои трусы. Многие люди, возвращаясь домой, сразу переодеваются в максимально свободную одежду или вовсе предпочитают. . .	Паттерн очереди действий/команд (Action / Command Queue). Система очереди действий и кат-сцен с SDL3 Callbacks, cglm и OpenGL 8Observer8 07.11.2026 Содержание блога \| English Version Руководство для начинающих по реализации паттерна очереди действий/ команд (Action / Command Queue) на C++ (C++20) с использованием официального SDL3 Callbacks. . .
Проверка полного ФИО в типовом справочнике Maks 07.11.2026 Решение реализовано в конфигурации КА2, на примере справочника "КонтактныеЛицаПартнеров". Задача: Запрет инициалов. Не допускаеть использование сокращений вида "И. И. ", "И. И. ", "И И" и. . .	Про "Windows must die!" kumehtar 04.11.2026 Знаете, чет накатило. . . . Когда-то это было почти боевым кличем: мол, нормальный человек сидит на DOS, OS/ 2 или Linux, а вот это вот - Must Die. А теперь человек произносит «мастдай» с усмешкой - и. . .	Красочные поля с номером страницы svg+background-image russiannick 04.11.2026 Красочные поля с номером страницы не менее важны чем в эпоху бумажных книг. Посему спешу представить почтеннейшей публике этот важный инструмент который эти поля и формирует. В процессе разработки. . .	Вступаем в новую фазу генерации favicons, векторную. russiannick 02.11.2026 Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .

@taras atavin 4226 / 1799 / 211 Регистрация: 24.11.2009 Сообщений: 27,562
	06.05.2013, 19:26 [ТС]
	А где? 0

@taras atavin 4226 / 1799 / 211 Регистрация: 24.11.2009 Сообщений: 27,562
	09.05.2013, 14:50 [ТС]
	А где брать cbMultiByte и cchWideChar и какого размера создавать lpWideCharStr? http://msdn.microsoft.com/en-u... s.85).aspx. 0

Убежденный Ушел с форума 16481 / 7444 / 1187 Регистрация: 02.05.2013 Сообщений: 11,616 Записей в блоге: 1
	09.05.2013, 20:33
	MultiByteToWideChar умеет возвращать необходимый размер буфера, если ее "попросить", указав в cchWideChar нулевое значение. Только учитывайте, что она, в зависимости от аргументов, может формировать выходной буфер без завершающего нуля. 0

@taras atavin 4226 / 1799 / 211 Регистрация: 24.11.2009 Сообщений: 27,562
	09.05.2013, 21:03 [ТС]
	Вообще не понял. Куда она будет писать результат преобразования, если память не выделялась? И как она вернёт размер буфера в байтах и в символах? 0