Чтение и запись многобайтовых строк

@sadomazo228 · Регистрация: 22.11.2020

Студворк — интернет-сервис помощи студентам

Приветствую )
Поднимаю вечную проблему - проблему русского текста в C++

Задача:
Считать ввод с консоли (русский/английский) и в точности записать в файл в кодировке UTF-8

За дело !

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <algorithm>
#include <iterator>
#include <io.h>
#include <fcntl.h>
#include <codecvt>
 
using namespace std;
 
int main(int, char **) {
 
    /** -*-> Установка русской локали -*-> */
    try {
        locale::global(locale{"ru_RU.UTF8"}); /// OS Linux (GCC)
    } catch (...) {
        setlocale(LC_ALL, "Russian"); /// OS Windows (MinGW)
    }
 
    /** -*-> тип данных потоков в UNICODE char16_t -*-> */
    _setmode(_fileno(stdout), _O_U16TEXT);
    _setmode(_fileno(stdin), _O_U16TEXT);
    _setmode(_fileno(stderr), _O_U16TEXT);
 
    /** -*-> заполнение вектора введёнными строками -*-> */
    vector<wstring> buffer{};
    for (wstring str{}; getline(wcin, str);) buffer.push_back(str);
 
    /** -*-> поток вывода в файл -*-> */
    string path{"test.txt"};
    ios::openmode mode{ios::out | ios::trunc | ios::binary};
    wfstream oStream{path, mode};
 
    /** -*-> наполняем поток локалью с фасетом, способным преобразовать наш код (UTF-16) в UTF-8 или UTF-16 -*-> */
    oStream.imbue(locale{locale{}, new codecvt_utf8_utf16<wchar_t>});
 
    /** -*-> вывод из вектора в файл -*-> */
    ostream_iterator<wstring, wchar_t> itOut{oStream, L"\n"}; /// <- !!! Строчка, затем \n и так далее
    move(begin(buffer), end(buffer), itOut);
 
    system("pause");
 
    return 0;
}

Ввод в консоль:
Привет как делы ?
Да блин, то \n многовато !
(комбинация ctrl + z)

Результат в файле:
Привет как делы ?

Да блин, то \n многовато !

Итого:
После каждой строчки взялся дополнительный перенос, сразу скажу, что я уже перепробовал ну очень многое, тут я думаю у меня проблема в самом понимании как работают:

C++
1
2
3
4
5
6
7
8
9
10
    try {
        locale::global(locale{"ru_RU.UTF8"}); /// OS Linux (GCC)
    } catch (...) {
        setlocale(LC_ALL, "Russian"); /// OS Windows (MinGW)
    }
 
    /** -*-> тип данных потоков в UNICODE char16_t -*-> */
    _setmode(_fileno(stdout), _O_U16TEXT);
    _setmode(_fileno(stdin), _O_U16TEXT);
    _setmode(_fileno(stderr), _O_U16TEXT);

Но как я ни старался у меня не получилось избавиться от лишних строк... Да так избавиться чтобы работать с русским текстом.
Конечно если убрать три _setmode лишние переносы пропадают, но и вместо русского текста мешанина из кодировок.
ПРОБЛЕМА В НЕПОНИМАНИИ КАК РАБОТАТЬ С КОДИРОВКАМИ В С++

@L0M · 08.05.2021, 13:34

sadomazo228, а почему вы выходной файл в binary-моде открываете? В результате у вас L"\n" в файл попадает как 0x0A. И чем смотрите результат в файле? Может просмотрщик своеобразно отображает одинокий код 0x0A.

Попробуйте для файла дефолтный text-mode.

Я размножения концов строк в вашей программе не наблюдаю ни так, ни так.

@sadomazo228 · 08.05.2021, 13:37 **[ТС]**

Сообщение от L0M

Я размножения концов строк в вашей программе не наблюдаю ни так, ни так.

А каким блокнотом вы открывали документ ?
Хотя тут похоже надо спросить какая у вас ОС ?

@L0M · 08.05.2021, 13:41

sadomazo228, Win10, Notepad2 4.2.25 и Far Manager, version 3.0 (build 4900) x64 (просмотр в тексте и в кодах).

@sadomazo228 · 08.05.2021, 13:50 **[ТС]**

Ну у меня так же, проклятье !

Добавлено через 1 минуту
Дело даже в том, что если не в файл выводить например, а в консоль, то у меня тоже будут дополнительные пустые переносы строк (

Добавлено через 6 минут
Ну кстати на ваш вопрос почему именно ios::binary, да просто потому что, как написал, так и будет вводиться, без дополнительных преобразований (это по книге).

@L0M · 08.05.2021, 13:52

sadomazo228, ваш test.txt прикрепите к сообщению.
А компилятор у вас какой? Я смотрю под Visual Studio 2019.

Добавлено через 2 минуты

Сообщение от sadomazo228

Ну кстати на ваш вопрос почему именно ios::binary, да просто потому что как написал, так и будет, без дополнительных преобразований

Это да, но вы работаете с текстом. Может эти дополнительные преобразования как раз и нужны? Вы попробуйте в текстовом режиме файл писать.

@sadomazo228 · 08.05.2021, 14:01 **[ТС]**

У меня Clion 2020.1

Добавлено через 2 минуты
Только что проверил без бинарного мода, то же самое

Добавлено через 4 минуты
И компилятор у меня такой же как и у вас раз мы оба на Win10 -> MinGW

Добавлено через 1 минуту
Мне вот ещё что интересно, у тебя вот эта строча выбросит исключение ?

C++
1
locale::global(locale{"ru_RU.UTF8"});

@L0M · 08.05.2021, 14:11

Сообщение от sadomazo228

И компилятор у меня такой же как и у вас раз мы оба на Win10 -> MinGW

Не-а. Компилятор у меня майкрософтовский.

Сообщение от sadomazo228

Мне вот ещё что интересно, у тебя вот эта строча выбросит исключение ?

Не выбрасывает.

Файлик свой выходной прикрепите к сообщению.

Результат работы вашей программы на моей системе с выводом в файл в текстовом режиме прикрепил.

@sadomazo228 · 09.05.2021, 03:45 **[ТС]**

Вот, скидываю свой файл...

Короче... я решил проблему оборачиванием wcin в манипулятор ws -> ws(wcin)
Как результат wcin фильтрует пробельные символы в начале строки и в конце.
А ТЕПЕРЬ ВНИМАТЕЛЬНО !
Но раз в строке сохраняется \n, то я могу обойтись без \n в самом итераторе:

C++
1
ostream_iterator<wstring, wchar_t> itOut{oStream}; /// <- !!! без второго аргумента L"\n"

Ожидаемый результат:
Каждая строчка на своём месте... Потому что у каждой строчки уже должен быть свой \n

У меня фактический результат:
Всё в одну строчку

Исходник (результат исходника скину в файле withOutN.txt):

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <algorithm>
#include <iterator>
#include <io.h>
#include <fcntl.h>
#include <codecvt>
 
using namespace std;
 
int main(int, char **) {
 
    /** -*-> Установка русской локали -*-> */
    try {
        locale::global(locale{"ru_RU.UTF8"}); /// OS Linux (GCC)
    } catch (...) {
        setlocale(LC_ALL, "Russian"); /// OS Windows (MinGW)
    }
 
    /** -*-> тип данных потоков в UNICODE char16_t -*-> */
    _setmode(_fileno(stdout), _O_U16TEXT);
    _setmode(_fileno(stdin), _O_U16TEXT);
    _setmode(_fileno(stderr), _O_U16TEXT);
 
    /** -*-> заполнение вектора введёнными строками -*-> */
    vector<wstring> buffer{};
    for (wstring str{}; getline(wcin, str);) buffer.push_back(str); /// <- !!! В конце str \n уже есть от getline()
 
    /** -*-> поток вывода в файл -*-> */
    string path{"withOutN.txt"};
    ios::openmode mode{ios::out | ios::trunc | ios::binary};
    wfstream oStream{path, mode};
 
    /** -*-> наполняем поток локалью с фасетом, способным преобразовать наш код (UTF-16) в UTF-8 или UTF-16 -*-> */
    oStream.imbue(locale{locale{}, new codecvt_utf8_utf16<wchar_t>});
 
    /** -*-> вывод из вектора в файл -*-> */
    ostream_iterator<wstring, wchar_t> itOut{oStream}; /// <- !!! Строчка, затем \n и так далее
    move(begin(buffer), end(buffer), itOut);
 
    system("pause");
 
    return 0;
}

@nmcf · 09.05.2021, 08:07

getline() отбрасывает \n.

@sadomazo228 · 09.05.2021, 08:57 **[ТС]**

А у меня получается не отбросила ? Но как это возможно

Новые блоги и статьи Все статьи Все блоги /
Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка SDL3 и Box2D из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»

@L0M Мозгоправ 1745 / 1039 / 468 Регистрация: 01.10.2018 Сообщений: 2,138 Записей в блоге: 2
	08.05.2021, 13:34
	sadomazo228, а почему вы выходной файл в binary-моде открываете? В результате у вас `L"\n"` в файл попадает как 0x0A. И чем смотрите результат в файле? Может просмотрщик своеобразно отображает одинокий код 0x0A. Попробуйте для файла дефолтный text-mode. Я размножения концов строк в вашей программе не наблюдаю ни так, ни так. 0

@L0M Мозгоправ 1745 / 1039 / 468 Регистрация: 01.10.2018 Сообщений: 2,138 Записей в блоге: 2
	08.05.2021, 13:41
	sadomazo228, Win10, Notepad2 4.2.25 и Far Manager, version 3.0 (build 4900) x64 (просмотр в тексте и в кодах). 0

@sadomazo228 0 / 0 / 0 Регистрация: 22.11.2020 Сообщений: 42
	08.05.2021, 13:50 [ТС]
	Ну у меня так же, проклятье ! Добавлено через 1 минуту Дело даже в том, что если не в файл выводить например, а в консоль, то у меня тоже будут дополнительные пустые переносы строк ( Добавлено через 6 минут Ну кстати на ваш вопрос почему именно ios::binary, да просто потому что, как написал, так и будет вводиться, без дополнительных преобразований (это по книге). 0

@nmcf 7804 / 6568 / 2988 Регистрация: 14.04.2014 Сообщений: 28,705
	09.05.2021, 08:07
	getline() отбрасывает \n. 0

@sadomazo228 0 / 0 / 0 Регистрация: 22.11.2020 Сообщений: 42
	09.05.2021, 08:57 [ТС]
	А у меня получается не отбросила ? Но как это возможно 0