Utf-8 строка в std::string

@rikimaru2013 · Регистрация: 30.11.2013

Студворк — интернет-сервис помощи студентам

Добрый вечер,

есть строка в UTF-8 - парсер(rapidjson cocos2dx c++) читаёт её как std::string, дальнейшее приобразование в wstring не спасает текст. Есть вариант спасения этих данных? Или как побайтово считывая текста - записать его в wstring в нужной кодировке.

@hoggy · 11.08.2015, 15:07

как то так...

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
#include <iostream>
 
#include <string>
#include <clocale>
#include <codecvt>
 
//std::size_t wcsrtombs
#include <cwchar>
 
    namespace multibyte {
 
        std::string  Convert(const wchar_t* s);
        std::wstring Convert(const char*    s);
        std::string  Convert(const std::wstring& s);
        std::wstring Convert(const std::string&  s);
        void test();
    }
 
    namespace utf8 {
        std::string  Convert(const std::wstring& s);
        std::wstring Convert(const std::string&  s);
        void test();
    }
 
    namespace stdlocal {
 
        std::string  Convert(
            const wchar_t* s, 
            const std::locale& loc = std::locale(""), 
            const char default_char = '?'
        );
        std::string  Convert(
            const std::wstring& s, 
            const std::locale& loc = std::locale(""), 
            const char default_char = '?'
        );
 
        std::wstring Convert(
            const char* s,
            const std::locale& loc = std::locale("")
        );
        std::wstring Convert(
            const std::string& s, 
            const std::locale& loc = std::locale("") 
        );
 
        void test1();
        void test2();
    }
 
//----------------------------------------------------------------
//----------------------------------------------------------------
//----------------------------------------------------------------
//----------------------------------------------------------------
 
namespace multibyte {
 
 
        std::string Convert(const std::wstring& s)
            { return Convert( s.c_str() ); }
        std::wstring Convert(const std::string& s)
            { return Convert(s.c_str()); }
 
        std::string Convert(const wchar_t* s)
        { 
            std::mbstate_t state = 
                std::mbstate_t();
 
            const size_t len = 
                1 + std::wcsrtombs(nullptr, &s, 0, &state);
 
            std::string result(len,'\0');
            
            std::wcsrtombs( &result[0], &s, result.size(), &state);
 
            return result;
        }
 
        
 
        std::wstring Convert(const char* s)
        { 
            std::mbstate_t state 
                = std::mbstate_t(); 
            
            const char* end = s + std::strlen(s);
            
            size_t len;
 
            std::wstring result;
            wchar_t wc[4];
            while((len = std::mbrtowc(wc, s, end-s, &state)) > 0) 
                result += wc,
                s += len;
 
            return result;
        }
 
           
        void test1()
        {
            // не работает
            setlocale(LC_ALL,"en_US.utf8");
 
            std::cout<<Convert(L"z\u00df\u6c34\U0001f34c");
        }
 
 
        void test()
        {
            //setlocale(LC_ALL,"RUSSIAN");
            setlocale(LC_CTYPE, "");
            
            const std::wstring s  = L"русский текст";
            const std::string  sa = Convert(s);
            const std::wstring sw = Convert(sa);
 
            std::wcout << "original  wide: " << s  << std::endl;
            std::cout  << "wide -> narrow: " << sa << std::endl;
            std::wcout << "narrow -> wide: " << sw << std::endl;
        }
    }//namespace multibyte
 
    namespace utf8 {
        
        std::string  Convert(const std::wstring& s)
        { 
            typedef std::codecvt_utf8<wchar_t>
                convert_typeX;
            std::wstring_convert<convert_typeX,wchar_t>
                converterX;
            return converterX.to_bytes(s);
        }
        std::wstring Convert(const std::string&  s)
        { 
            typedef std::codecvt_utf8<wchar_t>
                convert_typeX;
            std::wstring_convert<convert_typeX,wchar_t>
                converterX;
            return converterX.from_bytes(s);
        }
            
        void test()
        {
            std::locale loc("");
 
            const std::wstring s  = L"русский текст";
            const std::string  sa = Convert(s);
            const std::wstring sw = Convert(sa);
 
            std::locale::global(loc);
 
            std::wcout << "original  wide: " << s  << std::endl;
            std::cout  << "wide -> narrow: " << sa << std::endl;
            std::wcout << "narrow -> wide: " << sw << std::endl;
        }
    }//namespace utf8 
 
    namespace stdlocal {
 
        std::wstring Convert_(const char* first, const size_t len, const std::locale& loc)
        {
            if(len == 0)
                return std::wstring();
 
            const std::ctype<wchar_t>& facet =
                std::use_facet< std::ctype<wchar_t> >(loc);
 
            const char* last = first + len;
 
            std::wstring result(len, L'\0');
 
            facet.widen(first, last, &result[0]);
            return result;
        }
 
 
        std::string  Convert_(
            const wchar_t* first,
            const size_t len,
            const std::locale& loc,
            const char default_char
        )
        {
            if(len == 0)
                return std::string();
 
            const std::ctype<wchar_t>& facet =
                std::use_facet<std::ctype<wchar_t> >(loc);
 
            const wchar_t* last  = first + len;
 
            std::string result( len, default_char );
            facet.narrow( first, last, default_char, &result[0] );
            return result;
        }
 
 
        std::string  Convert( const wchar_t* s, const std::locale& loc, const char default_char )
            { return Convert_(s, std::wcslen(s), loc, default_char); }
        std::string  Convert(const std::wstring& s, const std::locale& loc, const char default_char)
            { return Convert_(s.c_str(), s.length(), loc, default_char);  }
        std::wstring Convert( const char* s, const std::locale& loc)
            { return Convert_(s, std::strlen(s), loc); }
        std::wstring Convert( const std::string& s, const std::locale& loc)
            { return Convert_(s.c_str(), s.length(), loc); }
 
        void test1()
        {
            // обозначение локали зависит от реализации,
            
            //можно так
            //std::locale loc("rus");
 
            //можно так
            std::locale loc("");
 
            const std::wstring after  = L"русский текст";
 
            const std::string  
                ansi = Convert(after,  loc);
            const std::wstring 
                before = Convert(ansi, loc);
 
            std::locale::global(loc);
            std::wcout << "after:  " << after  << std::endl;
            std::cout  << "ansi:   " << ansi   << std::endl;
            std::wcout << "before: " << before << std::endl;
        }
 
        void test2()
        {
            const std::wstring after  = L"русский текст";
 
            const std::string
                ansi = Convert(after);
            const std::wstring
                before = Convert(ansi);
 
            std::locale loc("");
            std::locale::global(loc);
            std::wcout << "after:  " << after  << std::endl;
            std::cout  << "ansi:   " << ansi   << std::endl;
            std::wcout << "before: " << before << std::endl;
        }
 
    }//namespace stdlocal

Новые блоги и статьи Все статьи Все блоги /
Использование Linq2Db в проектах C# .NET UnmanagedCoder 21.05.2025 Среди множества претендентов на корону "идеального ORM" особое место занимает Linq2Db — микро-ORM, балансирующий между мощью полноценных инструментов и легковесностью ручного написания SQL. Что. . .	Реализация Domain-Driven Design с Java Javaican 20.05.2025 DDD — это настоящий спасательный круг для проектов со сложной бизнес-логикой. Подход, предложенный Эриком Эвансом, позволяет создавать элегантные решения, которые точно отражают реальную предметную. . .	Возможности и нововведения C# 14 stackOverflow 20.05.2025 Выход версии C# 14, который ожидается вместе с . NET 10, приносит ряд интересных нововведений, действительно упрощающих жизнь разработчиков. Вы уже хотите опробовать эти новшества? Не проблема! Просто. . .	Собеседование по Node.js - вопросы и ответы Reangularity 20.05.2025 Каждому разработчику рано или поздно приходится сталкиватся с техническими собеседованиями - этим стрессовым испытанием, где решается судьба карьерного роста и зарплатных ожиданий. В этой статье я. . .	Cython и C (СИ) расширения Python для максимальной производительности py-thonny 20.05.2025 Python невероятно дружелюбен к начинающим и одновременно мощный для профи. Но стоит лишь заикнуться о высокопроизводительных вычислениях — и энтузиазм быстро улетучивается. Да, Питон медлительнее. . .
Безопасное программирование в Java и предотвращение уязвимостей (SQL-инъекции, XSS и др.) Javaican 19.05.2025 Самые распространёные векторы атак на Java-приложения за последний год выглядят как классический "топ-3 хакерских фаворитов": SQL-инъекции (31%), межсайтовый скриптинг или XSS (28%) и CSRF-атаки. . .	Введение в Q# - язык квантовых вычислений от Microsoft EggHead 19.05.2025 Microsoft вошла в гонку технологических гигантов с собственным языком программирования Q#, специально созданным для разработки квантовых алгоритмов. Но прежде чем погружаться в синтаксические дебри. . .	Безопасность Kubernetes с Falco и обнаружение вторжений Mr. Docker 18.05.2025 Переход организаций к микросервисной архитектуре и контейнерным технологиям сопровождается лавинообразным ростом векторов атак — от тривиальных попыток взлома до многоступенчатых кибератак, способных. . .	Аугментация изображений с Python AI_Generated 18.05.2025 Собрать достаточно большой датасет для обучения нейронной сети — та ещё головная боль. Часами вручную размечать картинки, скармливать их ненасытным алгоритмам и молиться, чтобы модель не сдулась при. . .	Исключения в Java: советы, примеры кода и многое другое Javaican 18.05.2025 Исключения — это объекты, созданные когда программа сталкивается с непредвиденной ситуацией: файл не найден, сетевое соединение разорвано, деление на ноль. . . Список можно продолжать до бесконечности. . . .

@rikimaru2013 2549 / 1208 / 358 Регистрация: 30.11.2013 Сообщений: 3,826

	Utf-8 строка в std::string 11.08.2015, 14:53. Показов 6953. Ответов 1 Метки нет (Все метки) Добрый вечер, есть строка в UTF-8 - парсер(rapidjson cocos2dx c++) читаёт её как std::string, дальнейшее приобразование в wstring не спасает текст. Есть вариант спасения этих данных? Или как побайтово считывая текста - записать его в wstring в нужной кодировке. 0

Опции темы

Utf-8 строка в std::string

Решение