2549 / 1208 / 358
Регистрация: 30.11.2013
Сообщений: 3,826
1

Utf-8 строка в std::string

11.08.2015, 14:53. Показов 6692. Ответов 1
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Добрый вечер,

есть строка в UTF-8 - парсер(rapidjson cocos2dx c++) читаёт её как std::string, дальнейшее приобразование в wstring не спасает текст. Есть вариант спасения этих данных? Или как побайтово считывая текста - записать его в wstring в нужной кодировке.
0
Лучшие ответы (1)
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
11.08.2015, 14:53
Ответы с готовыми решениями:

ошибка error: cannot convert 'std::string {aka std::basic_string<char>}' to 'std::string* {aka std::basic_stri
на вод поступают 2 строки типа string. определить количество вхождений строки 2 в строку 1 ошибка...

Запрошено преобразование от ‘const std::string*’ к нескалярному типу ‘std::string’
private: std::string firstName; }; std::string ClientData::getFirstName() const{ ...

На основе исходного std::vector<std::string> содержащего числа, создать std::vector<int> с этими же числами
подскажите есть вот такая задача. Есть список . Создать второй список, в котором будут все эти же...

Реализация класса MyString. Стандартная библиотека, std::string, std::vector
как добавить реализацию конкатенации строк через перегрузку оператора &quot;+=&quot; в классе MyString и...

1
Эксперт С++
8739 / 4317 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
11.08.2015, 15:07 2
Лучший ответ Сообщение было отмечено rikimaru2013 как решение

Решение

как то так...

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
#include <iostream>
 
#include <string>
#include <clocale>
#include <codecvt>
 
//std::size_t wcsrtombs
#include <cwchar>
 
    namespace multibyte {
 
        std::string  Convert(const wchar_t* s);
        std::wstring Convert(const char*    s);
        std::string  Convert(const std::wstring& s);
        std::wstring Convert(const std::string&  s);
        void test();
    }
 
    namespace utf8 {
        std::string  Convert(const std::wstring& s);
        std::wstring Convert(const std::string&  s);
        void test();
    }
 
    namespace stdlocal {
 
        std::string  Convert(
            const wchar_t* s, 
            const std::locale& loc = std::locale(""), 
            const char default_char = '?'
        );
        std::string  Convert(
            const std::wstring& s, 
            const std::locale& loc = std::locale(""), 
            const char default_char = '?'
        );
 
        std::wstring Convert(
            const char* s,
            const std::locale& loc = std::locale("")
        );
        std::wstring Convert(
            const std::string& s, 
            const std::locale& loc = std::locale("") 
        );
 
        void test1();
        void test2();
    }
 
//----------------------------------------------------------------
//----------------------------------------------------------------
//----------------------------------------------------------------
//----------------------------------------------------------------
 
namespace multibyte {
 
 
        std::string Convert(const std::wstring& s)
            { return Convert( s.c_str() ); }
        std::wstring Convert(const std::string& s)
            { return Convert(s.c_str()); }
 
        std::string Convert(const wchar_t* s)
        { 
            std::mbstate_t state = 
                std::mbstate_t();
 
            const size_t len = 
                1 + std::wcsrtombs(nullptr, &s, 0, &state);
 
            std::string result(len,'\0');
            
            std::wcsrtombs( &result[0], &s, result.size(), &state);
 
            return result;
        }
 
        
 
        std::wstring Convert(const char* s)
        { 
            std::mbstate_t state 
                = std::mbstate_t(); 
            
            const char* end = s + std::strlen(s);
            
            size_t len;
 
            std::wstring result;
            wchar_t wc[4];
            while((len = std::mbrtowc(wc, s, end-s, &state)) > 0) 
                result += wc,
                s += len;
 
            return result;
        }
 
           
        void test1()
        {
            // не работает
            setlocale(LC_ALL,"en_US.utf8");
 
            std::cout<<Convert(L"z\u00df\u6c34\U0001f34c");
        }
 
 
        void test()
        {
            //setlocale(LC_ALL,"RUSSIAN");
            setlocale(LC_CTYPE, "");
            
            const std::wstring s  = L"русский текст";
            const std::string  sa = Convert(s);
            const std::wstring sw = Convert(sa);
 
            std::wcout << "original  wide: " << s  << std::endl;
            std::cout  << "wide -> narrow: " << sa << std::endl;
            std::wcout << "narrow -> wide: " << sw << std::endl;
        }
    }//namespace multibyte
 
    namespace utf8 {
        
        std::string  Convert(const std::wstring& s)
        { 
            typedef std::codecvt_utf8<wchar_t>
                convert_typeX;
            std::wstring_convert<convert_typeX,wchar_t>
                converterX;
            return converterX.to_bytes(s);
        }
        std::wstring Convert(const std::string&  s)
        { 
            typedef std::codecvt_utf8<wchar_t>
                convert_typeX;
            std::wstring_convert<convert_typeX,wchar_t>
                converterX;
            return converterX.from_bytes(s);
        }
            
        void test()
        {
            std::locale loc("");
 
            const std::wstring s  = L"русский текст";
            const std::string  sa = Convert(s);
            const std::wstring sw = Convert(sa);
 
            std::locale::global(loc);
 
            std::wcout << "original  wide: " << s  << std::endl;
            std::cout  << "wide -> narrow: " << sa << std::endl;
            std::wcout << "narrow -> wide: " << sw << std::endl;
        }
    }//namespace utf8 
 
    namespace stdlocal {
 
        std::wstring Convert_(const char* first, const size_t len, const std::locale& loc)
        {
            if(len == 0)
                return std::wstring();
 
            const std::ctype<wchar_t>& facet =
                std::use_facet< std::ctype<wchar_t> >(loc);
 
            const char* last = first + len;
 
            std::wstring result(len, L'\0');
 
            facet.widen(first, last, &result[0]);
            return result;
        }
 
 
        std::string  Convert_(
            const wchar_t* first,
            const size_t len,
            const std::locale& loc,
            const char default_char
        )
        {
            if(len == 0)
                return std::string();
 
            const std::ctype<wchar_t>& facet =
                std::use_facet<std::ctype<wchar_t> >(loc);
 
            const wchar_t* last  = first + len;
 
            std::string result( len, default_char );
            facet.narrow( first, last, default_char, &result[0] );
            return result;
        }
 
 
        std::string  Convert( const wchar_t* s, const std::locale& loc, const char default_char )
            { return Convert_(s, std::wcslen(s), loc, default_char); }
        std::string  Convert(const std::wstring& s, const std::locale& loc, const char default_char)
            { return Convert_(s.c_str(), s.length(), loc, default_char);  }
        std::wstring Convert( const char* s, const std::locale& loc)
            { return Convert_(s, std::strlen(s), loc); }
        std::wstring Convert( const std::string& s, const std::locale& loc)
            { return Convert_(s.c_str(), s.length(), loc); }
 
        void test1()
        {
            // обозначение локали зависит от реализации,
            
            //можно так
            //std::locale loc("rus");
 
            //можно так
            std::locale loc("");
 
            const std::wstring after  = L"русский текст";
 
            const std::string  
                ansi = Convert(after,  loc);
            const std::wstring 
                before = Convert(ansi, loc);
 
            std::locale::global(loc);
            std::wcout << "after:  " << after  << std::endl;
            std::cout  << "ansi:   " << ansi   << std::endl;
            std::wcout << "before: " << before << std::endl;
        }
 
        void test2()
        {
            const std::wstring after  = L"русский текст";
 
            const std::string
                ansi = Convert(after);
            const std::wstring
                before = Convert(ansi);
 
            std::locale loc("");
            std::locale::global(loc);
            std::wcout << "after:  " << after  << std::endl;
            std::cout  << "ansi:   " << ansi   << std::endl;
            std::wcout << "before: " << before << std::endl;
        }
 
    }//namespace stdlocal
3
11.08.2015, 15:07
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
11.08.2015, 15:07
Помогаю со студенческими работами здесь

Операция std::cout для Объекта типа std::string
Кто детально объяснит почему не выводит ? Дает вот так &quot;Отсутствует оператор &quot;&lt;&lt;&quot;, соответствующий...

Передача функции указатель на элемент std::vector<std::string>
Доброй ночи тем, кому не спится (или живет в другом часовом поясе:p)! Есть функция, требующая в...

No match for 'operator<' (operand types are 'std::__cxx11::string {aka std::__c
Имеем следующий код: #include &lt;iostream&gt; #include &lt;string&gt; #include &lt;vector&gt; #include...

Почему std::string_view МЕДЛЕННЕЕ, чем std::string?
Всем привет! Нужно найти количество уникальных строк в больших текстовых файлах (размером до...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru