Форум программистов, компьютерный форум, киберфорум
С++ для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.81/21: Рейтинг темы: голосов - 21, средняя оценка - 4.81
 Аватар для ASCII
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463

Работа с кодировками

16.07.2016, 03:36. Показов 5193. Ответов 43
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет.
Есть следующая проблема: есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке. Поэтому, т.к. для себя я выбрал использовать utf-8, мне необходимо эти символы преобразовывать в utf-8.


1) Какие есть стандартные средства для перекодировки символов?
2) Какую литературу можно почитать из области Quick Start? (Кроме Страуструпа, в специальном издании все слишком запутанно)

0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
16.07.2016, 03:36
Ответы с готовыми решениями:

Работа с кодировками файла (АНСИ и ЮТФ-8)
Всем здрасти! Подскажите пожалуйста, каким образом можно реализовать следующее: 1) Как программно преобразовать текст из ANSI в...

Работа с кодировками при чтении файла
Здравствуйте! Пишу программу, одна из задач - реализовать чтение файла с сервера. Использую следующий код: var text = new...

Проблемы с кодировками
Имеется имя файла, считанное с текущей директории (папки Windows). В имени присутствуют пробелы и кирилица. Как переименовать или...

43
 Аватар для ASCII
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
16.07.2016, 14:23  [ТС]
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от Renji Посмотреть сообщение
В такой постановке задачи никакой проблемы нет. Первые 128 символов у всех (популярных) восьмибитовых кодировок идентичны, а больше ничего для выдирания <a href=... и не требуется.
Дело в том, что адреса могут содержать и кириллицу. Тем более я планирую парсить еще и:

<a href="addr">КИРИЛЛИЦУ ЗДЕСЬ</a>

Добавлено через 50 секунд
Цитата Сообщение от zer0mail Посмотреть сообщение
В чем проблема? MultiByteToWideChar умеет преобразовывать и UTF8 и CP866 и CP1251 и KOI и море других кодировок
Я забыл уточнить, что программа должна работать и на Linux тоже. На нем в первую очередь.

Добавлено через 7 минут
Цитата Сообщение от hoggy Посмотреть сообщение
нет проблемы перегнать в утф-8.
проблема - узнать в какой кодировке исходный текст.
стандартных средств для этого не существует.
Я буду полагаться на указание в html5 документе: https://www.w3.org/TR/html5/in... a-elements

Если не указано, буду смотреть по заголовкам ответа HTTP сервера.

Добавлено через 5 минут
Цитата Сообщение от zer0mail Посмотреть сообщение
Давайте спросим у ASCII, что он понимал под "любой кодировкой":
а) набор из 4-5 кириллических кодировок, как полагаю я.
б) любую кодировку на Земле (не будем распространять на Вселенную), как, наверное, полагает hoggy.
вариант б

Добавлено через 11 минут
Цитата Сообщение от ASCII Посмотреть сообщение
1) Какие есть стандартные средства для перекодировки символов?
Собственно говоря тут под "стандартными средствами" я имел ввиду что-нибудь, входящее в состав namespace std.
Не хочется тянуть всякие iconv. Так как я с кодировками не сталкивался раньше, могу что-то путать или понимать не правильно, в плане того, какой тип данных например использовать для хранения строк и т.д. и т.п.
0
2688 / 2260 / 244
Регистрация: 03.07.2012
Сообщений: 8,231
Записей в блоге: 1
16.07.2016, 14:36
Цитата Сообщение от ASCII Посмотреть сообщение
вариант б
Тогда делайте сами
0
Эксперт С++
 Аватар для hoggy
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
16.07.2016, 15:33
Цитата Сообщение от ASCII Посмотреть сообщение
Собственно говоря тут под "стандартными средствами" я имел ввиду что-нибудь, входящее в состав namespace std.
ой, там такие заморочи с локалями, кодеками и тп...
это жессть просто.

реально, проще подтянуть моральную специализированную библиотеку,
чем разбираться с тем адом, что предлагает нам стандарт.

вот пример кода, который умеет читать файл в utf-8
стандартными средствами:


C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
#include <iostream>
 
 
#include <vector>
 
#include <fstream>
#include <codecvt>
#include <locale>
 
 
// ===================================================================================================
// ===================================================================================================
namespace detail
{
    template<class ch> std::basic_ofstream<ch> 
    open__(const std::basic_string<ch>& filename, const int flag, const bool with_BOM)
    {
        std::basic_ofstream<ch> stream_;
 
        #ifdef _MSC_VER
            stream_.open(filename, std::ios::out | flag, _SH_DENYRW);
        #else
            stream.open(filename, std::ios::out | flag);
        #endif
 
        stream_.imbue(get_utf8_locale(with_BOM));
 
        return stream_;
    }
 
    inline std::locale get_utf8_locale(const bool with_bom)
    {
        typedef std::codecvt_utf8<wchar_t, 0x10ffff, std::generate_header> 
            bom_codec_t;
        typedef std::codecvt_utf8<wchar_t> 
            no_bom_codec_t;
 
        return with_bom?
            std::locale(std::locale::empty(), new bom_codec_t):
            std::locale(std::locale::empty(), new no_bom_codec_t);
    }
 
    template<class Container, class Value> 
    void append__(Container& cont, Value&& val)
    {
        __if_exists(Container::emplace_back) 
            { cont.emplace_back( std::forward<Value>(val) );       return; }
 
        __if_exists(Container::push_back)    
            { cont.push_back( std::forward<Value>(val) )   ;       return; }
 
        __if_exists(Container::insert)       
            { cont.insert( cont.end(), std::forward<Value>(val) ); return; }
    }
 
}// namespace detail
// ===================================================================================================
// ===================================================================================================
 
template<class ch> std::basic_ofstream<ch>
create(const std::basic_string<ch>& filename, const bool with_BOM)
    { return create(filename.c_str(), with_BOM); }
 
template<class ch> std::basic_ofstream<ch>
create(const ch* filename, const bool with_BOM)
    { return detail::open__(filename, std::ios::trunc, with_BOM); }
 
 
// ===================================================================================================
 
template<class ch> std::basic_ofstream<ch>
append(const std::basic_string<ch>& filename, const bool with_BOM)
    { return append(filename.c_str(), with_BOM); }
 
template<class ch> std::basic_ofstream<ch>
append(const ch* filename, const bool with_BOM)
    { return detail::open__(filename, std::ios::app, with_BOM); }
 
 
// ===================================================================================================
 
template<class ch> std::basic_ifstream<ch>
load(const std::basic_string<ch>& filename, const bool with_BOM)
    { return load(filename.c_str(), with_BOM); }
 
template<class ch> std::basic_ifstream<ch>
load(const ch* filename, const bool with_BOM)
{
    std::basic_ifstream<ch> stream_;
    stream_.open(filename, std::ios::in);
    stream_.imbue(detail::get_utf8_locale(with_BOM));
    return stream_;
}
 
// ===================================================================================================
 
template<class ch, class container> void
load_lines(const std::basic_string<ch>& filename, const bool with_BOM, container& cont)
    { load_lines(filename.c_str(), with_BOM, cont); }
 
template<class ch, class container> void
load_lines(const ch* filename, const bool with_BOM, container& cont)
{
    auto in = load(filename, with_BOM);
    std::basic_string<ch> line;
    while (std::getline(in, line))
        detail::append__(cont, line);
}
 
// ===================================================================================================
 
template<class ch, class container> void
load_words(const std::basic_string<ch>& filename, const bool with_BOM, container& cont)
    { load_words(filename.c_str(), with_BOM, cont); }
 
template<class ch, class container> void
load_words(const ch* filename, const bool with_BOM, container& cont)
{
    auto in = load(filename, with_BOM);
    std::basic_string<ch> word;
    while(in >> word)
        detail::append__(cont, word);
}
 
 
// ===================================================================================================
 
 
int main()
{
    std::cout << "Hello, world!\n";
    
    std::vector<std::wstring> vec;
    load_lines(L"filename.txt", false, vec);
}
1
 Аватар для ASCII
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
16.07.2016, 16:07  [ТС]
Цитата Сообщение от hoggy Посмотреть сообщение
реально, проще подтянуть моральную специализированную библиотеку,
чем разбираться с тем адом, что предлагает нам стандарт.
В смысле зафигачить свои таблицы для разных кодировок и пользоваться ими для перекодировки? Это тоже геморройно конечно, хотя пользоваться потом думаю будет легче.
0
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9007 / 4708 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
16.07.2016, 16:14
Цитата Сообщение от ASCII Посмотреть сообщение
В смысле зафигачить свои таблицы для разных кодировок и пользоваться ими для перекодировки?
Тут даже не в таблицах дело. Для однобайтовой и многобайтовой кодировки меняется интерпретация последовательности байтов (то есть типа). Вот и выходит
Цитата Сообщение от nmcf Посмотреть сообщение
Перекодировка функциями типа MultiByteToWideChar().
0
Эксперт С++
 Аватар для hoggy
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
16.07.2016, 16:23
Цитата Сообщение от ASCII Посмотреть сообщение
В смысле зафигачить свои таблицы для разных кодировок и пользоваться ими для перекодировки?
смысли использовать что-то навроде iconv,
а не то, что находится в namespace std.

парсить тэг, и перекодировать в unicode (std::wstring),
руками какой нибудь iconv.
1
923 / 639 / 198
Регистрация: 08.09.2013
Сообщений: 1,693
16.07.2016, 16:52
Цитата Сообщение от Убежденный Посмотреть сообщение
К сожалению, некоторые веб-серверы в Content-Type пишут одно, а в HTML
передают совсем другое.
Проблема есть, но я бы не стал ругать серверы. Для меня и nginx и apache - образцы пунктуальноси, а IIS уже почти не используется.
Дело здесь больше а) в кривых настройках сервера; б) в web-разработчиках, указывающих "левые" или пустые кодировки в заголовках страниц страниц; в) в отдельных php-движках.
Цитата Сообщение от hoggy Посмотреть сообщение
смысли использовать что-то навроде iconv,
а не то, что находится в namespace std.
+1
Цитата Сообщение от hoggy Посмотреть сообщение
перекодировать в unicode (std::wstring)
Я бы с wchar-ами не связывался, хотя бы потому что они платформо-зависимы, а как базовую использовал utf-8.
0
Эксперт С++
 Аватар для hoggy
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
16.07.2016, 17:03
Цитата Сообщение от gng Посмотреть сообщение
Я бы с wchar-ами не связывался, хотя бы потому что они платформо-зависимы, а как базовую использовал utf-8.
утф-8 годный, но только если не нужно разбирать на буковки.
бывает нормализованный, бывает не нормализованный.

например, нужно распарсить текст.
ну и как быть с утф-8?
0
 Аватар для avgoor
1550 / 877 / 179
Регистрация: 05.12.2015
Сообщений: 2,555
16.07.2016, 17:03
Цитата Сообщение от gng Посмотреть сообщение
хотя бы потому что они платформо-зависимы
И что? Главное, туда помещается любой символ, в отличии от char с utf-8. И это создает множество проблем, например, линейное, вместо константного время доступа в массиве символов. Удобно?. Сравнивать два символа тоже удобно на utf-8?
Ну, и, наконец, как вы думаете, зачем есть такая константа "CHAR_BIT" и как она связана с utf-8?
0
2784 / 1937 / 570
Регистрация: 05.06.2014
Сообщений: 5,602
16.07.2016, 17:16
Цитата Сообщение от avgoor Посмотреть сообщение
И что? Главное, туда помещается любой символ, в отличии от char с utf-8.
В 16-битовые wchar_t не помещается. Опять пожадничали с разрядностью и опять пришлось лепить суррогатные пары.
0
923 / 639 / 198
Регистрация: 08.09.2013
Сообщений: 1,693
16.07.2016, 17:17
avgoor, Да. Есть задачи, которые удобнее решать в моноширных ко
дировках, но задача TC, насколько я понимаю, к ним не относится.
Цитата Сообщение от avgoor Посмотреть сообщение
И что? Главное, туда помещается любой символ
Расскажите об этом японцам и китайцам.
Хотя на платформах, где wchar - 32 бит, может вы и правы.
0
 Аватар для avgoor
1550 / 877 / 179
Регистрация: 05.12.2015
Сообщений: 2,555
16.07.2016, 17:53
Цитата Сообщение от gng Посмотреть сообщение
Расскажите об этом японцам и китайцам.
Здесь вы почти правы. Но! Расскажите мне, как японцы/китайцы набирают этот текст? Если сталкивались, то в курсе, что там и без того (в смысле без неравномерности кода) проблем хватает.
0
7804 / 6568 / 2988
Регистрация: 14.04.2014
Сообщений: 28,705
17.07.2016, 08:54
Цитата Сообщение от hoggy Посмотреть сообщение
вот пример кода, который умеет читать файл в utf-8
Ты как-то слишком усложнил. Вот этих строк достаточно для открытия файла utf-8:
C++
1
2
wifstream ifile(L"filename.txt");
ifile.imbue(locale(locale(), new std::codecvt_utf8<wchar_t, 0x10ffffUL, std::codecvt_mode::consume_header>));
0
Эксперт С++
 Аватар для hoggy
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
17.07.2016, 10:01
Цитата Сообщение от nmcf Посмотреть сообщение
Ты как-то слишком усложнил. Вот этих строк достаточно для открытия файла utf-8:
я предоставил рабочий пример-иллюстрацию,
которая содержит все необходимое для запуска,
включая все необходимые для работы include,
и функцию main.

иллюстрируются такие кейсы, как чтение/запись из утф8/в утф8
так же, наглядно показывается кейс: с BOM, или без него.

сам пример-иллюстрация выполнен в духе "копипасто-ориентированного" программирования.

если вам захочется построчно прочитать файл,
вам не придется велосипедить весь код с нуля,
например.


теперь представьте себе человека, который не в теме.
и вот ему нужно загрузить утф8-файл.
и вот он нагуглил ваш огрызок кода.
дальнейшая дорога - только в гугл.
--------------------------------------------------------------------------------
0
Заблокирован
17.07.2016, 10:54
ASCII, самый нормальный кросс платформенный способ взять сесть и написать utf8-utf16 конвертер, для кодировок же ANSI(CP 1251) KOI8-R и OEM866 существуют простые таблицы преобразований char-utf16 (сделать обратное тоже можно).
Цитата Сообщение от IGPIGP Посмотреть сообщение
Если Вы (прога) угадали кодировку, то она будет соответствовать браузеру и поисковик не должен её менять.
- все браузеры и так угадывают (касается 7-ми и 8-ми битовых вариаций)
0
 Аватар для ASCII
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
17.07.2016, 12:28  [ТС]
Цитата Сообщение от Unknownx Посмотреть сообщение
ASCII, самый нормальный кросс платформенный способ взять сесть и написать utf8-utf16 конвертер, для кодировок же ANSI(CP 1251) KOI8-R и OEM866 существуют простые таблицы преобразований char-utf16 (сделать обратное тоже можно).
В таком случае уж лучше iconv заюзаю.
0
17.07.2016, 15:23

Не по теме:

Цитата Сообщение от ASCII Посмотреть сообщение
В таком случае уж лучше iconv заюзаю.
вместо того чтобы потратить 2-3 часа на код, о боги к чему мир катится...

0
 Аватар для ASCII
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
17.07.2016, 15:54  [ТС]
Unknownx, да никуда он не катится. Смысла не вижу писать велосипед, который потом еще придется отлаживать.
0
17.07.2016, 15:54

Не по теме:

Цитата Сообщение от Unknownx Посмотреть сообщение
вместо того чтобы потратить 2-3 часа на код, о боги к чему мир катится...
в сторону "повторно используемого кода"?
в смысли, в противоположную от перманентного велосипедирования?

0
17.07.2016, 16:17

Не по теме:

В том смысле что лучше самому понимать как по какой схеме что во что конвертируется, чем ходить по свету ждать пока кто-то другой возьмёт и напишет, а "я возьму да использую". Есть вещи которые надо написать самому чтобы познать дзен, а не быть падаваном.

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
17.07.2016, 16:17

Проблемы с кодировками
есть код system(&quot;systeminfo &gt;&gt; qq.txt&quot;); textBox1-&gt;Text=System::IO::File::ReadAllText(&quot;qq.txt&quot;,System::Text::Encoding::Default); ...

Проблемы с кодировками
Решил переделать свою CMS с win1251 на utf8. Проблема возникает такого рода. Есть например переменная с русским тексом в utf8 $var =...

Путаница с кодировками
Смотрите, хочу записать какой-то текст в файл на рабочий стол (ОС Windows 7, JDK8). Изначально файла нет, так что он создаётся, а затем...

Непонятки с кодировками
База данных MySql у базы Character set: cp1251--Windows Cyrilic, Collation: cp1251_general_ci. В SQL Connection св-во...

Проблема с кодировками
Установил Nuked Klan на сервер, и взялся его переводить (движок французский). Большинство модулей перевел: новости ссылки, загрузки и т.п....


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
40
Закрытая тема Создать тему
Новые блоги и статьи
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой. Но использовать несколько программ не удобно. Искал другие. . .
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской) Options Preferences General Language
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент". В данной функции нет апострофов,. . .
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы. Карта этого меню приложена ниже. Нужный пункт выделен красным. Сервис Настройки Поведение
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки. Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён". Изменено отображение буквы Й. Добавлена. . .
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru