|
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
|
|
Работа с кодировками16.07.2016, 03:36. Показов 5199. Ответов 43
Метки нет (Все метки)
Всем привет.
Есть следующая проблема: есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке. Поэтому, т.к. для себя я выбрал использовать utf-8, мне необходимо эти символы преобразовывать в utf-8. 1) Какие есть стандартные средства для перекодировки символов? 2) Какую литературу можно почитать из области Quick Start? (Кроме Страуструпа, в специальном издании все слишком запутанно)
0
|
|
| 16.07.2016, 03:36 | |
|
Ответы с готовыми решениями:
43
Работа с кодировками файла (АНСИ и ЮТФ-8) Работа с кодировками при чтении файла
|
|
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
|
||||||
| 16.07.2016, 14:23 [ТС] | ||||||
|
<a href="addr">КИРИЛЛИЦУ ЗДЕСЬ</a> Добавлено через 50 секунд Добавлено через 7 минут Если не указано, буду смотреть по заголовкам ответа HTTP сервера. Добавлено через 5 минут ![]() Добавлено через 11 минут Не хочется тянуть всякие iconv. Так как я с кодировками не сталкивался раньше, могу что-то путать или понимать не правильно, в плане того, какой тип данных например использовать для хранения строк и т.д. и т.п.
0
|
||||||
|
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
|
|||||||
| 16.07.2016, 15:33 | |||||||
|
это жессть просто. реально, проще подтянуть моральную специализированную библиотеку, чем разбираться с тем адом, что предлагает нам стандарт. вот пример кода, который умеет читать файл в utf-8 стандартными средствами:
1
|
|||||||
|
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
|
||
| 16.07.2016, 16:07 [ТС] | ||
|
0
|
||
|
Комп_Оратор)
|
|||
| 16.07.2016, 16:14 | |||
0
|
|||
|
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
|
||
| 16.07.2016, 16:23 | ||
|
а не то, что находится в namespace std. парсить тэг, и перекодировать в unicode (std::wstring), руками какой нибудь iconv.
1
|
||
|
923 / 639 / 198
Регистрация: 08.09.2013
Сообщений: 1,693
|
||||
| 16.07.2016, 16:52 | ||||
|
Дело здесь больше а) в кривых настройках сервера; б) в web-разработчиках, указывающих "левые" или пустые кодировки в заголовках страниц страниц; в) в отдельных php-движках.
0
|
||||
|
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
|
||
| 16.07.2016, 17:03 | ||
|
бывает нормализованный, бывает не нормализованный. например, нужно распарсить текст. ну и как быть с утф-8?
0
|
||
|
1550 / 877 / 179
Регистрация: 05.12.2015
Сообщений: 2,555
|
||
| 16.07.2016, 17:03 | ||
|
Ну, и, наконец, как вы думаете, зачем есть такая константа "CHAR_BIT" и как она связана с utf-8?
0
|
||
|
2784 / 1937 / 570
Регистрация: 05.06.2014
Сообщений: 5,602
|
||
| 16.07.2016, 17:16 | ||
|
0
|
||
|
923 / 639 / 198
Регистрация: 08.09.2013
Сообщений: 1,693
|
||
| 16.07.2016, 17:17 | ||
|
avgoor, Да. Есть задачи, которые удобнее решать в моноширных ко
дировках, но задача TC, насколько я понимаю, к ним не относится. Хотя на платформах, где wchar - 32 бит, может вы и правы.
0
|
||
|
1550 / 877 / 179
Регистрация: 05.12.2015
Сообщений: 2,555
|
||
| 16.07.2016, 17:53 | ||
|
0
|
||
|
7804 / 6568 / 2988
Регистрация: 14.04.2014
Сообщений: 28,705
|
|||||||
| 17.07.2016, 08:54 | |||||||
0
|
|||||||
|
8973 / 4319 / 960
Регистрация: 15.11.2014
Сообщений: 9,760
|
||
| 17.07.2016, 10:01 | ||
|
которая содержит все необходимое для запуска, включая все необходимые для работы include, и функцию main. иллюстрируются такие кейсы, как чтение/запись из утф8/в утф8 так же, наглядно показывается кейс: с BOM, или без него. сам пример-иллюстрация выполнен в духе "копипасто-ориентированного" программирования. если вам захочется построчно прочитать файл, вам не придется велосипедить весь код с нуля, например. теперь представьте себе человека, который не в теме. и вот ему нужно загрузить утф8-файл. и вот он нагуглил ваш огрызок кода. дальнейшая дорога - только в гугл. --------------------------------------------------------------------------------
0
|
||
|
Заблокирован
|
||
| 17.07.2016, 10:54 | ||
|
ASCII, самый нормальный кросс платформенный способ взять сесть и написать utf8-utf16 конвертер, для кодировок же ANSI(CP 1251) KOI8-R и OEM866 существуют простые таблицы преобразований char-utf16 (сделать обратное тоже можно).
0
|
||
|
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
|
|
| 17.07.2016, 12:28 [ТС] | |
|
0
|
|
| 17.07.2016, 15:23 | |
|
0
|
|
|
99 / 70 / 13
Регистрация: 15.12.2013
Сообщений: 463
|
|
| 17.07.2016, 15:54 [ТС] | |
|
Unknownx, да никуда он не катится. Смысла не вижу писать велосипед, который потом еще придется отлаживать.
0
|
|
| 17.07.2016, 15:54 | |
|
0
|
|
| 17.07.2016, 16:17 | |
|
Не по теме: В том смысле что лучше самому понимать как по какой схеме что во что конвертируется, чем ходить по свету ждать пока кто-то другой возьмёт и напишет, а "я возьму да использую". Есть вещи которые надо написать самому чтобы познать дзен, а не быть падаваном.
0
|
|
| 17.07.2016, 16:17 | |
|
Проблемы с кодировками Проблемы с кодировками Путаница с кодировками Непонятки с кодировками Проблема с кодировками Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Как установить и настроить Windows 11 без подключения к Интернету и без аккаунта Microsoft
Maks 22.11.2026
Положу сюда, чтобы не искать постоянно.
• На экране «Давайте подключим вас к сети» во время установки Windows 11 нажмите комбинацию клавиш Shift+F10, чтобы открыть командную строку. Введите. . .
|
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
|
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM
Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой.
Но использовать несколько программ не удобно. Искал другие. . .
|
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской)
Options
Preferences
General
Language
|
|
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент".
В данной функции нет апострофов,. . .
|
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы.
Карта этого меню приложена ниже.
Нужный пункт выделен красным.
Сервис
Настройки
Поведение
|
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки.
Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён".
Изменено отображение буквы Й.
Добавлена. . .
|
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки.
Добавлено:
- Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
|