|
1 / 1 / 3
Регистрация: 03.04.2016
Сообщений: 51
|
||||||
Обработка utf-807.01.2018, 20:07. Показов 4333. Ответов 31
Метки нет (Все метки)
Здравствуйте. Для разминки черепа решил освоить работу с unicode в С
Для общего развития написал функцию split(). Но при проверке работоспособности столкнулся с проблемами. В некоторых случаях программа завершается с ошибкой.
0
|
||||||
| 07.01.2018, 20:07 | |
|
Ответы с готовыми решениями:
31
getBytes('UTF-16') даёт UTF-16LE или UTF-16BE? <globalization fileEncoding='utf-8' requestEncoding='utf-8' responseEncoding='utf-8' /> Конвертация из ASCII в UTF-32 или UTF-8 в UTF-32 |
|
322 / 170 / 24
Регистрация: 25.03.2012
Сообщений: 712
|
||||
| 11.01.2018, 19:58 | ||||
![]() Добавлено через 1 минуту ![]() А китайские буквы сколько занимают? И в какой кодировке: UTF-8 или всё таки UTF-32? ... или для тебя они "без разницы"?
0
|
||||
|
Почетный модератор
11561 / 4356 / 453
Регистрация: 12.06.2008
Сообщений: 12,457
|
||
| 12.01.2018, 00:07 | ||
|
0
|
||
| 12.01.2018, 04:28 | |
|
А сколько занимает эта эмодзи в UTF-8? *⚕️ (::FEMALE-DOCTOR:: - только маленькими, походу джика форума их не переваривает)
Добавлено через 9 минут Сории - не совсем понятно - я про это http://www.iemoji.com/view/emo... lth-worker
0
|
|
|
4139 / 2717 / 433
Регистрация: 09.09.2017
Сообщений: 12,050
|
|||||
| 12.01.2018, 11:16 | |||||
|
0
|
|||||
| 12.01.2018, 17:29 | ||
|
Итого по ссылке 13 байт, а сам смайл является "спайкой" из "UTF-8 Character Count 4" При обработке текста эта группа должна обрабатывать целиком, иначе порвём смайлик и получим невесть что.
0
|
||
|
Почетный модератор
11561 / 4356 / 453
Регистрация: 12.06.2008
Сообщений: 12,457
|
||
| 12.01.2018, 18:33 | ||
|
0
|
||
| 12.01.2018, 20:45 | ||
|
Так что поддержка современного юникода - это головняк, и, я думаю, не только для C/C++... Добавлено через 9 минут Если уж эта "медичка" в "UTF-32 Hex 01F469, 200D, 2695, FE0F" занимает 9 байт, даже не 64бита..... Пора бы уж им определиться на UTF-128 и каждому придуманному символу/иероглифу свой код. Не по теме: Только к этому времени найдутся инопланетяне, у которых алфавит будет состоять из базовых 129 символознаков, которые в своей совокупности будут создавать символы, каждый со своим 15^129 значений/оттенков, из которых и будут создаваться слова...
0
|
||
| 14.01.2018, 07:53 | |
|
Я вот тут озадачился потренироваться с многобайтом и нарисовать человекоредактируемый парсер ini-файлов.
Есть конечно весьма годный https://github.com/ndevilla/iniparser но работает только с однобайтовым. Если ini в ASCII - проблем нет, если в UTF-8 - могут быть проблемы с национальными строками. А вот я хочу лопатить ini-файлы независимо от кодировки. Т.е. сделать так, что бы человек мог его редактировать и в линухе, и в винде. Если внутри либы проще файл сразу в wchar_t загнать, то в каком виде его хранить снаружи - виндо-пользователь не сможет его читать/редактировать utf-8, и наоборот. Ему придётся сначала использовать редактор умеющий нужную кодировку или конвертировать с помощью к-либо recode. Подскажите в какой кодировке лучше всего сохранять ini для любых ОСей, в том числе и MSDOS(ASCII)/древние_фри(KOI-8) Вообще, как быть???
0
|
|
|
4139 / 2717 / 433
Регистрация: 09.09.2017
Сообщений: 12,050
|
|
| 14.01.2018, 09:31 | |
|
Самое универсальное - ASCII. Конечно, придется забыть о не-латинских символах. Либо портировать
iconv на целевую платформу и тогда использовать любую. Если забыть про всякую древность, лучше остановиться на UTF-8.
0
|
|
| 14.01.2018, 11:11 | |
|
В том-то и дело - в своей либе опционально хочу сохранять порядок и содержимое комментариев. Опять же - как использовать строковые переменные, значение которых может быть на любом языке.
Может плюнуть на это и работать только в текущей локали? Для ini - использовать utf-8, внутри либы сконвертировать в widechar и не париться с разбором...
0
|
|
|
4139 / 2717 / 433
Регистрация: 09.09.2017
Сообщений: 12,050
|
|
| 14.01.2018, 11:58 | |
|
Смотря что вы хотите делать с этими переменными. Если не собираетесь менять или искать подстроки, можно и внутри программы хранить в UTF-8 (обычные Си-строки).
0
|
|
| 14.01.2018, 12:11 | |
|
Нет менять обязательно + добавление отсутствующих "дефолтных". Тупо читать ini нет никакого интереса - смысл сохранять настройки прог в человекоредактируемом виде, и при этом избежать жирного кода. Готовых-то библиотек море, хоть в xml? хоть классические conf.
Учитывая bison и пр - вообще просто, но посмотрев на реализацию простенького ini через парсеры bison и etcю ужаснулся объёму кода - овер 100Кб экзешника... Хочу написать мелкое и шустрое, минималку, но с возможностями. Тупо альтернативу представленного выше iniparser, но мельче (нафига мне секции, нафига поиск по хэшу и т.п. - без этого, но и что бы комменты при сохранении ini оставались, и с языками проблем небыло). Скорее всего откажусь от переноса ini из одной ОС в другую - буду использовать системную_текущую локаль с конвертацией в widechar внутри либы и обратным сохранением в локаль. Т.е. для определённой ОСи ini файл вручную человеком будет редактироваться на ура, но не в другой ОСи - там recode и пр конвертаторы.
0
|
|
| 14.01.2018, 12:11 | |
|
XmlSerializer.Serialize() как поменять кодировку с UTF-16 на UTF-8 Изменить кодировку из utf-8 без bom в просто utf-8 Как создать рабочий XML в UTF-8? У меня исправно создаётся Windows-1251, но с UTF-8 проблема Разные кодировки файлов (ASCII, UTF-8, UTF-16) Преобразование Unicode (UTF-16) в UTF-8 и обратно Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Установка нескольких штампов электронной подписи в строго определенных местах файла docx
ВладимирСамохин 19.07.2026
(В!) Работа с Электронной подписью - это неотъемлемая часть современного документооборота. Но что делать, если нужно поставить несколько штампов электронной подписи в строго определенных местах. . .
|
сукцессия 35. Научная статья о проделанной работе
anaschu 19.07.2026
Написал в формате латекс и пдф
|
Вангую, что это не пройдёт модерацию, и на неделе я запущу свой сервер.
Hrethgir 19.07.2026
Эта публикация сейчас в песочнице и ждёт приглашения.
https:/ / habr. com/ ru/ sandbox/ 295048/
начало и оглавление
-
Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование. . .
|
сукцессия 33. открытые вопросы от клауде
anaschu 19.07.2026
"Что накопилось за эту часть А — тринадцать правок, из которых шесть пришли из ваших вопросов и каждая оказалась реальной ошибкой, а не калибровкой: односторонний симбиоз, отсутствующий листопад,. . .
|
|
32 сукцессия
anaschu 19.07.2026
сукцессия 28‑мерное ядро стабилизировано
Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не «подкручивает» сходимость —. . .
|
сукцессия 31: модель микоризы - это модель ещё нескольких явлений, социальных и экономических
anaschu 18.07.2026
Теория «Всего»: апдейт v1. 1. 2 — 28‑мерное ядро стабилизировано
Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не. . .
|
сукцессия 30. Массив проверяющих друг друга моделей
anaschu 18.07.2026
Архитектура сети взаимопроверяющих моделей микоризной сукцессии (v2. 0)
Развитие тензорного ОДУ-ядра и создание кросс-платформенного калибровочного полигона
Уважаемые коллеги!
В продолжение. . .
|
Грибы - это женщины, деревья - это мужчины. Анти инь янь для союза мужчины и женщины.
anaschu 18.07.2026
ГЛАВНЫЙ НАУЧНО-ФИЛОСОФСКИЙ ВЫВОД: Сексуально-Репродуктивный Капитализм против Государства Моногамии
Коллеги, мы вышли на финишную прямую 20-мерного ОДУ-моделирования вековой сукцессии (ветка. . .
|