Как в Си работать с кодировкой UTF-8

@v4567 · Регистрация: 10.05.2008

Студворк — интернет-сервис помощи студентам

Латиница насколько я понял в UTF-8 занимает 1 байт, кириллица 2 байта.
Вот такой код с кириллицей работает нормально.
Введёшь русское слово, русское и получишь без искажений.

C
1
2
3
4
5
6
7
8
9
char *slov = NULL;
size_t bufslov = 0;
getline(&slov, &bufslov, stdin);
printf("%s", slov);
if(slov)
{
  free(slov);
  slov = NULL;
}

А вот такой код работает не нормально, уже в место русской буквы получаю два вопросительных знака.

C
1
2
3
4
5
6
7
8
9
char *slov = NULL;
size_t bufslov = 0;
getline(&slov, &bufslov, stdin);
for( ; slov != '\n'; slov++) printf("%c", *slov);
if(slov)
{
  free(slov);
  slov = NULL;
}

Я понимаю что здесь надо подшаманить функцию printf, а если мне надо в русском слове перевести все большие буквы в маленькие, или подсчитать количество букв в русском слове (количество букв в русском слове получается в два раза больше плюс символ перевода строки), как тогда быть?

@Nameless One · 02.08.2012, 06:25

Нужно использовать широкие символы wchar_t и функции для работы с ними, объявленные в заголовочном файле wchar.h

PS. Во втором примере у тебя условие в цикле неправильное.

@v4567 · 02.08.2012, 14:30 **[ТС]**

Сообщение от Nameless One

Нужно использовать широкие символы wchar_t и функции для работы с ними, объявленные в заголовочном файле wchar.h

Да я попытался и что то у меня сразу ничего не получилось, буду разбираться.

Сообщение от Nameless One

Во втором примере у тебя условие в цикле неправильное.

Объясни почему? Вроде всё работает. Я ввожу слово с консоли, нажимаю enter и оно должно в столбик побуквенно вывестись.

Сообщение от v4567

slov != '\n'

контролирую конец ввода слова и по slov++ перебираю буквы, но естественно так как они по два байта то букв выводится в два раза больше чем в водимом слове и в место букв вопросительные знаки.

Nameless One у меня к тебе ещё вот какой вопрос.
Я Си и ассемблер изучал года 4 назад, писал небольшую программу, потом бросил всё, а сейчас хожу на курсы по Си и хочу уже серьёзно освоить этот язык и у меня возникли некоторые общие вопросы ответы на которые я раньше не знал сейчас вроде всё прояснилось, но хотельсь бы точно уяснить так это или нет.

Сейчас расскажу всё по порядку.
Есть вот такой документ http://www.open-std.org/JTC1/S... /n1256.pdf
Получается это стандарт языка Си, и есть библиотека в линуксе glibc вот её описание http://www.opennet.ru/docs/RUS... html#toc12 судя по стандарту в Си например нет функции sleep а вбиблиотеке она есть. Получается так что по идее если бы не было библиотеке, (к примеру она вообще бы не была написана) то вместо функций printf и других которые описаны в стандарте код должен был бы подставлять сам компилятор, то есть код этих функций должен был бы содержаться в компиляторе, но так как написали библиотеку, то туда включили все функции стандарта языка Си и ещё добавили некоторые функции как например sleep для облегчения программирования. Так ли это?
И второй момент. На Си нельзя написать программу которая бы работала без операционной системы, то есть на Си нельзя осуществить низкоуровневое взаимодействие с железом как в ассемблере, например нельзя писать в порты, просто этого нет.
Вернее это можно сделать если например использовать системные вызовы ядра линукс, или в виндовс использовать функции WinAPI. Получается так что Си как бы является дополнением к ядру *nix систем, тоесть я имею ввиду следующее. Если взять ядро какой нибудь *nix системы плюс компилятор языка Си и плюс библиотеку libc то мы получим некий програмный конструктор - конструктор для программиста, который независим от железа (насколько это возможно и на сколько это удалось сделать), для разработки любого програмного комплекса. Но только всё в месте ядро + компилятор Си + libc, отдельно просто взяв компилятор Си с нуля написать под какое нибудь железо (даже если под него и будет компилятор Си) невозможно. Так ли это, правильно ли я мыслю?

Nameless One разъясни мне пожалуйста эти вопросы, просто я раньше когда изучал Си так до конца в этих общих вопросах так и не разобрался. За помощь и разъяснения заранее буду благодарен!

@Nameless One · 02.08.2012, 15:50

Сообщение от v4567

Да я попытался и что то у меня сразу ничего не получилось, буду разбираться.

Вот пример:

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#include <wchar.h>
#include <stdio.h>
#include <locale.h>
#include <stdlib.h>
 
int main(int argc, char *argv[])
{
    wchar_t buf[BUFSIZ];
    wchar_t *pch;
    size_t count;
    
    setlocale(LC_ALL, "");
 
    fputws(L"Введите свое имя: ", stdout);
    fflush(stdout);
 
    fgetws(buf, BUFSIZ, stdin);
 
    fputws(L"Ваше имя (по буквам):\n", stdout);
 
    /* Убираем символ перевода строки */
    if((pch = wcschr(buf, L'\n')) != NULL)
        *pch = L'\0';
 
    for(pch = buf, count = 0; *pch != L'\0'; ++pch, ++count)
        putwchar(*pch);
 
    putwchar(L'\n');
    
    wprintf(L"Введено букв (без символа перевода строки): %zd\n", count);
            
    exit(0);
}

В некоторых местах можно было использовать обычные версии функций ввода/вывода, но я везде пользовался их версиями для широких символов для наглядности.

Насколько я знаю, версии getline для широких символов не существует, но если уж так сильно хочется ее использовать, то можно переводить строку, введенную этой функцией, в широкую строку специальной функцией.

Сообщение от v4567

Объясни почему? Вроде всё работает. Я ввожу слово с консоли, нажимаю enter и оно должно в столбик побуквенно вывестись.

C
1
slov != '\n'

контролирую конец ввода слова и по slov++ перебираю буквы, но естественно так как они по два байта то букв выводится в два раза больше чем в водимом слове и в место букв вопросительные знаки.

неправильно. Во-первых, признак конца строки — это символ '\0', а не '\n' (ладно, т.к. getline оставляет в строке символ перевода строки, то в данном случае можно считать концом строки символ '\n'), во-вторых, ты тут сравниваешь строку (т.е. некоторый адрес в памяти) с символом. Т.е. сравниваешь size_t* и int, что явно неправильно. Все, что тебе нужно было сделать, т.к. это взять первый символ по указателю, т.е. slov[0] != '\n' либо *slov != '\n'.

Сообщение от v4567

Получается это стандарт языка Си, и есть библиотека в линуксе glibc вот её описание http://www.opennet.ru/docs/RUS... html#toc12 судя по стандарту в Си например нет функции sleep а вбиблиотеке она есть. Получается так что по идее если бы не было библиотеке, (к примеру она вообще бы не была написана) то вместо функций printf и других которые описаны в стандарте код должен был бы подставлять сам компилятор, то есть код этих функций должен был бы содержаться в компиляторе, но так как написали библиотеку, то туда включили все функции стандарта языка Си и ещё добавили некоторые функции как например sleep для облегчения программирования. Так ли это?

Не понял, что ты хотел спросить, но думаю, что уловил общую мысль. sleep — это функция, описанная стандартом POSIX, который, естественно, отличается от стандарта языка С.

Сообщение от v4567

И второй момент. На Си нельзя написать программу которая бы работала без операционной системы, то есть на Си нельзя осуществить низкоуровневое взаимодействие с железом как в ассемблере, например нельзя писать в порты, просто этого нет.
Вернее это можно сделать если например использовать системные вызовы ядра линукс, или в виндовс использовать функции WinAPI. Получается так что Си как бы является дополнением к ядру *nix систем, тоесть я имею ввиду следующее. Если взять ядро какой нибудь *nix системы плюс компилятор языка Си и плюс библиотеку libc то мы получим некий програмный конструктор - конструктор для программиста, который независим от железа (насколько это возможно и на сколько это удалось сделать), для разработки любого програмного комплекса. Но только всё в месте ядро + компилятор Си + libc, отдельно просто взяв компилятор Си с нуля написать под какое нибудь железо (даже если под него и будет компилятор Си) невозможно. Так ли это, правильно ли я мыслю?

я, мягко говоря, не силен в вопросах такого низкого уровня, так что лучше будет, если ты задашь свой вопрос в разделе «Микроконтроллеры»

@v4567 · 02.08.2012, 22:04 **[ТС]**

Да действительно надо было написать *slov != '\n', ну или ещё правильней *slov != '\0', причём в файле я написал *slov != '\n', а здесь на форуме написал с ошибкой, причём здесь эту ошибку не увидел.
Nameless One Огромное тебе человеческое спасибо!

Добавлено через 2 часа 10 минут
Nameless One У меня ещё к тебе вопрос. Наткнулся на такую штуку.

Вот если взять такой вот код:

C
1
2
3
4
5
6
setlocale(LC_ALL, "");
 
 printf("2222\n");
 fputws(L"Введите свое имя: ", stdout);
 fflush(stdout);
 printf("3333\n");

или такой:

C
1
2
3
4
printf("2222\n");
 fputws(L"Введите свое имя: ", stdout);
 fflush(stdout);
 printf("3333\n");

то фраза "Введите свое имя:" не выводится, то есть

C
1
2
fputws(L"Введите свое имя: ", stdout);
fflush(stdout);

не работает.

А если взять вот так:

C
1
2
3
4
5
setlocale(LC_ALL, "");
 
 fputws(L"Введите свое имя: ", stdout);
 fflush(stdout);
 printf("3333\n");

или вот так:

C
1
2
3
 fputws(L"Введите свое имя: ", stdout);
 fflush(stdout);
 printf("3333\n");

то не выводится "3333" ("Введите свое имя:" выводится вопросительными знаками наверное из-за отсутствующего setlocale(LC_ALL, ""); ) то есть не работает:

C
1
printf("3333\n");

Почему так?

@Nameless One · 03.08.2012, 03:40

v4567, при первом вызове функции, работающей с потоком, этому потоку присваивается т.н. ориентация. Если первой была вызвана функция для широких символов, то поток ориентирован на широкие символы. В противном случае - на обычные символы. Также ориентацию можно задать явно с помощью функции fwide. Если ориентация потока установлена, ее уже нельзя изменить (кроме вызова freopen). Так что не надо смешивать в одной программе для отдельного потока обычные функции и функции для работы с широкими символами, это может привести к непредсказуемым последствиям.

Цитата из

glibc manual

It is important to never mix the use of wide and not wide operations on a stream. There are no diagnostics issued. The application behavior will simply be strange or the application will simply crash. The fwide function can help avoiding this.

Кстати, в связи с этим мой предыдущий комментарий можно считать неправильным:

Сообщение от Nameless One

В некоторых местах можно было использовать обычные версии функций ввода/вывода

@v4567 · 03.08.2012, 09:58 **[ТС]**

И ещё такой вопрос.
Функция fflush(stdout);
написана, что бы до конца вывести данные из буфера?

@Nameless One · 03.08.2012, 10:02

v4567, да. По умолчанию поток stdout имеет линейную буферизацию, т.е. фактический вывод данных произойдет только тогда, когда в поток попадет символ перевода строки ('\n'). На практике это бывает не всегда, но лучше писать в так.

fanatdebian · 10.08.2012, 22:05

И второй момент. На Си нельзя написать программу которая бы работала без операционной системы, то есть на Си нельзя осуществить низкоуровневое взаимодействие с железом как в ассемблере, например нельзя писать в порты, просто этого нет.
Вернее это можно сделать если например использовать системные вызовы ядра линукс, или в виндовс использовать функции WinAPI. Получается так что Си как бы является дополнением к ядру *nix систем, тоесть я имею ввиду следующее. Если взять ядро какой нибудь *nix системы плюс компилятор языка Си и плюс библиотеку libc то мы получим некий програмный конструктор - конструктор для программиста, который независим от железа (насколько это возможно и на сколько это удалось сделать), для разработки любого програмного комплекса. Но только всё в месте ядро + компилятор Си + libc, отдельно просто взяв компилятор Си с нуля написать под какое нибудь железо (даже если под него и будет компилятор Си) невозможно. Так ли это, правильно ли я мыслю?

Асм и си разные языки, это инструменты и задачи и сфера применения у них свои. Ядро *ксов написано в большей мере на чистом си + ассемблерные вставки, поэтому можно утверждать что си = ядро. Воспринимай си в *ксах, как завод по производству блоков, из которых ты можешь строить что угодно. Аналог конструктор Лего.

Микроконтроллеры программируются ассемблером. Пишутся функции, которые прописываются в даташитах. Используя эти функции можно писать свою надстройку над логикой управления устройством. Аналог подключения системных библиотек.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Nameless One 5828 / 3479 / 358 Регистрация: 08.02.2010 Сообщений: 7,448
	02.08.2012, 06:25
	Нужно использовать широкие символы wchar_t и функции для работы с ними, объявленные в заголовочном файле wchar.h PS. Во втором примере у тебя условие в цикле неправильное. 1

@v4567 3 / 2 / 4 Регистрация: 10.05.2008 Сообщений: 148
	03.08.2012, 09:58 [ТС]
	И ещё такой вопрос. Функция fflush(stdout); написана, что бы до конца вывести данные из буфера? 0

@Nameless One 5828 / 3479 / 358 Регистрация: 08.02.2010 Сообщений: 7,448
	03.08.2012, 10:02
	v4567, да. По умолчанию поток stdout имеет линейную буферизацию, т.е. фактический вывод данных произойдет только тогда, когда в поток попадет символ перевода строки ('\n'). На практике это бывает не всегда, но лучше писать в так. 1

fanatdebian Z3JheSBoYXQ= 342 / 237 / 83 Регистрация: 08.07.2012 Сообщений: 577
	10.08.2012, 22:05
	И второй момент. На Си нельзя написать программу которая бы работала без операционной системы, то есть на Си нельзя осуществить низкоуровневое взаимодействие с железом как в ассемблере, например нельзя писать в порты, просто этого нет. Вернее это можно сделать если например использовать системные вызовы ядра линукс, или в виндовс использовать функции WinAPI. Получается так что Си как бы является дополнением к ядру nix систем, тоесть я имею ввиду следующее. Если взять ядро какой нибудь nix системы плюс компилятор языка Си и плюс библиотеку libc то мы получим некий програмный конструктор - конструктор для программиста, который независим от железа (насколько это возможно и на сколько это удалось сделать), для разработки любого програмного комплекса. Но только всё в месте ядро + компилятор Си + libc, отдельно просто взяв компилятор Си с нуля написать под какое нибудь железо (даже если под него и будет компилятор Си) невозможно. Так ли это, правильно ли я мыслю? Асм и си разные языки, это инструменты и задачи и сфера применения у них свои. Ядро ксов написано в большей мере на чистом си + ассемблерные вставки, поэтому можно утверждать что си = ядро. Воспринимай си в ксах, как завод по производству блоков, из которых ты можешь строить что угодно. Аналог конструктор Лего. Микроконтроллеры программируются ассемблером. Пишутся функции, которые прописываются в даташитах. Используя эти функции можно писать свою надстройку над логикой управления устройством. Аналог подключения системных библиотек. 0