Linux кириллица в файлах

@Fatinho · Регистрация: 14.12.2009

Студворк — интернет-сервис помощи студентам

здравствуйте
вопрос: как работать с файлами в линукс, если в них присутствует кириллица?
если открываю используя fstream и считываю getline то на месте кириллических символов символы с отрицательными кодами
если открываю используя wfstream и считываю также getline, то на месте первого кириллического символа завершающий символ '\0'

Vourhey · 26.08.2020, 01:19

Сообщение от Fatinho

если в них присутствует кириллица?

В какой кодировке?

@COKPOWEHEU · 26.08.2020, 10:13

Сообщение от Fatinho

если открываю используя fstream и считываю getline то на месте кириллических символов символы с отрицательными кодами

Откуда в беззнаковом символе будет отрицательный код?
Скорее всего, вы читаете в обычном UTF-8, где кириллический символ кодируется двумя последовательными байтами. Скажем, буква 'А' имеет код 0xD090, буква 'Ф' - 0xD0A4.

@Annemesski · 26.08.2020, 12:16

Сообщение от COKPOWEHEU

Откуда в беззнаковом символе будет отрицательный код?

символ беззнаковый, а вот тип char по умолчанию может быть как signed так и unsigned зависит от компилятора. MSVC, например, по умолчанию задает для типа char тип signed char, но при указании компилятору опции /J меняет поведение и ставит по умолчанию тип unsigned char

@Fatinho · 26.08.2020, 18:14 **[ТС]**

Сообщение от Vourhey

В какой кодировке?

Сообщение от COKPOWEHEU

Скорее всего, вы читаете в обычном UTF-8

Да кодировка получается UTF8
Получается как с этим работать, как мне получить массив символов, что бы кириллические символы там были нормальными?

@COKPOWEHEU · 27.08.2020, 09:40

Так и работать, в чем проблема-то?
Опишите что вы хотите сделать и что у вас не получается.
Вот пример работы с файлом, и имя кириллическое, и содержимое. Все работает.

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ cat Файл.txt 
ыволптитлывмтуытмштишмлытвамотилопртмтлоарипмолыривелгмывмиирлыиел
$ cat main.c 
#include <stdio.h>
 
int main(){
  FILE *pf = fopen("Файл.txt", "rt");
  if(pf == NULL){fprintf(stderr, "Can not open file\n"); return 1;}
  char buf[100];
  fgets(buf, 99, pf);
  fclose(pf);
  printf("[%s]\n", buf);
}
$ gcc main.c 
$ ./a.out 
[ыволптитлывмтуытмштишмлытвамотилопртмтлоарипмолыр]
$

Vourhey · 27.08.2020, 10:47

Сообщение от Fatinho

Да кодировка получается UTF8

Тогда бы все работало )

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
$ echo "привет" > text.txt
 
$ cat text.txt
привет
 
$ ./a.out
привет
 
$ cat main.cpp
#include <iostream>
#include <fstream>
 
int main()
{
    std::ifstream in("text.txt");
    std::string s;
    in>>s;
    std::cout<<s<<std::endl;
}

@Fatinho · 27.08.2020, 12:22 **[ТС]**

Так все работает
Тогда проблема в следующем: в иде, в режиме дебага, если посмотреть содержимое строки , то на месте кириллических символов отрицательные коды

@Rius · 27.08.2020, 12:26

Fatinho, значит IDE не умеет показывать utf-8 из массива char.

@Fatinho · 27.08.2020, 12:31 **[ТС]**

И ещё кириллические символы занимют два позиции в массиве .
Как с этим быть?

@Rius · 27.08.2020, 12:37

Как? Смириться.
𓀀 например, вообще 4 байта занимает.

@Fatinho · 27.08.2020, 12:39 **[ТС]**

Просто тогда уже неудобно считать длину строки
Модно сконвертировать в wchar_t что бы и Анг и русск символы были по 1 позиции в массиве?

@Rius · 27.08.2020, 12:42

strlen работает также, число char возвращает. В чём неудобство?

@COKPOWEHEU · 27.08.2020, 12:55

Еще раз предлагаю просто описать задачу, которую пытаетесь решить.
Если вам нужно просто хранить строки, вводить и выводить их без существенной обработки используйте UTF-8 и не парьтесь.
Если нужна обработка вроде подсчета размера, копирование-вставка в середину и т.п. (не самый частый класс задач) то можно попробовать в wchar_t.

@Fatinho · 27.08.2020, 13:36 **[ТС]**

Сообщение от Rius

strlen работает также, число char возвращает. В чём неудобство?

Неудобство в том, что например строка "one два three". Я одидаю что strlen вернет 12, но возвращается 15.

Сообщение от COKPOWEHEU

Еще раз предлагаю просто описать задачу, которую пытаетесь решить.
Если вам нужно просто хранить строки, вводить и выводить их без существенной обработки используйте UTF-8 и не парьтесь.
Если нужна обработка вроде подсчета размера, копирование-вставка в середину и т.п. (не самый частый класс задач) то можно попробовать в wchar_t.

Да, как раз требуется обработка. Тогда нужно конвертировать в wchar_t?

@COKPOWEHEU · 27.08.2020, 13:50

Сообщение от Fatinho

Да, как раз требуется обработка. Тогда нужно конвертировать в wchar_t?

Зависит от того, какая обработка. Возможно, хватит utf-8 и простейших самописных функций обработки. Скажем, пройтись по каждой букве UTF-8 (для strlen'а, например) недолго и вручную.
А для совсем серьезной обработки (хотя бы приведение к верхнему/нижнему регистру) простого wchar_t не хватит, нужна будет дополнительная обработка. Как и с составными символам, в которые входят диактрические модификаторы: с ними даже не все стандартные утилиты работают правильно.

@Rius · 27.08.2020, 13:50

Fatinho, а может в UnicodeString сразу? Зачем изобретать велосипед.

@Fatinho · 27.08.2020, 14:03 **[ТС]**

Сообщение от Rius

Fatinho, а может в UnicodeString сразу? Зачем изобретать велосипед.

В том и дело я не знаю. Если бы знал, я бы не задавал тут такие вопросы.
Мне нужно считать файл, содержимое которого вперемешку латинские и кириллические символы, в массив символов и обрабатывать его так же как я бы обрабатывал его будь это просто массив латинских симвлов. То есть пользоваться такими функциями как strcpy, strncpy, strcat, strcspn и т.д. Чтобы 1 элемент массива, был бы одним символом

@Rius · 27.08.2020, 14:08

Fatinho, ну значит пройдите по ссылке и посмотрите, есть ли там все нужные вам функции для работы со строками.
Если есть, юзайте либу ICU. Она специально для юникода.

@COKPOWEHEU · 27.08.2020, 20:21

Сообщение от Fatinho

Чтобы 1 элемент массива, был бы одним символом

зачем?

Сообщение от Fatinho

обрабатывать его так же как я бы обрабатывал его будь это просто массив латинских симвлов.

Так обрабатывайте, кто вам мешает. Именно поэтому UTF-8 удобнее UTF-16 и подобных, что во многом совместим с ASCII. И именно поэтому в Linux проблем с переходом к Юникоду почти не было, тогда как в Windows они до сих пор портят жизнь.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@Fatinho 3 / 2 / 2 Регистрация: 14.12.2009 Сообщений: 149

	Linux кириллица в файлах 26.08.2020, 01:14. Показов 9875. Ответов 24 Метки нет (Все метки) здравствуйте вопрос: как работать с файлами в линукс, если в них присутствует кириллица? если открываю используя fstream и считываю getline то на месте кириллических символов символы с отрицательными кодами если открываю используя wfstream и считываю также getline, то на месте первого кириллического символа завершающий символ '\0' 0

@Fatinho 3 / 2 / 2 Регистрация: 14.12.2009 Сообщений: 149
	27.08.2020, 12:22 [ТС]
	Так все работает Тогда проблема в следующем: в иде, в режиме дебага, если посмотреть содержимое строки , то на месте кириллических символов отрицательные коды 0

@Rius 13131 / 7691 / 1677 Регистрация: 25.05.2015 Сообщений: 23,465 Записей в блоге: 14
	27.08.2020, 12:26
	Fatinho, значит IDE не умеет показывать utf-8 из массива char. 0

@Fatinho 3 / 2 / 2 Регистрация: 14.12.2009 Сообщений: 149
	27.08.2020, 12:31 [ТС]
	И ещё кириллические символы занимют два позиции в массиве . Как с этим быть? 0

@Rius 13131 / 7691 / 1677 Регистрация: 25.05.2015 Сообщений: 23,465 Записей в блоге: 14
	27.08.2020, 12:37
	Как? Смириться. 𓀀 например, вообще 4 байта занимает. 0

@Fatinho 3 / 2 / 2 Регистрация: 14.12.2009 Сообщений: 149
	27.08.2020, 12:39 [ТС]
	Просто тогда уже неудобно считать длину строки Модно сконвертировать в wchar_t что бы и Анг и русск символы были по 1 позиции в массиве? 0

@Rius 13131 / 7691 / 1677 Регистрация: 25.05.2015 Сообщений: 23,465 Записей в блоге: 14
	27.08.2020, 12:42
	strlen работает также, число char возвращает. В чём неудобство? 0

@COKPOWEHEU 4083 / 2681 / 432 Регистрация: 09.09.2017 Сообщений: 11,922
	27.08.2020, 12:55
	Еще раз предлагаю просто описать задачу, которую пытаетесь решить. Если вам нужно просто хранить строки, вводить и выводить их без существенной обработки используйте UTF-8 и не парьтесь. Если нужна обработка вроде подсчета размера, копирование-вставка в середину и т.п. (не самый частый класс задач) то можно попробовать в wchar_t. 0

@Rius 13131 / 7691 / 1677 Регистрация: 25.05.2015 Сообщений: 23,465 Записей в блоге: 14
	27.08.2020, 13:50
	Fatinho, а может в UnicodeString сразу? Зачем изобретать велосипед. 0

@Rius 13131 / 7691 / 1677 Регистрация: 25.05.2015 Сообщений: 23,465 Записей в блоге: 14
	27.08.2020, 14:08
	Fatinho, ну значит пройдите по ссылке и посмотрите, есть ли там все нужные вам функции для работы со строками. Если есть, юзайте либу ICU. Она специально для юникода. 0