Не тривиальная проблема с кодировками txt файлов

@SadiQ228 · Регистрация: 16.12.2016

Студворк — интернет-сервис помощи студентам

значит написал прогу которая меняет кодировки у файлов, и все то работает как надо кроме одного - в конечный результирующий файл добавляется знак вороса... тоесть символ "?" который никак и игде не фигурирует.
как понять откуда берется данный символ и устранить эту проблему?

код:

Кликните здесь для просмотра всего текста

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import java.nio.charset.Charset;
import java.io.*;
 
public class EncodingConverter {
    public static void main(String[] args) throws IOException {
        if(args.length != 4 ) {
            System.err.println("Bad args. Try again.");
        }
        if(Charset.isSupported(args[2]) && Charset.isSupported(args[3])) {
            File file1 = new File(args[0]);
            File file2 = new File(args[1]);
            BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file1), args[2]));
            BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file2), args[3]));
            String str ;
            while((str = reader.readLine()) != null) {
                writer.write(str);
                writer.newLine();
                }
            System.err.println("***SUCCESS***");
            reader.close();
            writer.close();
            }
        else{
            System.err.println("Incorrect code args. Try again.");
            }
        }
}

запускаю так: java EncodingConverter IN.txt OUT.txt utf-8 cp1251

первый файл - Р°Р±РІРіРґРµС‘Р¶Р·РёР№РєР»РјРЅРѕРїСЂСЃС‚ СѓС„С…С†С‡С€С‰СЊС‹СЉСЌСЋСЏ
второй файл получается - ?абвгдеёжзийклмнопрстуфхцчшщьыъэюя

@Lumber · 12.04.2019, 03:57

Наверное это маркер кодировки utf-8 (Byte Order Mark или BOM - 3 байта в начале файла: EF BB BF) так декодируется в "неизвестный" символ который отображается знаком вопроса. Но этого маркера может и не быть в файле (он необязательный). Надо проверять первый символ (байта три, но символ один!) и если он равен '\uFEFF', то пропускать его.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm) 8Observer8 30.01.2026 Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .	Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .

@Lumber 345 / 141 / 51 Регистрация: 02.12.2015 Сообщений: 333
	12.04.2019, 03:57
	Сообщение было отмечено SadiQ228 как решение Решение Наверное это маркер кодировки utf-8 (Byte Order Mark или BOM - 3 байта в начале файла: EF BB BF) так декодируется в "неизвестный" символ который отображается знаком вопроса. Но этого маркера может и не быть в файле (он необязательный). Надо проверять первый символ (байта три, но символ один!) и если он равен '\uFEFF', то пропускать его. 1

Не тривиальная проблема с кодировками txt файлов

Решение