Проблемы с кодировкой при сборке проекта Telegram bot

@Vladimir280796 · Регистрация: 28.01.2020

Студворк — интернет-сервис помощи студентам

Написал бота на Java для Telegram. После сборки проекта начинаются проблемы с текстом, который приходит в формате json, его я достаю с сайта Get-запросом. При этом если я запускаю проект со среды разработки все идет нормально и текст выводится как надо. В чем может быть проблема? В коде? Или при сборке какая-то хрень случается? Даже не знаю о чем и думать. Работаю в intellij idea.
До сборки:

Проблемы с кодировкой при сборке проекта Telegram bot

После сборки:

@alecss131 · 14.02.2020, 19:18

Скорее проблема с кодировками, какую используете и в какой отдает сайт? По хорошему везде использовать юникод (utf8). В коде это надо правильно читать, способами которые поддерживают указание кодировки. Еще если собирать мавеном то можно юникод указать для проекта.

@Vladimir280796 · 14.02.2020, 19:33 **[ТС]**

Мне интересно почему при запуске со среды разработки он нормально выводит?
Вот один get запрос, указываю utf-8

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
try{
            StringBuilder url = new StringBuilder();
            url.append("https://giseo.rkomi.ru/webapi/loginform?cid=2&sid=11&pid=")
               .append(pid).append("&LASTNAME=pid&cacheVer=636796196389540142");
            URL link = new URL(url.toString());
            HttpsURLConnection connection = (HttpsURLConnection) link.openConnection();
 
            //данные для запроса
            connection.setDoInput(true); // открываю поток
            connection.setRequestMethod("GET"); // тип запроса
            connection.setDoOutput(true);
            connection.setRequestProperty("Accept", "application/json, text/javascript, */*; q=0.01");
            connection.setRequestProperty("User-Agent", USER_AGENT);
            connection.setRequestProperty("Accept-Encoding", "gzip, deflate, br");
            connection.setRequestProperty("Accept-Language", "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,it;q=0.6");
            connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");
            connection.setRequestProperty("X-Requested-With", "XMLHttpRequest");
 
            BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream())); // открываю поток
            String inputLine;
 
            response = new StringBuffer();
 
            while ((inputLine = reader.readLine()) != null) { // пока строка не пустая
                response.append(inputLine); // добавляю к существующей строке новые данные
            }
            reader.close(); // закрываю поток
 
 
        }catch (Exception ex){ // обрабатываю ошибки
            ex.printStackTrace();
        }

@alecss131 · 14.02.2020, 20:03

Уже вижу ошибки с кодировками. Вот и ошибка лезет. Чтение из потока без указания кодировки. Заголовки по сути можно и не указывать, обычно их стоит добавлять если нужна авторизация а так же doinput dooutput можно не трогать.
Не помню точно, сейчас не за компом, есть ридеры из потока где можно вторым аргументом кодировку указать.
Еще как вариант можно сделать так, считать поле ответа content length, создать массив байт этой длинны а потом из массива байт получить строку. Зная длинну можно считать сразу все байты из потока. А создать строку с указанием кодировки. Например, byte b[] =new byte[значение поля ответа content-length] далее connection.getInputStream().read(b) а потом new String(b, "UTF8"). Или попробуйте добавить "UTF8" в конструктор InputStreamReader, если нельзя то надо по другому читать.
Когда буду на компе смогу точнее ответить. А для json какую либу используете? Еще кстати стоит проверять код ответа от сайта.

@Vladimir280796 · 14.02.2020, 20:36 **[ТС]**

Использую com.google.gson
Вот на всякий случай, как его "разбираю"

Java
1
2
3
4
5
6
7
8
9
10
11
12
  schools = new ArrayList<>();
        JsonParser parser = new JsonParser(); 
        JsonElement jsonElement = parser.parse(response);
        JsonObject jsonObject = jsonElement.getAsJsonObject();
        JsonArray items = jsonObject.getAsJsonArray("items");
        for(JsonElement item : items){ 
            school = new School(); 
            JsonObject itemObject = item.getAsJsonObject();
            school.setId(itemObject.get("id").getAsString());
            school.setName(itemObject.get("name").getAsString()); 
            schools.add(school); 
        }

Когда будете за компом, если не трудно, подскажите ридеры. Спасибо за ответ!

Добавлено через 11 минут
Загуглил, предложили вот так вставить кодировку:

Java
1
            BufferedReader reader = new BufferedReader(new InputStreamReader(link.openStream(), "UTF-8"));

И все получилось!

Спасибо вам большое!

@alecss131 · 14.02.2020, 21:54

Vladimir280796, Еще короче можно сделать так

Java
1
2
3
4
5
6
7
String url = "";
try (Reader reader = new InputStreamReader(new URL(url).openStream(), StandardCharsets.UTF_8)) {
    JsonElement jsonTree = JsonParser.parseReader(reader);
        //разбор json
} catch (IOException e) {
    e.printStackTrace();
}

Библиотека версии 2.8.6 перешла в статик метод парсера. А вообще если известна структура json и есть нужный класс то можно в пару строчек без ручной разборки парсить, например так

Кликните здесь для просмотра всего текста

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
public class Test {
 
    public static void main(String[] args) {
        new Test();
    }
    
    Test() {
        String src = createJson();
        Gson gson = new GsonBuilder().create();
        System.out.println(src);
        
        //URL link = new URL("");
        //BufferedReader reader = new BufferedReader(new InputStreamReader(link.openStream(), "UTF-8"));
        
        //вариант 1
        List<Info> list = new ArrayList<Info>();
        JsonElement jsonTree = JsonParser.parseString(src);
        for (JsonElement elem : jsonTree.getAsJsonObject().get("items").getAsJsonArray()) {
            Info inf = gson.fromJson(elem, Info.class);
            list.add(inf);
        }
        System.out.println(list.size());
        System.out.println(list.get(2).getId());
        
        // вариант 2
        MassInfo mass = gson.fromJson(src, MassInfo.class);
        System.out.println(mass.size());
        System.out.println(mass.get(2).getId());
    }
    
    class MassInfo {
        private Info items[];
        public int size() {return items.length; }
        public Info get(int i) { return items[i];}
    }
    
    class Info {
        private String id;
        private int num;
        public String getId() { return id;};
        public int getNum() { return num;};
        public void setId(String id) { this.id = id;};
        public void setNum(int num) { this.num = num;};
    }
    
    private String createJson() {
        JsonObject jobj = new JsonObject();
        JsonArray arr = new JsonArray();
        for (int i=0; i<5; i++) {
            JsonObject o = new JsonObject();
            o.addProperty("id", "abc"+i);
            o.addProperty("num", new Random().nextInt(50));
            arr.add(o);
        }
        jobj.add("items", arr);
        return jobj.toString();
    }
}

первым параметром метода fromJson можно засунуть String, Reader, JsonReader, JsonElement. В обратную сторону тоже работает, только метод toJson. Второй параметр это класс куда серилиазовать json

Новые блоги и статьи Все статьи Все блоги /
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .

@Vladimir280796 0 / 0 / 0 Регистрация: 28.01.2020 Сообщений: 8

	Проблемы с кодировкой при сборке проекта Telegram bot 14.02.2020, 19:12. Показов 10603. Ответов 5 Метки intellij idea, java, json, telegram bot (Все метки) Написал бота на Java для Telegram. После сборки проекта начинаются проблемы с текстом, который приходит в формате json, его я достаю с сайта Get-запросом. При этом если я запускаю проект со среды разработки все идет нормально и текст выводится как надо. В чем может быть проблема? В коде? Или при сборке какая-то хрень случается? Даже не знаю о чем и думать. Работаю в intellij idea. До сборки: После сборки: 0

@alecss131 Модератор 2881 / 1386 / 411 Регистрация: 11.08.2017 Сообщений: 4,415 Записей в блоге: 2
	14.02.2020, 19:18
	Скорее проблема с кодировками, какую используете и в какой отдает сайт? По хорошему везде использовать юникод (utf8). В коде это надо правильно читать, способами которые поддерживают указание кодировки. Еще если собирать мавеном то можно юникод указать для проекта. 0

@alecss131 Модератор 2881 / 1386 / 411 Регистрация: 11.08.2017 Сообщений: 4,415 Записей в блоге: 2
	14.02.2020, 20:03
	Сообщение было отмечено Vladimir280796 как решение Решение Уже вижу ошибки с кодировками. Вот и ошибка лезет. Чтение из потока без указания кодировки. Заголовки по сути можно и не указывать, обычно их стоит добавлять если нужна авторизация а так же doinput dooutput можно не трогать. Не помню точно, сейчас не за компом, есть ридеры из потока где можно вторым аргументом кодировку указать. Еще как вариант можно сделать так, считать поле ответа content length, создать массив байт этой длинны а потом из массива байт получить строку. Зная длинну можно считать сразу все байты из потока. А создать строку с указанием кодировки. Например, byte b[] =new byte[значение поля ответа content-length] далее connection.getInputStream().read(b) а потом new String(b, "UTF8"). Или попробуйте добавить "UTF8" в конструктор InputStreamReader, если нельзя то надо по другому читать. Когда буду на компе смогу точнее ответить. А для json какую либу используете? Еще кстати стоит проверять код ответа от сайта. 0

Проблемы с кодировкой при сборке проекта Telegram bot

Решение