Проблемы с кодировкой при сборке проекта Telegram bot

@Vladimir280796 · Регистрация: 28.01.2020

Студворк — интернет-сервис помощи студентам

Написал бота на Java для Telegram. После сборки проекта начинаются проблемы с текстом, который приходит в формате json, его я достаю с сайта Get-запросом. При этом если я запускаю проект со среды разработки все идет нормально и текст выводится как надо. В чем может быть проблема? В коде? Или при сборке какая-то хрень случается? Даже не знаю о чем и думать. Работаю в intellij idea.
До сборки:

Проблемы с кодировкой при сборке проекта Telegram bot

После сборки:

@alecss131 · 14.02.2020, 19:18

Скорее проблема с кодировками, какую используете и в какой отдает сайт? По хорошему везде использовать юникод (utf8). В коде это надо правильно читать, способами которые поддерживают указание кодировки. Еще если собирать мавеном то можно юникод указать для проекта.

@Vladimir280796 · 14.02.2020, 19:33 **[ТС]**

Мне интересно почему при запуске со среды разработки он нормально выводит?
Вот один get запрос, указываю utf-8

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
try{
            StringBuilder url = new StringBuilder();
            url.append("https://giseo.rkomi.ru/webapi/loginform?cid=2&sid=11&pid=")
               .append(pid).append("&LASTNAME=pid&cacheVer=636796196389540142");
            URL link = new URL(url.toString());
            HttpsURLConnection connection = (HttpsURLConnection) link.openConnection();
 
            //данные для запроса
            connection.setDoInput(true); // открываю поток
            connection.setRequestMethod("GET"); // тип запроса
            connection.setDoOutput(true);
            connection.setRequestProperty("Accept", "application/json, text/javascript, */*; q=0.01");
            connection.setRequestProperty("User-Agent", USER_AGENT);
            connection.setRequestProperty("Accept-Encoding", "gzip, deflate, br");
            connection.setRequestProperty("Accept-Language", "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,it;q=0.6");
            connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");
            connection.setRequestProperty("X-Requested-With", "XMLHttpRequest");
 
            BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream())); // открываю поток
            String inputLine;
 
            response = new StringBuffer();
 
            while ((inputLine = reader.readLine()) != null) { // пока строка не пустая
                response.append(inputLine); // добавляю к существующей строке новые данные
            }
            reader.close(); // закрываю поток
 
 
        }catch (Exception ex){ // обрабатываю ошибки
            ex.printStackTrace();
        }

@alecss131 · 14.02.2020, 20:03

Уже вижу ошибки с кодировками. Вот и ошибка лезет. Чтение из потока без указания кодировки. Заголовки по сути можно и не указывать, обычно их стоит добавлять если нужна авторизация а так же doinput dooutput можно не трогать.
Не помню точно, сейчас не за компом, есть ридеры из потока где можно вторым аргументом кодировку указать.
Еще как вариант можно сделать так, считать поле ответа content length, создать массив байт этой длинны а потом из массива байт получить строку. Зная длинну можно считать сразу все байты из потока. А создать строку с указанием кодировки. Например, byte b[] =new byte[значение поля ответа content-length] далее connection.getInputStream().read(b) а потом new String(b, "UTF8"). Или попробуйте добавить "UTF8" в конструктор InputStreamReader, если нельзя то надо по другому читать.
Когда буду на компе смогу точнее ответить. А для json какую либу используете? Еще кстати стоит проверять код ответа от сайта.

@Vladimir280796 · 14.02.2020, 20:36 **[ТС]**

Использую com.google.gson
Вот на всякий случай, как его "разбираю"

Java
1
2
3
4
5
6
7
8
9
10
11
12
  schools = new ArrayList<>();
        JsonParser parser = new JsonParser(); 
        JsonElement jsonElement = parser.parse(response);
        JsonObject jsonObject = jsonElement.getAsJsonObject();
        JsonArray items = jsonObject.getAsJsonArray("items");
        for(JsonElement item : items){ 
            school = new School(); 
            JsonObject itemObject = item.getAsJsonObject();
            school.setId(itemObject.get("id").getAsString());
            school.setName(itemObject.get("name").getAsString()); 
            schools.add(school); 
        }

Когда будете за компом, если не трудно, подскажите ридеры. Спасибо за ответ!

Добавлено через 11 минут
Загуглил, предложили вот так вставить кодировку:

Java
1
            BufferedReader reader = new BufferedReader(new InputStreamReader(link.openStream(), "UTF-8"));

И все получилось!

Спасибо вам большое!

@alecss131 · 14.02.2020, 21:54

Vladimir280796, Еще короче можно сделать так

Java
1
2
3
4
5
6
7
String url = "";
try (Reader reader = new InputStreamReader(new URL(url).openStream(), StandardCharsets.UTF_8)) {
    JsonElement jsonTree = JsonParser.parseReader(reader);
        //разбор json
} catch (IOException e) {
    e.printStackTrace();
}

Библиотека версии 2.8.6 перешла в статик метод парсера. А вообще если известна структура json и есть нужный класс то можно в пару строчек без ручной разборки парсить, например так

Кликните здесь для просмотра всего текста

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
public class Test {
 
    public static void main(String[] args) {
        new Test();
    }
    
    Test() {
        String src = createJson();
        Gson gson = new GsonBuilder().create();
        System.out.println(src);
        
        //URL link = new URL("");
        //BufferedReader reader = new BufferedReader(new InputStreamReader(link.openStream(), "UTF-8"));
        
        //вариант 1
        List<Info> list = new ArrayList<Info>();
        JsonElement jsonTree = JsonParser.parseString(src);
        for (JsonElement elem : jsonTree.getAsJsonObject().get("items").getAsJsonArray()) {
            Info inf = gson.fromJson(elem, Info.class);
            list.add(inf);
        }
        System.out.println(list.size());
        System.out.println(list.get(2).getId());
        
        // вариант 2
        MassInfo mass = gson.fromJson(src, MassInfo.class);
        System.out.println(mass.size());
        System.out.println(mass.get(2).getId());
    }
    
    class MassInfo {
        private Info items[];
        public int size() {return items.length; }
        public Info get(int i) { return items[i];}
    }
    
    class Info {
        private String id;
        private int num;
        public String getId() { return id;};
        public int getNum() { return num;};
        public void setId(String id) { this.id = id;};
        public void setNum(int num) { this.num = num;};
    }
    
    private String createJson() {
        JsonObject jobj = new JsonObject();
        JsonArray arr = new JsonArray();
        for (int i=0; i<5; i++) {
            JsonObject o = new JsonObject();
            o.addProperty("id", "abc"+i);
            o.addProperty("num", new Random().nextInt(50));
            arr.add(o);
        }
        jobj.add("items", arr);
        return jobj.toString();
    }
}

первым параметром метода fromJson можно засунуть String, Reader, JsonReader, JsonElement. В обратную сторону тоже работает, только метод toJson. Второй параметр это класс куда серилиазовать json

Новые блоги и статьи Все статьи Все блоги /
изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .

@Vladimir280796 0 / 0 / 0 Регистрация: 28.01.2020 Сообщений: 8

	Проблемы с кодировкой при сборке проекта Telegram bot 14.02.2020, 19:12. Показов 10525. Ответов 5 Метки intellij idea, java, json, telegram bot (Все метки) Написал бота на Java для Telegram. После сборки проекта начинаются проблемы с текстом, который приходит в формате json, его я достаю с сайта Get-запросом. При этом если я запускаю проект со среды разработки все идет нормально и текст выводится как надо. В чем может быть проблема? В коде? Или при сборке какая-то хрень случается? Даже не знаю о чем и думать. Работаю в intellij idea. До сборки: После сборки: 0

@alecss131 Модератор 2848 / 1356 / 404 Регистрация: 11.08.2017 Сообщений: 4,330 Записей в блоге: 2
	14.02.2020, 19:18
	Скорее проблема с кодировками, какую используете и в какой отдает сайт? По хорошему везде использовать юникод (utf8). В коде это надо правильно читать, способами которые поддерживают указание кодировки. Еще если собирать мавеном то можно юникод указать для проекта. 0

@alecss131 Модератор 2848 / 1356 / 404 Регистрация: 11.08.2017 Сообщений: 4,330 Записей в блоге: 2
	14.02.2020, 20:03
	Сообщение было отмечено Vladimir280796 как решение Решение Уже вижу ошибки с кодировками. Вот и ошибка лезет. Чтение из потока без указания кодировки. Заголовки по сути можно и не указывать, обычно их стоит добавлять если нужна авторизация а так же doinput dooutput можно не трогать. Не помню точно, сейчас не за компом, есть ридеры из потока где можно вторым аргументом кодировку указать. Еще как вариант можно сделать так, считать поле ответа content length, создать массив байт этой длинны а потом из массива байт получить строку. Зная длинну можно считать сразу все байты из потока. А создать строку с указанием кодировки. Например, byte b[] =new byte[значение поля ответа content-length] далее connection.getInputStream().read(b) а потом new String(b, "UTF8"). Или попробуйте добавить "UTF8" в конструктор InputStreamReader, если нельзя то надо по другому читать. Когда буду на компе смогу точнее ответить. А для json какую либу используете? Еще кстати стоит проверять код ответа от сайта. 0

Проблемы с кодировкой при сборке проекта Telegram bot

Решение