Декодирование utf-8

@Satain · Регистрация: 30.03.2019

Студворк — интернет-сервис помощи студентам

Всем здравствуйте.
Столкнулся со следующей проблемой:
Имею условную строку в виде \u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c
в идеале необходимо преобразовать ее в "Добрый день"
Перекопал половину stackoverflow, нашел огромную массу вариантов преобразования, но ни один из них не работает,
как бы я не пытался, строка не изменяется совершенно никаким образом.

Для примера приведу несколько простых и не очень вариантов, которые уже использовал:

Python
1
2
3
4
s = '''\\xed\\xe5 \\xff?xb\\xff\\xe5\\xf2\\xf1\\xff \\xef\\xf0\\xe8\\xeb\\xee\\xe6\\xe5\\xed\\xe8\\xe5\\xec'''
 
s = s.encode().decode("utf-8")
print(s)

Python
1
2
from unidecode import unidecode
print(unidecode(s))

Пытался записать строку в файл и далее прочитать из файла через кодировку:

Python
1
2
3
with open('exam.txt', 'rb') as f:
    bs = f.read()
    print(bs.decode('utf-8'))

Результат все равно выходит в спецсимволах.

При всем при этом, если залезть в интернет, на любой из онлайн декодеров и там ввести эту строку, то все будет отлично, результат действительно будет "Добрый день", автоматический поиск кодировок покажет, что переводим из кодировки "unicode" в "utf-8"

При попытке передать кодировку "unicode":

Python
1
2
3
4
5
s = '''\\xed\\xe5 \\xff?xb\\xff\\xe5\\xf2\\xf1\\xff \\xef\\xf0\\xe8\\xeb\\xee\\xe6\\xe5\\xed\\xe8\\xe5\\xec'''
s = s.encode('unicode').decode("utf-8")
print(s)
 
>>>LookupError: unknown encoding: unicode

Кстати, возвращаясь к попыткам прочитать из файла, пробовал и такой вариант:

Python
1
2
3
import io
f = io.open("exam.txt", mode="r", encoding="utf-8")
print(f.read())

Собственно, как это бедствие преобразовать в обычную кириллицу?

@s_t_r_a_j · 12.07.2023, 08:27

Python
1
2
s = '\u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c'
print(s)

Bash
1
Добрый день

в чем проблема?

YuS_2 · 12.07.2023, 09:44

Сообщение от s_t_r_a_j

в чем проблема?

это проблема "XY" (молотка)...

Сообщение от Satain

Столкнулся со следующей проблемой:
Имею условную строку в виде \u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c

Вы не описали саму проблему X, то бишь, как именно Вы получаете строку и с какой целью пытаетесь её преобразовывать...

Но так, чтобы "кувалдой перешибить молоток" (решением проблемы Y), можно действовать следующим образом:

Python
1
2
3
s = '\\xed\\xe5 \\xff?xb\\xff\\xe5\\xf2\\xf1\\xff \\xef\\xf0\\xe8\\xeb\\xee\\xe6\\xe5\\xed\\xe8\\xe5\\xec'
res = s.encode('latin1').decode('unicode_escape').encode('latin1')
print(res.decode('cp1251')) #не я?xbяется приложением

@Satain · 12.07.2023, 14:26 **[ТС]**

В вашем конкретном случае все работает, похоже я совершенно не понимаю логику .encode.decode, если в ваше решение в строку s поставить мою строку, то я получаю:

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-5: ordinal not in range(256)

В общем решением для себя на данный момент будет собственный декодер, может быть это и не совсем простое решение, но по крайней мере оно работает)

PS Вы правильно меня поняли, задача была, любым образом получить в консоли русские символы, а не закодированную строку на выходе.

YuS_2 · 12.07.2023, 15:16

Сообщение от Satain

если в ваше решение в строку s поставить мою строку, то я получаю

Вопрос в том, ещё раз, какую именно строку Вы получаете и каким образом... от этого и будет зависеть то или иное решение.
Если речь об этой строке:

Сообщение от Satain

\u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c

то это закодированный юникод, в формате с префиксом "\u"+ 4-6 символов кодировки юникода... такой набор в интерактивной консоли будет раскодирован автоматически, т.е. ввод строки:
'\u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c'
приведет к автоматическому декодированию и выводу строки:
'Добрый день'

Если же речь об этой строке:

Сообщение от Satain

'\\xed\\xe5 \\xff?xb\\xff\\xe5\\xf2\\xf1\\xff \\xef\\xf0\\xe8\\xeb\\xee\\xe6\\xe5\\xed \\xe8\\xe5\\xec'

то это байтовая строка (с ошибочным набором символов), которая для декодирования должна иметь вид:

Python
1
b'\xed\xe5 \xff?xb\xff\xe5\xf2\xf1\xff \xef\xf0\xe8\xeb\xee\xe6\xe5\xed\xe8\xe5\xec'

- в этом случае, можно её декодировать так:

Python
1
b'\xed\xe5 \xff?xb\xff\xe5\xf2\xf1\xff \xef\xf0\xe8\xeb\xee\xe6\xe5\xed\xe8\xe5\xec'.decode('cp1251')

В общем, разберитесь, что откуда и в каком виде получаете, тогда и проблему будет решать проще...

Сообщение от Satain

похоже я совершенно не понимаю логику .encode.decode

для этого есть документация, почитайте, как работают эти методы...
в двух словах:
.encode() - возвращает байтовую строку в определенной кодировке
.decode() - возвращает строку из заданных байтов в определенной кодировке

Новые блоги и статьи Все статьи Все блоги /
Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определенном условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .

@Satain 0 / 0 / 0 Регистрация: 30.03.2019 Сообщений: 14
	12.07.2023, 14:26 [ТС]
	В вашем конкретном случае все работает, похоже я совершенно не понимаю логику .encode.decode, если в ваше решение в строку s поставить мою строку, то я получаю: UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-5: ordinal not in range(256) В общем решением для себя на данный момент будет собственный декодер, может быть это и не совсем простое решение, но по крайней мере оно работает) PS Вы правильно меня поняли, задача была, любым образом получить в консоли русские символы, а не закодированную строку на выходе. 0