Ошибки кодировок в Питоне при чтении файлов

@George164 · Регистрация: 07.12.2021

Студворк — интернет-сервис помощи студентам

Добрый день
опять про "charmap codec can't decode byte 0x98"
Я начинающий программист и уже второй день бьюсь с проблемой кодировок.
Есть ардуиновский исходник, где в текстах сотни файлов встречаются символы почти на всех языках мира.
Задача простая: переписать файлы в один, вставляя комментарии.
И никак. При чтении-записи файлов как 'r' обязательно попадаю на ошибку кодировки.
При чтении-записи как 'rb' не могу вставить комментарии.
Уже склоняюсь к варианту переписать файлы удалив весь нечитаемый мусор. Это устраивает, но разовое и нудное решение.
Что предложите?

@Garry Galler · 07.12.2021, 15:04

Сообщение от George164

уже второй день бьюсь с проблемой кодировок.

Если у тебя проблема с кодировкой, то просто укажи кодировку в open. Так все делают.

Добавлено через 53 секунды

Сообщение от George164

де в текстах сотни файлов встречаются символы почти на всех языках мира.

Это совершенно не важно.

Добавлено через 1 минуту

Сообщение от George164

Есть ардуиновский исходник,

Это бинарный файл или текстовый?
Если бинарный, то его бессмысленно читать в текстовом режиме и также бессмысленно искать в нем кодировку.

@George164 · 07.12.2021, 15:06 **[ТС]**

Ну ну. Есть пример? Готов протестировать.
Бинарный вариант, наконец, заработал.

@Garry Galler · 07.12.2021, 15:12

Сообщение от George164

Есть пример? Готов протестировать

Какой пример? Что протестировать?
Пример кода и сорца должен был быть от тебя. Но мы его не увидели.

@Ципихович Эндрю · 07.12.2021, 15:44

что-то похожее

Python
1
2
f1 = open(f1, 'r', encoding='utf-8')
s1 = f1.read()

есть?

@George164 · 07.12.2021, 18:01 **[ТС]**

#!/usr/bin/python
# -*- coding: utf-8 -*-

import glob, os
os.chdir("E:\Marlin2")
fw = open('e:\\Marlin21.txt', 'w',encoding='utf-8')
for file in glob.glob("*.h"):
....print(file)
....fr = open(file, 'r', encoding='utf-8')
....s1 = fr.read()
....for line in s1:
........fw.write(line)
....fr.close ()
fw.close ()

Всем спасибо. Сработало, если ставить кодировку и при чтении и при записи.
Пробовал, конечно, так делать вчера, но видно не попробовал вариант ставить и там и там.
Убил время на вариант с бинарным копированием, а там свои заморочки только утром поборол.
Там 705 файлов, но если на 3х сработало, сработает и на 700х.

@Ципихович Эндрю · 07.12.2021, 19:08

Сообщение от George164

'e:\\Marlin21.txt'

r вначале ставите и не два слеша а один нужен, значит "как строка"

@George164 · 07.12.2021, 22:18 **[ТС]**

Сообщение от Ципихович Эндрю

r вначале ставите и не два слеша а один нужен, значит "как строка"

Вы понимаете в чем проблема этого и подобных советов?
Во первых чисто по русски понять трудно что написано.
Во вторых совет понимаешь только если знаешь ответ. Иначе какая r? Какой слеш? Какая строка? В питоне столько подводных камней, что надо немного подробней разжевывать.
А сухой осадок да, напоминание по делу. Сейчас повезло, а будет другая буква в имени файла и будет сюрприз.

@Ципихович Эндрю · 08.12.2021, 08:27

Сообщение от George164

Иначе какая r

где красные, где белые, куда бежать..........
было

Сообщение от George164

fw = open('e:\\Marlin21.txt', 'w',encoding='utf-8')

нужно

Python
1
fw = open(r'e:\Marlin21.txt', 'w', encoding='utf-8')

enx · 08.12.2021, 08:46

Сообщение от George164

Вы понимаете в чем проблема этого и подобных советов?

Вы понимаете, в чем проблема подобных вопросов?

Очень подробный ответ

Коротко:

1. В Linux для написания абсолютного пути:

f = open('/Users/test/mytestfiles/testproject/mytest/test.txt')

2. В Windows вам потребуется указать диск и использовать обратные слэши "", чтобы не испытывать с ними проблем можно поставить перед кавычками символ "r", что сделает строку "сырой", либо использовать двойной "" (для экранирования):

f = open(r'C:\test\testtest\test.txt')
f = open('C:\\test\\testtest\\test.txt')

Само собой все писать через контекст. Но тут ты спросишь, а это что такое?
Гуглить python with

@George164 · 08.12.2021, 17:01 **[ТС]**

Спасибо. Вроде все, что надо обсудили, а то я сейчас начну искать ошибки там, где их нет.

@George164 · 09.12.2021, 11:59 **[ТС]**

Спрошу здесь, чтобы не плодить.
Задержки в программе с tkinter'om.
Нужно, например, менять цвет букв в тексте. Номера букв и времен в списке.
Ничего не приходит в голову кроме таймера из создания фиктивного объекта, через after менять в нем что-нибудь и в бесконечном цикле отслеживать это изменение.
А как еще?

@George164 · 11.12.2021, 10:16 **[ТС]**

С трудом, но разобрался и со sleep() и с after.
Проблемы была, что не знал или забыл про .update()

Новые блоги и статьи Все статьи Все блоги /
Первый деплой lagorue 16.01.2026 Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 26

	Ошибки кодировок в Питоне при чтении файлов 07.12.2021, 11:57. Показов 1246. Ответов 12 Метки нет (Все метки) Добрый день опять про "charmap codec can't decode byte 0x98" Я начинающий программист и уже второй день бьюсь с проблемой кодировок. Есть ардуиновский исходник, где в текстах сотни файлов встречаются символы почти на всех языках мира. Задача простая: переписать файлы в один, вставляя комментарии. И никак. При чтении-записи файлов как 'r' обязательно попадаю на ошибку кодировки. При чтении-записи как 'rb' не могу вставить комментарии. Уже склоняюсь к варианту переписать файлы удалив весь нечитаемый мусор. Это устраивает, но разовое и нудное решение. Что предложите? 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 26
	07.12.2021, 15:06 [ТС]
	Ну ну. Есть пример? Готов протестировать. Бинарный вариант, наконец, заработал. 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 26
	07.12.2021, 18:01 [ТС]
	#!/usr/bin/python # -- coding: utf-8 -- import glob, os os.chdir("E:\Marlin2") fw = open('e:\\Marlin21.txt', 'w',encoding='utf-8') for file in glob.glob("*.h"): ....print(file) ....fr = open(file, 'r', encoding='utf-8') ....s1 = fr.read() ....for line in s1: ........fw.write(line) ....fr.close () fw.close () Всем спасибо. Сработало, если ставить кодировку и при чтении и при записи. Пробовал, конечно, так делать вчера, но видно не попробовал вариант ставить и там и там. Убил время на вариант с бинарным копированием, а там свои заморочки только утром поборол. Там 705 файлов, но если на 3х сработало, сработает и на 700х. 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 26
	08.12.2021, 17:01 [ТС]
	Спасибо. Вроде все, что надо обсудили, а то я сейчас начну искать ошибки там, где их нет. 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 26
	09.12.2021, 11:59 [ТС]
	Спрошу здесь, чтобы не плодить. Задержки в программе с tkinter'om. Нужно, например, менять цвет букв в тексте. Номера букв и времен в списке. Ничего не приходит в голову кроме таймера из создания фиктивного объекта, через after менять в нем что-нибудь и в бесконечном цикле отслеживать это изменение. А как еще? 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 26
	11.12.2021, 10:16 [ТС]
	С трудом, но разобрался и со sleep() и с after. Проблемы была, что не знал или забыл про .update() 0