Ошибки кодировок в Питоне при чтении файлов

@George164 · Регистрация: 07.12.2021

Студворк — интернет-сервис помощи студентам

Добрый день
опять про "charmap codec can't decode byte 0x98"
Я начинающий программист и уже второй день бьюсь с проблемой кодировок.
Есть ардуиновский исходник, где в текстах сотни файлов встречаются символы почти на всех языках мира.
Задача простая: переписать файлы в один, вставляя комментарии.
И никак. При чтении-записи файлов как 'r' обязательно попадаю на ошибку кодировки.
При чтении-записи как 'rb' не могу вставить комментарии.
Уже склоняюсь к варианту переписать файлы удалив весь нечитаемый мусор. Это устраивает, но разовое и нудное решение.
Что предложите?

@Garry Galler · 07.12.2021, 15:04

Сообщение от George164

уже второй день бьюсь с проблемой кодировок.

Если у тебя проблема с кодировкой, то просто укажи кодировку в open. Так все делают.

Добавлено через 53 секунды

Сообщение от George164

де в текстах сотни файлов встречаются символы почти на всех языках мира.

Это совершенно не важно.

Добавлено через 1 минуту

Сообщение от George164

Есть ардуиновский исходник,

Это бинарный файл или текстовый?
Если бинарный, то его бессмысленно читать в текстовом режиме и также бессмысленно искать в нем кодировку.

@George164 · 07.12.2021, 15:06 **[ТС]**

Ну ну. Есть пример? Готов протестировать.
Бинарный вариант, наконец, заработал.

@Garry Galler · 07.12.2021, 15:12

Сообщение от George164

Есть пример? Готов протестировать

Какой пример? Что протестировать?
Пример кода и сорца должен был быть от тебя. Но мы его не увидели.

@Ципихович Эндрю · 07.12.2021, 15:44

что-то похожее

Python
1
2
f1 = open(f1, 'r', encoding='utf-8')
s1 = f1.read()

есть?

@George164 · 07.12.2021, 18:01 **[ТС]**

#!/usr/bin/python
# -*- coding: utf-8 -*-

import glob, os
os.chdir("E:\Marlin2")
fw = open('e:\\Marlin21.txt', 'w',encoding='utf-8')
for file in glob.glob("*.h"):
....print(file)
....fr = open(file, 'r', encoding='utf-8')
....s1 = fr.read()
....for line in s1:
........fw.write(line)
....fr.close ()
fw.close ()

Всем спасибо. Сработало, если ставить кодировку и при чтении и при записи.
Пробовал, конечно, так делать вчера, но видно не попробовал вариант ставить и там и там.
Убил время на вариант с бинарным копированием, а там свои заморочки только утром поборол.
Там 705 файлов, но если на 3х сработало, сработает и на 700х.

@Ципихович Эндрю · 07.12.2021, 19:08

Сообщение от George164

'e:\\Marlin21.txt'

r вначале ставите и не два слеша а один нужен, значит "как строка"

@George164 · 07.12.2021, 22:18 **[ТС]**

Сообщение от Ципихович Эндрю

r вначале ставите и не два слеша а один нужен, значит "как строка"

Вы понимаете в чем проблема этого и подобных советов?
Во первых чисто по русски понять трудно что написано.
Во вторых совет понимаешь только если знаешь ответ. Иначе какая r? Какой слеш? Какая строка? В питоне столько подводных камней, что надо немного подробней разжевывать.
А сухой осадок да, напоминание по делу. Сейчас повезло, а будет другая буква в имени файла и будет сюрприз.

@Ципихович Эндрю · 08.12.2021, 08:27

Сообщение от George164

Иначе какая r

где красные, где белые, куда бежать..........
было

Сообщение от George164

fw = open('e:\\Marlin21.txt', 'w',encoding='utf-8')

нужно

Python
1
fw = open(r'e:\Marlin21.txt', 'w', encoding='utf-8')

enx · 08.12.2021, 08:46

Сообщение от George164

Вы понимаете в чем проблема этого и подобных советов?

Вы понимаете, в чем проблема подобных вопросов?

Очень подробный ответ

Коротко:

1. В Linux для написания абсолютного пути:

f = open('/Users/test/mytestfiles/testproject/mytest/test.txt')

2. В Windows вам потребуется указать диск и использовать обратные слэши "", чтобы не испытывать с ними проблем можно поставить перед кавычками символ "r", что сделает строку "сырой", либо использовать двойной "" (для экранирования):

f = open(r'C:\test\testtest\test.txt')
f = open('C:\\test\\testtest\\test.txt')

Само собой все писать через контекст. Но тут ты спросишь, а это что такое?
Гуглить python with

@George164 · 08.12.2021, 17:01 **[ТС]**

Спасибо. Вроде все, что надо обсудили, а то я сейчас начну искать ошибки там, где их нет.

@George164 · 09.12.2021, 11:59 **[ТС]**

Спрошу здесь, чтобы не плодить.
Задержки в программе с tkinter'om.
Нужно, например, менять цвет букв в тексте. Номера букв и времен в списке.
Ничего не приходит в голову кроме таймера из создания фиктивного объекта, через after менять в нем что-нибудь и в бесконечном цикле отслеживать это изменение.
А как еще?

@George164 · 11.12.2021, 10:16 **[ТС]**

С трудом, но разобрался и со sleep() и с after.
Проблемы была, что не знал или забыл про .update()

Новые блоги и статьи Все статьи Все блоги /
Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью в конфигурации КА2. Данные берутся из регистра сведений, по. . .

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 27

	Ошибки кодировок в Питоне при чтении файлов 07.12.2021, 11:57. Показов 1308. Ответов 12 Метки нет (Все метки) Добрый день опять про "charmap codec can't decode byte 0x98" Я начинающий программист и уже второй день бьюсь с проблемой кодировок. Есть ардуиновский исходник, где в текстах сотни файлов встречаются символы почти на всех языках мира. Задача простая: переписать файлы в один, вставляя комментарии. И никак. При чтении-записи файлов как 'r' обязательно попадаю на ошибку кодировки. При чтении-записи как 'rb' не могу вставить комментарии. Уже склоняюсь к варианту переписать файлы удалив весь нечитаемый мусор. Это устраивает, но разовое и нудное решение. Что предложите? 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 27
	07.12.2021, 15:06 [ТС]
	Ну ну. Есть пример? Готов протестировать. Бинарный вариант, наконец, заработал. 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 27
	07.12.2021, 18:01 [ТС]
	#!/usr/bin/python # -- coding: utf-8 -- import glob, os os.chdir("E:\Marlin2") fw = open('e:\\Marlin21.txt', 'w',encoding='utf-8') for file in glob.glob("*.h"): ....print(file) ....fr = open(file, 'r', encoding='utf-8') ....s1 = fr.read() ....for line in s1: ........fw.write(line) ....fr.close () fw.close () Всем спасибо. Сработало, если ставить кодировку и при чтении и при записи. Пробовал, конечно, так делать вчера, но видно не попробовал вариант ставить и там и там. Убил время на вариант с бинарным копированием, а там свои заморочки только утром поборол. Там 705 файлов, но если на 3х сработало, сработает и на 700х. 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 27
	08.12.2021, 17:01 [ТС]
	Спасибо. Вроде все, что надо обсудили, а то я сейчас начну искать ошибки там, где их нет. 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 27
	09.12.2021, 11:59 [ТС]
	Спрошу здесь, чтобы не плодить. Задержки в программе с tkinter'om. Нужно, например, менять цвет букв в тексте. Номера букв и времен в списке. Ничего не приходит в голову кроме таймера из создания фиктивного объекта, через after менять в нем что-нибудь и в бесконечном цикле отслеживать это изменение. А как еще? 0

@George164 0 / 1 / 0 Регистрация: 07.12.2021 Сообщений: 27
	11.12.2021, 10:16 [ТС]
	С трудом, но разобрался и со sleep() и с after. Проблемы была, что не знал или забыл про .update() 0