Ошибка кодировки при чтении из файла

@Joey Black · Регистрация: 10.02.2016

Студворк — интернет-сервис помощи студентам

Добрый день, коллеги! Читаю локальный файл при помощи urllib

Python
1
2
3
4
5
import urllib
file_address="C:/work/stores/4067.html"
file=urllib.request.urlopen("file:///" + file_address)
soup=BeautifulSoup(file,"lxml")
print(soup.prettify())

При этом весь русский текст превращается в тарабарский. Открываю локальный файл браузером и тоже тарабарский. Если открывать файл блокнотом, то всё нормально. В файле указана кодировка:

HTML5
1
charset=windows-1251

Как добавить кодировку в

Python
1
urllib.request.urlopen()

?

@Ennjin · 30.03.2017, 14:22

измени кодировку файла на utf-8

@Joey Black · 30.03.2017, 14:51 **[ТС]**

Есть очень много файлов и заходить в каждый менят неудобно, можно ли как-то в функции это сделать?

Добавлено через 1 минуту
изменил в одном, всё работает, но всё же не хочется лезть во все файлы

Jabbson · 30.03.2017, 17:05

А почему используете urllib, вместо того, чтобы open() Ваш файл?

@Joey Black · 30.03.2017, 17:53 **[ТС]**

Чтобы запихнуть его в BeautifulSoup, на open() суп ругается

@pashtet-kun · 30.03.2017, 17:58

Python
1
BeautifulSoup(open("lalala.html"))

и какую ошибку выдает?

@Joey Black · 31.03.2017, 11:14 **[ТС]**

Code
1
UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 774: character maps to <undefined>

@pashtet-kun · 31.03.2017, 11:20

попробуй

Python
1
2
3
import codecs
fileObj = codecs.open( "someFilePath", "r", "cp1251" )
soup = BeautifulSoup(fileObj)

@Joey Black · 31.03.2017, 11:34 **[ТС]**

Python
1
2
3
4
from bs4 import BeautifulSoup
import codecs
file = codecs.open( file_address, "r", "cp1251" )
soup = BeautifulSoup(file,'lxml')

Code
1
2
3
4
  File "C:\Anaconda3\lib\encodings\cp1251.py", line 15, in decode
    return codecs.charmap_decode(input,errors,decoding_table)
 
UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 809: character maps to <undefined>

@pashtet-kun · 31.03.2017, 11:43

значит кодировка файла другая, попробуй utf-8 или файл сюда выложи

@Joey Black · 31.03.2017, 11:47 **[ТС]**

С utf-8 заработало), спасибо!!!

@Joey Black · 06.04.2017, 15:17 **[ТС]**

коллеги, сел за другой комп, запустил и теперь вместо русского языка одни знаки вопроса, что делать?

@Joey Black · 06.04.2017, 15:41 **[ТС]**

Добавлено через 2 минуты
не получается выложить страницу

Добавлено через 18 минут
поменял язык программ не поддерживающих юникод на русский, всё заработало

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита табличной части. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@Ennjin 103 / 81 / 54 Регистрация: 25.11.2016 Сообщений: 278
	30.03.2017, 14:22
	измени кодировку файла на utf-8 1

@Joey Black 28 / 20 / 11 Регистрация: 10.02.2016 Сообщений: 237
	30.03.2017, 14:51 [ТС]
	Есть очень много файлов и заходить в каждый менят неудобно, можно ли как-то в функции это сделать? Добавлено через 1 минуту изменил в одном, всё работает, но всё же не хочется лезть во все файлы 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	30.03.2017, 17:05
	А почему используете urllib, вместо того, чтобы open() Ваш файл? 1

@Joey Black 28 / 20 / 11 Регистрация: 10.02.2016 Сообщений: 237
	30.03.2017, 17:53 [ТС]
	Чтобы запихнуть его в BeautifulSoup, на open() суп ругается 0

@pashtet-kun 135 / 120 / 37 Регистрация: 30.09.2012 Сообщений: 400
	31.03.2017, 11:43
	значит кодировка файла другая, попробуй utf-8 или файл сюда выложи 1

@Joey Black 28 / 20 / 11 Регистрация: 10.02.2016 Сообщений: 237
	31.03.2017, 11:47 [ТС]
	С utf-8 заработало), спасибо!!! 0

@Joey Black 28 / 20 / 11 Регистрация: 10.02.2016 Сообщений: 237
	06.04.2017, 15:41 [ТС]
	Добавлено через 2 минуты не получается выложить страницу Добавлено через 18 минут поменял язык программ не поддерживающих юникод на русский, всё заработало 0

Ошибка кодировки при чтении из файла

Решение