Форум программистов, компьютерный форум CyberForum.ru

Python: Web

Войти
Регистрация
Восстановить пароль
 
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
#1

Кодировка - Python

06.01.2017, 12:32. Просмотров 188. Ответов 2
Метки нет (Все метки)

Всем привет. Использую requests. Спарсил страничку сайта, пытаюсь записать в блокнот, и выдает ошибку:

Python
1
2
3
4
5
6
Traceback (most recent call last):
  File "C:\Users\Глеб\Desktop\Python\my-requests.py", line 48, in <module>
    doc.write(str(content.text))
  File "C:\Users\Глеб\AppData\Local\Programs\Python\Python35\lib\encodings\cp1251.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u2192' in position 82737: character maps to <undefined>
Если применять метод .content, то все без ошибок, но в полученном результате вместо текста что-то вроде "x86\xd0\xb8". На сайте стоит кодировка UTF-8, в headers я задал часто того, что увидел в сниффере:

Python
1
'Accept-Encoding': 'gzip, deflate',
Как привести все это к нормальному, понятному виду?

Добавлено через 3 минуты
Пробовал применять вдобавок метод .decode('UTF-8') - не помогло
Лучшие ответы (1)
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
06.01.2017, 12:32     Кодировка
Посмотрите здесь:

Кодировка файлов js - Python
Почему все скрипты, подключенные таким образом в именно Firefox из UTF-8 преобразуются в рандомные кодировки (IBM866, windows-1251,...

Не правильная кодировка - Python
Привет, товарищи! Я новичок, поэтому не нужно сразу меня записывать в быдло-кодеров. Моя ситуация: мне нужно залогиниться на сайте, чтобы...

Кодировка при открытии сохраненного файла - Python
from selenium import webdriver driver = webdriver.Firefox() url = &quot;http://vk.com/oldlentach&quot; driver.get(url) ...

Кодировка - PHP
Доброго времени суток. У меня есть html файл с формой: &lt;form action=&quot;file.php&quot; method=&quot;post&quot;&gt; &lt;hr&gt; Фамилия &lt;input type=&quot;text&quot;...

Кодировка vk.com - C#
Пытаюсь отправить сообщение ...

Кодировка - PHP
У меня есть простенький сайт, там сделана система новостей. Вот, когда добавляю новость, на сайте одни вопросительные знаки. (???????) ...

Кодировка - C#
Есть документ, в котором таблица. в таблицах данные типа: • Дата заявления • Номер заявления • Наименование юридического лица; ...

Кодировка - PHP
Обращаюсь из javascript-a к сценарию php, который в ответ присылает ему некоторую строку. Каким способом мне ее отправить, чтоб я смогла...

кодировка - PHP
Учу php, проблема в том, что когда подключаю куски страницы через include на них не распространяется кодировка. Нормально отображаются...

Кодировка - MS Access
Доброго времени суток! Проблема заключается в следующем: при создании приложений Delphi - access - ODBC русскоязычные данные отображаются...

Кодировка - C#
Доброго всем времени суток! У меня к вам следуюший вопрос. У меня в программе я получаю код HTML страницы, после чего я оставляю только...

Кодировка - PHP
Здравствуйте. Как задать этим файлам верную кодировку? Помогите, пожалуйста. Есть шаблон- шапка сайта. (head.php) &lt;!DOCTYPE html...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Garry Galler
608 / 488 / 126
Регистрация: 28.10.2013
Сообщений: 1,108
06.01.2017, 14:08     Кодировка #2
Сообщение было отмечено автором темы, экспертом или модератором как ответ
Используйте для записи в файл ту кодировку, которая указана в html:
Python
1
2
3
r = requests.get('http://www.cyberforum.ru')
with open('cyberforum.html','w',encoding=r.encoding) as f:
    f.write(r.text)
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
06.01.2017, 14:40  [ТС]     Кодировка #3
Большое спасибо, работает
Yandex
Объявления
06.01.2017, 14:40     Кодировка
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru