Форум программистов, компьютерный форум CyberForum.ru
Наши страницы

Python: Web

Войти
Регистрация
Восстановить пароль
 
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
#1

Кодировка - Python

06.01.2017, 12:32. Просмотров 205. Ответов 2
Метки нет (Все метки)

Всем привет. Использую requests. Спарсил страничку сайта, пытаюсь записать в блокнот, и выдает ошибку:

Python
1
2
3
4
5
6
Traceback (most recent call last):
  File "C:\Users\Глеб\Desktop\Python\my-requests.py", line 48, in <module>
    doc.write(str(content.text))
  File "C:\Users\Глеб\AppData\Local\Programs\Python\Python35\lib\encodings\cp1251.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u2192' in position 82737: character maps to <undefined>
Если применять метод .content, то все без ошибок, но в полученном результате вместо текста что-то вроде "x86\xd0\xb8". На сайте стоит кодировка UTF-8, в headers я задал часто того, что увидел в сниффере:

Python
1
'Accept-Encoding': 'gzip, deflate',
Как привести все это к нормальному, понятному виду?

Добавлено через 3 минуты
Пробовал применять вдобавок метод .decode('UTF-8') - не помогло
0
Лучшие ответы (1)
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
06.01.2017, 12:32
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Кодировка (Python):

Не правильная кодировка - Python
Привет, товарищи! Я новичок, поэтому не нужно сразу меня записывать в быдло-кодеров. Моя ситуация: мне нужно залогиниться на сайте, чтобы...

Кодировка файлов js - Python
Почему все скрипты, подключенные таким образом в именно Firefox из UTF-8 преобразуются в рандомные кодировки (IBM866, windows-1251,...

Кодировка при открытии сохраненного файла - Python
from selenium import webdriver driver = webdriver.Firefox() url = &quot;http://vk.com/oldlentach&quot; driver.get(url) ...

Кодировка писем - Python
Возникла необходимость получить содержимое моих e-mail. Все они в разных кодировках, кто в Windows-1251, кто в UTF-8. Как я понимаю,...

Кодировка в Python - Python
Здравствуйте, есть небольшая проблемка с кодировкой в Python. Пытаюсь получить данные с web-страницы при помощи стандартной библиотеки...

Кодировка в Python 3 - Python
Собственно проблема такая: :coffee2: import requests html =...

2
Garry Galler
882 / 656 / 184
Регистрация: 28.10.2013
Сообщений: 1,604
06.01.2017, 14:08 #2
Лучший ответ Сообщение было отмечено автором темы, экспертом или модератором как ответ
Используйте для записи в файл ту кодировку, которая указана в html:
Python
1
2
3
r = requests.get('http://www.cyberforum.ru')
with open('cyberforum.html','w',encoding=r.encoding) as f:
    f.write(r.text)
1
weblord
1 / 1 / 0
Регистрация: 16.10.2016
Сообщений: 111
06.01.2017, 14:40  [ТС] #3
Большое спасибо, работает
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
06.01.2017, 14:40
Привет! Вот еще темы с ответами:

Кодировка Python 3 - Python
Всем привет, пишу некоторый гуй под виндой семеркой, и мне понадобилось вызвать внешнюю программу, используя subprocess. Возникла проблема...

Python кодировка - Python
Проблема такая: я со HTML -страницы считал текст, и записал его в текстовый файл, но его записал в таком виде , как это можно исправить?...

Кодировка Python - Python
Есть текстовый файл. необходимо разбить текст на слова и преобразовать их в нормальную форму с помощью pymorphy. Для работы с русскими...

Кодировка Python - Python
Python 2.7 import csv import codecs csv_fh = open(&quot;1.csv&quot;, &quot;wb&quot;) writer = csv.writer(csv_fh, delimiter=';',...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru