Как определить кодировку html-страницы при скачивании?

@wolfalone · Регистрация: 05.08.2012

Студворк — интернет-сервис помощи студентам

Доброго времени суток уважаемые!

Почитал аналогичные темы - не помогло.

Задача следующая:
1. Скачать страницу N
2. Проверить наличие в ней ссылки на страницу X

Основная проблема заключается в том, что вместо русских букв, в результате получаются unicode-символы (не декодированные). Подскажите пожалуйста, как решить данную проблему?

P.S. Основная загадка для меня остается в том, что результат выполнения последней строки - вполне себе читается в консоли, что Windows, что Linux...

Pyhon 3, code:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
# -*- coding: utf-8 -*-
import urllib
import urllib.request
 
url = "http://www.yandex.ru/"
source = urllib.request.urlopen(url).read()
 
f = open('file.html', 'w')
f.write(str(source))
f.close()
 
print (source)
print ('Привет мир!')

Добавлено через 1 минуту
P.S. Скачивать сам файл - нет необходимости, мне нужен только текст страницы в "читабельном" виде. Сохранение в файл - просто для примера.

Добавлено через 3 минуты
Скрин:

Как определить кодировку html-страницы при скачивании?

ВАСИЛЕВС · 21.08.2013, 18:30

Есть несколько вариантов решения. Имхо, самый простой:

Python
1
2
3
4
5
from urllib.request import urlopen
fp = urlopen("http://google.com")
encoding = fp.headers.get_content_charset()
html = fp.read()
print(html.decode(encoding))

Проверено, работает

accept · 22.08.2013, 08:15

http://docs.python.org/3/libra... sponse.msg

Новые блоги и статьи Все статьи Все блоги /
Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определенном условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .

accept 4866 / 3287 / 468 Регистрация: 10.12.2008 Сообщений: 10,570
	22.08.2013, 08:15
	http://docs.python.org/3/libra... sponse.msg 0

Опции темы