Как определить кодировку html-страницы при скачивании?

@wolfalone · Регистрация: 05.08.2012

Студворк — интернет-сервис помощи студентам

Доброго времени суток уважаемые!

Почитал аналогичные темы - не помогло.

Задача следующая:
1. Скачать страницу N
2. Проверить наличие в ней ссылки на страницу X

Основная проблема заключается в том, что вместо русских букв, в результате получаются unicode-символы (не декодированные). Подскажите пожалуйста, как решить данную проблему?

P.S. Основная загадка для меня остается в том, что результат выполнения последней строки - вполне себе читается в консоли, что Windows, что Linux...

Pyhon 3, code:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
# -*- coding: utf-8 -*-
import urllib
import urllib.request
 
url = "http://www.yandex.ru/"
source = urllib.request.urlopen(url).read()
 
f = open('file.html', 'w')
f.write(str(source))
f.close()
 
print (source)
print ('Привет мир!')

Добавлено через 1 минуту
P.S. Скачивать сам файл - нет необходимости, мне нужен только текст страницы в "читабельном" виде. Сохранение в файл - просто для примера.

Добавлено через 3 минуты
Скрин:

Как определить кодировку html-страницы при скачивании?

ВАСИЛЕВС · 21.08.2013, 18:30

Есть несколько вариантов решения. Имхо, самый простой:

Python
1
2
3
4
5
from urllib.request import urlopen
fp = urlopen("http://google.com")
encoding = fp.headers.get_content_charset()
html = fp.read()
print(html.decode(encoding))

Проверено, работает

accept · 22.08.2013, 08:15

http://docs.python.org/3/libra... sponse.msg

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

accept 4866 / 3288 / 468 Регистрация: 10.12.2008 Сообщений: 10,570
	22.08.2013, 08:15
	http://docs.python.org/3/libra... sponse.msg 0