Python и Beautifulsoup кодировка

@Innex · Регистрация: 30.11.2011

Студворк — интернет-сервис помощи студентам

Python
1
2
3
page = urllib2.urlopen("http://www.*******")
soup = BeautifulSoup(page.read())
a = soup.findAll('a',{'class' : 'item'})

Получаю список с элементами. Он отображается нормально, с русскими символами.
Но если элемент списка, в котором кирилица засунуть в словарь или другой список - в нем они отображаются в виде "u'\u0420\u0435\u0430" и т.д. На сайте кодировка windows-1251.
Как решить проблему с кодировкой?

Добавлено через 22 минуты
Проблема даже не в Beatufulsoup. Попробовал lxml. Симптомы те же. Когда записываю что то в словарь или список - там белеберда.

Добавлено через 2 часа 19 минут
Локализую проблему...
Как в питоне 2.7 вставить кириллицу в словарь или в список?

accept · 29.06.2012, 01:28

Сообщение от Innex

Но если элемент списка, в котором кирилица засунуть в словарь или другой список - в нем они отображаются в виде "u'\u0420\u0435\u0430" и т.д.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
>>> s = u"\u0420\u0435\u0430"
>>> print s
Реа
>>> tup = s, s, s
>>> print tup
(u'\u0420\u0435\u0430', u'\u0420\u0435\u0430', u'\u0420\u0435\u0430')
>>> for i in tup:
...   print i
... 
Реа
Реа
Реа
>>>

Сообщение от Innex

Он отображается нормально, с русскими символами.

то есть ты неправильно отображаешь список
выводишь его на экран, а надо выводить его поэлементно

@Innex · 29.06.2012, 02:15 **[ТС]**

Спасибо. Я это уже понял...
а что б он в консоле или ide нормально отображался можно как то сделать?

accept · 29.06.2012, 03:40

можно поставить третий питон

Python
1
2
3
4
>>> s = 'абвг'
>>> s, s, s
('абвг', 'абвг', 'абвг')
>>>

но там всё по-другому

@rapter · 06.07.2012, 17:31

Во-первых необходимо выводить поэлементно.
Во-вторых, как вариант, каждый элемент преобразуешь в строку. Если и строка выводится криво, то можно сделать s.decode("utf-8").
Так же не забывай указывать # -*- coding: utf-8 -*-

@Innex · 07.07.2012, 01:09 **[ТС]**

Про поэлементно уже сказали и это единственный выход.
Преобразовать в строку в этом случае нет никакого смысла, так как тут парсер, а ему без разницы что и с чем сравнивать.
Указывать кодировку в этом случае тоже не дает никакого результата.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Innex 4 / 4 / 0 Регистрация: 30.11.2011 Сообщений: 53
	29.06.2012, 02:15 [ТС]
	Спасибо. Я это уже понял... а что б он в консоле или ide нормально отображался можно как то сделать? 0

@rapter 4 / 4 / 0 Регистрация: 06.07.2012 Сообщений: 34
	06.07.2012, 17:31
	Во-первых необходимо выводить поэлементно. Во-вторых, как вариант, каждый элемент преобразуешь в строку. Если и строка выводится криво, то можно сделать s.decode("utf-8"). Так же не забывай указывать # -- coding: utf-8 -- 0

@Innex 4 / 4 / 0 Регистрация: 30.11.2011 Сообщений: 53
	07.07.2012, 01:09 [ТС]
	Про поэлементно уже сказали и это единственный выход. Преобразовать в строку в этом случае нет никакого смысла, так как тут парсер, а ему без разницы что и с чем сравнивать. Указывать кодировку в этом случае тоже не дает никакого результата. 0