Неправильно отображение русских букв в Python при запросе из MySQL

@SergeiIv · Регистрация: 06.10.2010

Студворк — интернет-сервис помощи студентам

В базе MySQL в табл sotrudn одна запись и в поле famili значение "Ивачев".
В my.ini:

[mysql]
default-character-set=utf8

И схема, и таблица, и столбец имеют кодировку utf8

Вот простенькая прога в Pytone:

Python
1
2
3
4
5
6
7
8
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
    print repr(i)
db.close()

Вот результат:

('??????',)

Подставляю в my.ini

[mysqld]
skip-character-set-client-handshake

получаю:

('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2',)

Все "битвы" проиграл. Может кто поможет )?

accept · 07.10.2010, 04:02

в начале скрипта попробуй
на первой или второй строке файла

Python
1
# -*- coding: utf-8 -*-

@freshmeat · 07.10.2010, 15:19

Вариант:

>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb 5\xd0\xb2'
>>> print(a.decode('utf-8'))
Ивачев
>>>

@SergeiIv · 08.10.2010, 08:35 **[ТС]**

Всё вышепредложенное не работает, хотя большое спасибо за варианты.
По ответу freshmeat:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
# так fetchall возвращает кортеж
    aa=repr(i)[2:50]
    print i
    print aa
    print(aa.decode('utf-8'))
# и вариант  freshmeat
a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
print(a.decode('utf-8'))
db.close()
 
результат:
 
('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2',)
\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2
\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2
Ивачев
 
Победил проблему так:
import MySQLdb
#import _mysql
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sptgw', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
    aa=eval(repr(i)[1:51])
    print i
    print aa
a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
print(a.decode('utf-8'))
db.close()

результат:
('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2',)
Ивачев
Ивачев

Хотя это искусственное решение проблемы, хотя сама проблема осталось и как решать её пока не знаю.
Хочу ещё заметить, что вся эта бодяга по WinXP.

@freshmeat · 08.10.2010, 09:18

Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Python
1
2
3
4
5
6
7
res = cursor.fetchall()
print(str(res))
 
for f in res:
    print(f.decode('utf-8'))
 
db.close()

Добавлено через 18 минут
Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Python
1
2
3
4
5
6
7
8
res = cursor.fetchall()
print(str(res))
 
for f in res:
     print(f.decode('utf-8'))
     print(f)
 
db.close()

@SergeiIv · 08.10.2010, 09:40 **[ТС]**

Сообщение от freshmeat

Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Возвращает кортеж записи. Т.е.

Сообщение от freshmeat

res = cursor.fetchall()
print(str(res))

проходит. А :

Сообщение от freshmeat

for f in res:
print(f.decode('utf-8'))
print(f)

выдает ошибку.

Но вот ещё какая тут вариация получилась ))):

Python
1
2
3
4
5
6
7
8
9
10
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sptgw', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
for i in cursor.fetchall():
    x1=repr(i)
    print i
    print i[0]+' '+i[1]
db.close()

результат:

('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2', '\xd0\xa1\xd0\xb5\xd1\x80\xd0\xb3\xd0\xb 5\xd0\xb9')
Ивачев Сергей

Т.е. при печать кортежа print кодировка определяется не понятно, а при извлечении элемента кортежа всё нормально. Почему так, пока вопрос.

Добавлено через 1 минуту
В предыдущем коде x1 не берите во внимание.

@freshmeat · 08.10.2010, 09:44

В кортеже возвращаются значения столбца - их тип я и имел в виду.
Насколько вижу возвращается str

По коду:
тут табуляция д.б. перед print-ами:

Python
1
2
3
for f in res:
    print(f.decode('utf-8'))
    print(f)

Если не SyntaxError, то укажите сообщение об ошибке

Это вариант, когда делается select для одного столбца

Когда печатается кортеж он приводится в str, т.е. символы как есть, элемент кортежа печатается с учетом кодировки

@SergeiIv · 08.10.2010, 13:01 **[ТС]**

Сообщение от freshmeat

Насколько вижу возвращается str

извените freshmeat, я не правильно понял Вас в начале. Да, конечно, строки - famili (фамилия ), name (имя). В базе MySQL кодировка везде (схема, таблица, столбец) utf-8. Строка в таблице sotrudn одна и fetchall возвращает кортеж строки - (Ивачев, Сергей).
И, похоже, реализация команды print обрабатывает по разному кортеж полностью и кортеж по частям. Обрабатывая кортеж единым целом печатает байты, а i[1] конверт. элемент кортежа в строку и, теперь уже, print печатает символы.
Ни каким способом я не смог добиться правильного отображения кортежа полностью. Делал, если не всё то многое:
-ставил в начало текста прогр: #-*- coding: utf-8 -*-
-использовал decode('utf-8')
-в базе менял кодировки и на cp1251 и на cp866 и на utf8
-работая в Wing IDE менял там все возможные настройки (и в Debug I/O - Options - Configure ..., и ...)
-выставил и my.ini skip-character-set-client-handshake
(кстати без этой опции в my.ini вместо букв print выводит ?????????? в любых случаях)

print правильно отобразит кортеж i только так: print i[0]+' '+i[1] и только с параметром
skip-character-set-client-handshake в my.ini

accept · 11.10.2010, 03:01

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> a
'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> t = (a.decode('utf-8'), a.decode('utf-8'))
>>> t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>> print t[0], t[1]
Ивачев Ивачев
>>> print t[0] + t[1]
ИвачевИвачев
>>> print t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>>

это для третьего питона

Python
1
2
3
4
5
6
7
8
9
10
>>> a = b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> a
b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> lst = [a[:], a[:], a[:]]
>>> lst
[b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2', b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2', b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2']
>>> lst = [str(i, encoding='utf-8') for i in lst]
>>> lst
['Ивачев', 'Ивачев', 'Ивачев']
>>>

@SergeiIv · 11.10.2010, 12:11 **[ТС]**

Рабочие варианты:
1) подсказали с др форума:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import MySQLdb
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
 
for f in cursor.fetchall():
    print u' '.join(f)
    print u'%s %s' % f
 
db.close()

2)

Python
1
2
3
4
5
6
7
8
9
10
11
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
 
for i in cursor.fetchall():
    print i[0]+' '+i[1]
    print unicode(' '.join(i), 'utf-8')
 
db.close()

В любом случае в my.ini нужно выставить:
skip-character-set-client-handshake

accept · 12.10.2010, 01:41

Python
1
2
3
4
5
6
7
>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> t = tuple(i.decode('utf-8') for i in (a, a, a))
>>> t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>> print u' '.join(t)
Ивачев Ивачев Ивачев
>>>

вот и ответ

@SergeiIv · 12.10.2010, 13:09 **[ТС]**

Всем большое спасибо за помощь ).

@F(r)an!k · 02.04.2011, 20:19

Скажите, пожалуйста!
как мне установить MySQLdb ??
где взять и как устанавливать???
Заранее спаибо!

@SergeiIv · 03.04.2011, 13:58 **[ТС]**

Тут много что по питону (в том числе и MySQL):http://www.lfd.uci.edu/~gohlke/pythonlibs/
Сам MySQL здесь: http://www.mysql.ru/

@sanches_pba · 19.12.2018, 09:57

db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema', charset='utf8', use_unicode = True)

Должно решить проблему (без танцев с бубном).

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Киев стоит - украинская песня zorxor 28.01.2026 wfWdiRqdTxc О Господи, Вечный, Ты . . . Я помоги, Бесконечный. . . Я прошу Ты. . . Я погибаю, спаси. . . Я прошу Тебя Вечный. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .

@freshmeat 0 / 0 / 0 Регистрация: 07.10.2010 Сообщений: 4
	07.10.2010, 15:19
	Вариант: >>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb 5\xd0\xb2' >>> print(a.decode('utf-8')) Ивачев >>> 0

@SergeiIv 2 / 2 / 0 Регистрация: 06.10.2010 Сообщений: 8
	12.10.2010, 13:09 [ТС]
	Всем большое спасибо за помощь ). 0

@F(r)an!k 31 / 31 / 4 Регистрация: 12.03.2010 Сообщений: 185
	02.04.2011, 20:19
	Скажите, пожалуйста! как мне установить MySQLdb ?? где взять и как устанавливать??? Заранее спаибо! 0

@SergeiIv 2 / 2 / 0 Регистрация: 06.10.2010 Сообщений: 8
	03.04.2011, 13:58 [ТС]
	Тут много что по питону (в том числе и MySQL):http://www.lfd.uci.edu/~gohlke/pythonlibs/ Сам MySQL здесь: http://www.mysql.ru/ 1

@sanches_pba 0 / 0 / 0 Регистрация: 19.12.2018 Сообщений: 1
	19.12.2018, 09:57
	db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema', charset='utf8', use_unicode = True) Должно решить проблему (без танцев с бубном). 0