Неправильно отображение русских букв в Python при запросе из MySQL

@SergeiIv · Регистрация: 06.10.2010

Студворк — интернет-сервис помощи студентам

В базе MySQL в табл sotrudn одна запись и в поле famili значение "Ивачев".
В my.ini:

[mysql]
default-character-set=utf8

И схема, и таблица, и столбец имеют кодировку utf8

Вот простенькая прога в Pytone:

Python
1
2
3
4
5
6
7
8
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
    print repr(i)
db.close()

Вот результат:

('??????',)

Подставляю в my.ini

[mysqld]
skip-character-set-client-handshake

получаю:

('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2',)

Все "битвы" проиграл. Может кто поможет )?

accept · 07.10.2010, 04:02

в начале скрипта попробуй
на первой или второй строке файла

Python
1
# -*- coding: utf-8 -*-

@freshmeat · 07.10.2010, 15:19

Вариант:

>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb 5\xd0\xb2'
>>> print(a.decode('utf-8'))
Ивачев
>>>

@SergeiIv · 08.10.2010, 08:35 **[ТС]**

Всё вышепредложенное не работает, хотя большое спасибо за варианты.
По ответу freshmeat:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
# так fetchall возвращает кортеж
    aa=repr(i)[2:50]
    print i
    print aa
    print(aa.decode('utf-8'))
# и вариант  freshmeat
a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
print(a.decode('utf-8'))
db.close()
 
результат:
 
('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2',)
\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2
\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2
Ивачев
 
Победил проблему так:
import MySQLdb
#import _mysql
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sptgw', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
    aa=eval(repr(i)[1:51])
    print i
    print aa
a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
print(a.decode('utf-8'))
db.close()

результат:
('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2',)
Ивачев
Ивачев

Хотя это искусственное решение проблемы, хотя сама проблема осталось и как решать её пока не знаю.
Хочу ещё заметить, что вся эта бодяга по WinXP.

@freshmeat · 08.10.2010, 09:18

Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Python
1
2
3
4
5
6
7
res = cursor.fetchall()
print(str(res))
 
for f in res:
    print(f.decode('utf-8'))
 
db.close()

Добавлено через 18 минут
Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Python
1
2
3
4
5
6
7
8
res = cursor.fetchall()
print(str(res))
 
for f in res:
     print(f.decode('utf-8'))
     print(f)
 
db.close()

@SergeiIv · 08.10.2010, 09:40 **[ТС]**

Сообщение от freshmeat

Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Возвращает кортеж записи. Т.е.

Сообщение от freshmeat

res = cursor.fetchall()
print(str(res))

проходит. А :

Сообщение от freshmeat

for f in res:
print(f.decode('utf-8'))
print(f)

выдает ошибку.

Но вот ещё какая тут вариация получилась ))):

Python
1
2
3
4
5
6
7
8
9
10
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sptgw', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
for i in cursor.fetchall():
    x1=repr(i)
    print i
    print i[0]+' '+i[1]
db.close()

результат:

('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2', '\xd0\xa1\xd0\xb5\xd1\x80\xd0\xb3\xd0\xb 5\xd0\xb9')
Ивачев Сергей

Т.е. при печать кортежа print кодировка определяется не понятно, а при извлечении элемента кортежа всё нормально. Почему так, пока вопрос.

Добавлено через 1 минуту
В предыдущем коде x1 не берите во внимание.

@freshmeat · 08.10.2010, 09:44

В кортеже возвращаются значения столбца - их тип я и имел в виду.
Насколько вижу возвращается str

По коду:
тут табуляция д.б. перед print-ами:

Python
1
2
3
for f in res:
    print(f.decode('utf-8'))
    print(f)

Если не SyntaxError, то укажите сообщение об ошибке

Это вариант, когда делается select для одного столбца

Когда печатается кортеж он приводится в str, т.е. символы как есть, элемент кортежа печатается с учетом кодировки

@SergeiIv · 08.10.2010, 13:01 **[ТС]**

Сообщение от freshmeat

Насколько вижу возвращается str

извените freshmeat, я не правильно понял Вас в начале. Да, конечно, строки - famili (фамилия ), name (имя). В базе MySQL кодировка везде (схема, таблица, столбец) utf-8. Строка в таблице sotrudn одна и fetchall возвращает кортеж строки - (Ивачев, Сергей).
И, похоже, реализация команды print обрабатывает по разному кортеж полностью и кортеж по частям. Обрабатывая кортеж единым целом печатает байты, а i[1] конверт. элемент кортежа в строку и, теперь уже, print печатает символы.
Ни каким способом я не смог добиться правильного отображения кортежа полностью. Делал, если не всё то многое:
-ставил в начало текста прогр: #-*- coding: utf-8 -*-
-использовал decode('utf-8')
-в базе менял кодировки и на cp1251 и на cp866 и на utf8
-работая в Wing IDE менял там все возможные настройки (и в Debug I/O - Options - Configure ..., и ...)
-выставил и my.ini skip-character-set-client-handshake
(кстати без этой опции в my.ini вместо букв print выводит ?????????? в любых случаях)

print правильно отобразит кортеж i только так: print i[0]+' '+i[1] и только с параметром
skip-character-set-client-handshake в my.ini

accept · 11.10.2010, 03:01

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> a
'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> t = (a.decode('utf-8'), a.decode('utf-8'))
>>> t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>> print t[0], t[1]
Ивачев Ивачев
>>> print t[0] + t[1]
ИвачевИвачев
>>> print t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>>

это для третьего питона

Python
1
2
3
4
5
6
7
8
9
10
>>> a = b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> a
b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> lst = [a[:], a[:], a[:]]
>>> lst
[b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2', b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2', b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2']
>>> lst = [str(i, encoding='utf-8') for i in lst]
>>> lst
['Ивачев', 'Ивачев', 'Ивачев']
>>>

@SergeiIv · 11.10.2010, 12:11 **[ТС]**

Рабочие варианты:
1) подсказали с др форума:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import MySQLdb
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
 
for f in cursor.fetchall():
    print u' '.join(f)
    print u'%s %s' % f
 
db.close()

2)

Python
1
2
3
4
5
6
7
8
9
10
11
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
 
for i in cursor.fetchall():
    print i[0]+' '+i[1]
    print unicode(' '.join(i), 'utf-8')
 
db.close()

В любом случае в my.ini нужно выставить:
skip-character-set-client-handshake

accept · 12.10.2010, 01:41

Python
1
2
3
4
5
6
7
>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> t = tuple(i.decode('utf-8') for i in (a, a, a))
>>> t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>> print u' '.join(t)
Ивачев Ивачев Ивачев
>>>

вот и ответ

@SergeiIv · 12.10.2010, 13:09 **[ТС]**

Всем большое спасибо за помощь ).

@F(r)an!k · 02.04.2011, 20:19

Скажите, пожалуйста!
как мне установить MySQLdb ??
где взять и как устанавливать???
Заранее спаибо!

@SergeiIv · 03.04.2011, 13:58 **[ТС]**

Тут много что по питону (в том числе и MySQL):http://www.lfd.uci.edu/~gohlke/pythonlibs/
Сам MySQL здесь: http://www.mysql.ru/

@sanches_pba · 19.12.2018, 09:57

db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema', charset='utf8', use_unicode = True)

Должно решить проблему (без танцев с бубном).

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@freshmeat 0 / 0 / 0 Регистрация: 07.10.2010 Сообщений: 4
	07.10.2010, 15:19
	Вариант: >>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb 5\xd0\xb2' >>> print(a.decode('utf-8')) Ивачев >>> 0

@SergeiIv 2 / 2 / 0 Регистрация: 06.10.2010 Сообщений: 8
	12.10.2010, 13:09 [ТС]
	Всем большое спасибо за помощь ). 0

@F(r)an!k 31 / 31 / 4 Регистрация: 12.03.2010 Сообщений: 185
	02.04.2011, 20:19
	Скажите, пожалуйста! как мне установить MySQLdb ?? где взять и как устанавливать??? Заранее спаибо! 0

@SergeiIv 2 / 2 / 0 Регистрация: 06.10.2010 Сообщений: 8
	03.04.2011, 13:58 [ТС]
	Тут много что по питону (в том числе и MySQL):http://www.lfd.uci.edu/~gohlke/pythonlibs/ Сам MySQL здесь: http://www.mysql.ru/ 1

@sanches_pba 0 / 0 / 0 Регистрация: 19.12.2018 Сообщений: 1
	19.12.2018, 09:57
	db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema', charset='utf8', use_unicode = True) Должно решить проблему (без танцев с бубном). 0