Неправильно отображение русских букв в Python при запросе из MySQL

@SergeiIv · Регистрация: 06.10.2010

Студворк — интернет-сервис помощи студентам

В базе MySQL в табл sotrudn одна запись и в поле famili значение "Ивачев".
В my.ini:

[mysql]
default-character-set=utf8

И схема, и таблица, и столбец имеют кодировку utf8

Вот простенькая прога в Pytone:

Python
1
2
3
4
5
6
7
8
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
    print repr(i)
db.close()

Вот результат:

('??????',)

Подставляю в my.ini

[mysqld]
skip-character-set-client-handshake

получаю:

('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2',)

Все "битвы" проиграл. Может кто поможет )?

accept · 07.10.2010, 04:02

в начале скрипта попробуй
на первой или второй строке файла

Python
1
# -*- coding: utf-8 -*-

@freshmeat · 07.10.2010, 15:19

Вариант:

>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb 5\xd0\xb2'
>>> print(a.decode('utf-8'))
Ивачев
>>>

@SergeiIv · 08.10.2010, 08:35 **[ТС]**

Всё вышепредложенное не работает, хотя большое спасибо за варианты.
По ответу freshmeat:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
# так fetchall возвращает кортеж
    aa=repr(i)[2:50]
    print i
    print aa
    print(aa.decode('utf-8'))
# и вариант  freshmeat
a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
print(a.decode('utf-8'))
db.close()
 
результат:
 
('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2',)
\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2
\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2
Ивачев
 
Победил проблему так:
import MySQLdb
#import _mysql
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sptgw', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili from sotrudn")
for i in cursor.fetchall():
    aa=eval(repr(i)[1:51])
    print i
    print aa
a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
print(a.decode('utf-8'))
db.close()

результат:
('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2',)
Ивачев
Ивачев

Хотя это искусственное решение проблемы, хотя сама проблема осталось и как решать её пока не знаю.
Хочу ещё заметить, что вся эта бодяга по WinXP.

@freshmeat · 08.10.2010, 09:18

Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Python
1
2
3
4
5
6
7
res = cursor.fetchall()
print(str(res))
 
for f in res:
    print(f.decode('utf-8'))
 
db.close()

Добавлено через 18 минут
Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Python
1
2
3
4
5
6
7
8
res = cursor.fetchall()
print(str(res))
 
for f in res:
     print(f.decode('utf-8'))
     print(f)
 
db.close()

@SergeiIv · 08.10.2010, 09:40 **[ТС]**

Сообщение от freshmeat

Какой тип возвращается в кортеже fetchall ? Строки или unicode ?

Возвращает кортеж записи. Т.е.

Сообщение от freshmeat

res = cursor.fetchall()
print(str(res))

проходит. А :

Сообщение от freshmeat

for f in res:
print(f.decode('utf-8'))
print(f)

выдает ошибку.

Но вот ещё какая тут вариация получилась ))):

Python
1
2
3
4
5
6
7
8
9
10
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sptgw', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
for i in cursor.fetchall():
    x1=repr(i)
    print i
    print i[0]+' '+i[1]
db.close()

результат:

('\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\x b5\xd0\xb2', '\xd0\xa1\xd0\xb5\xd1\x80\xd0\xb3\xd0\xb 5\xd0\xb9')
Ивачев Сергей

Т.е. при печать кортежа print кодировка определяется не понятно, а при извлечении элемента кортежа всё нормально. Почему так, пока вопрос.

Добавлено через 1 минуту
В предыдущем коде x1 не берите во внимание.

@freshmeat · 08.10.2010, 09:44

В кортеже возвращаются значения столбца - их тип я и имел в виду.
Насколько вижу возвращается str

По коду:
тут табуляция д.б. перед print-ами:

Python
1
2
3
for f in res:
    print(f.decode('utf-8'))
    print(f)

Если не SyntaxError, то укажите сообщение об ошибке

Это вариант, когда делается select для одного столбца

Когда печатается кортеж он приводится в str, т.е. символы как есть, элемент кортежа печатается с учетом кодировки

@SergeiIv · 08.10.2010, 13:01 **[ТС]**

Сообщение от freshmeat

Насколько вижу возвращается str

извените freshmeat, я не правильно понял Вас в начале. Да, конечно, строки - famili (фамилия ), name (имя). В базе MySQL кодировка везде (схема, таблица, столбец) utf-8. Строка в таблице sotrudn одна и fetchall возвращает кортеж строки - (Ивачев, Сергей).
И, похоже, реализация команды print обрабатывает по разному кортеж полностью и кортеж по частям. Обрабатывая кортеж единым целом печатает байты, а i[1] конверт. элемент кортежа в строку и, теперь уже, print печатает символы.
Ни каким способом я не смог добиться правильного отображения кортежа полностью. Делал, если не всё то многое:
-ставил в начало текста прогр: #-*- coding: utf-8 -*-
-использовал decode('utf-8')
-в базе менял кодировки и на cp1251 и на cp866 и на utf8
-работая в Wing IDE менял там все возможные настройки (и в Debug I/O - Options - Configure ..., и ...)
-выставил и my.ini skip-character-set-client-handshake
(кстати без этой опции в my.ini вместо букв print выводит ?????????? в любых случаях)

print правильно отобразит кортеж i только так: print i[0]+' '+i[1] и только с параметром
skip-character-set-client-handshake в my.ini

accept · 11.10.2010, 03:01

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> a
'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> t = (a.decode('utf-8'), a.decode('utf-8'))
>>> t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>> print t[0], t[1]
Ивачев Ивачев
>>> print t[0] + t[1]
ИвачевИвачев
>>> print t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>>

это для третьего питона

Python
1
2
3
4
5
6
7
8
9
10
>>> a = b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> a
b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> lst = [a[:], a[:], a[:]]
>>> lst
[b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2', b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2', b'\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2']
>>> lst = [str(i, encoding='utf-8') for i in lst]
>>> lst
['Ивачев', 'Ивачев', 'Ивачев']
>>>

@SergeiIv · 11.10.2010, 12:11 **[ТС]**

Рабочие варианты:
1) подсказали с др форума:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import MySQLdb
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
 
for f in cursor.fetchall():
    print u' '.join(f)
    print u'%s %s' % f
 
db.close()

2)

Python
1
2
3
4
5
6
7
8
9
10
11
import MySQLdb
 
db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema')
cursor= db.cursor()
cursor.execute("select famili, name from sotrudn")
 
for i in cursor.fetchall():
    print i[0]+' '+i[1]
    print unicode(' '.join(i), 'utf-8')
 
db.close()

В любом случае в my.ini нужно выставить:
skip-character-set-client-handshake

accept · 12.10.2010, 01:41

Python
1
2
3
4
5
6
7
>>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb5\xd0\xb2'
>>> t = tuple(i.decode('utf-8') for i in (a, a, a))
>>> t
(u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432', u'\u0418\u0432\u0430\u0447\u0435\u0432')
>>> print u' '.join(t)
Ивачев Ивачев Ивачев
>>>

вот и ответ

@SergeiIv · 12.10.2010, 13:09 **[ТС]**

Всем большое спасибо за помощь ).

@F(r)an!k · 02.04.2011, 20:19

Скажите, пожалуйста!
как мне установить MySQLdb ??
где взять и как устанавливать???
Заранее спаибо!

@SergeiIv · 03.04.2011, 13:58 **[ТС]**

Тут много что по питону (в том числе и MySQL):http://www.lfd.uci.edu/~gohlke/pythonlibs/
Сам MySQL здесь: http://www.mysql.ru/

@sanches_pba · 19.12.2018, 09:57

db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema', charset='utf8', use_unicode = True)

Должно решить проблему (без танцев с бубном).

Новые блоги и статьи Все статьи Все блоги /
Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .	Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .

@freshmeat 0 / 0 / 0 Регистрация: 07.10.2010 Сообщений: 4
	07.10.2010, 15:19
	Вариант: >>> a = '\xd0\x98\xd0\xb2\xd0\xb0\xd1\x87\xd0\xb 5\xd0\xb2' >>> print(a.decode('utf-8')) Ивачев >>> 0

@SergeiIv 2 / 2 / 0 Регистрация: 06.10.2010 Сообщений: 8
	12.10.2010, 13:09 [ТС]
	Всем большое спасибо за помощь ). 0

@F(r)an!k 31 / 31 / 4 Регистрация: 12.03.2010 Сообщений: 185
	02.04.2011, 20:19
	Скажите, пожалуйста! как мне установить MySQLdb ?? где взять и как устанавливать??? Заранее спаибо! 0

@SergeiIv 2 / 2 / 0 Регистрация: 06.10.2010 Сообщений: 8
	03.04.2011, 13:58 [ТС]
	Тут много что по питону (в том числе и MySQL):http://www.lfd.uci.edu/~gohlke/pythonlibs/ Сам MySQL здесь: http://www.mysql.ru/ 1

@sanches_pba 0 / 0 / 0 Регистрация: 19.12.2018 Сообщений: 1
	19.12.2018, 09:57
	db= MySQLdb.connect(host='localhost', user='newuser', passwd='sssss', db='new_schema', charset='utf8', use_unicode = True) Должно решить проблему (без танцев с бубном). 0