Кодировки, регулярные выражения

@ivitaliy · Регистрация: 29.08.2015

Студворк — интернет-сервис помощи студентам

Вопрос, наверное, глупый, но уже надоело бороться с кодировками. Почему при выполнении регулярного выражения нарушается кириллица? Как это исправить?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
#!/usr/bin/python
# -*- coding: utf-8 -*-
 
import re
 
txt = """&Какой-то текст, и еще текст!?"""
txt = txt.lower()
txt = re.sub('[^0-9а-яa-z\s]*', '', txt)
 
print txt
f = open("res.txt","w")
f.write(txt)
f.close()

@dondublon · 04.09.2015, 14:22

А у вас там честно utf-8?

@ivitaliy · 04.09.2015, 14:30 **[ТС]**

Честно

@hda1 · 04.09.2015, 16:17

Добавьте u перед строками:
txt = u"""&Какой-то текст, и еще текст!?"""
и
txt = re.sub(u'[^0-9а-яa-z\s]*', '', txt)

или используйте unicode:
txt = unicode("""&Какой-то текст, и еще текст!?""", "UTF-8")
и
txt = re.sub(unicode('[^0-9а-яa-z\s]*', "UTF-8"), '', txt)

@ivitaliy · 04.09.2015, 16:34 **[ТС]**

hda1, благодарю, догадывался, что все должно быть просто, но "методом тыка" уже голову сломал.

Новые блоги и статьи Все статьи Все блоги /
Программный отбор элементов справочника Номенклатура по группе 1С Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор под наименованию группы (на. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .	Программный отбор элементов справочника Сотрудники по перечислениям 1С Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит предопределенное значение перечислений. Процедура. . .
Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .

@dondublon 4653 / 2073 / 366 Регистрация: 17.03.2012 Сообщений: 10,183 Записей в блоге: 6
	04.09.2015, 14:22
	А у вас там честно utf-8? 0

@ivitaliy 34 / 20 / 9 Регистрация: 29.08.2015 Сообщений: 87
	04.09.2015, 14:30 [ТС]
	Честно Миниатюры 0

@hda1 0 / 0 / 1 Регистрация: 02.09.2015 Сообщений: 2
	04.09.2015, 16:17
	Сообщение было отмечено ivitaliy как решение Решение Добавьте u перед строками: txt = u"""&Какой-то текст, и еще текст!?""" и txt = re.sub(u'[^0-9а-яa-z\s]', '', txt) или используйте unicode: txt = unicode("""&Какой-то текст, и еще текст!?""", "UTF-8") и txt = re.sub(unicode('[^0-9а-яa-z\s]', "UTF-8"), '', txt) 0

@ivitaliy 34 / 20 / 9 Регистрация: 29.08.2015 Сообщений: 87
	04.09.2015, 16:34 [ТС]
	hda1, благодарю, догадывался, что все должно быть просто, но "методом тыка" уже голову сломал. 0

Кодировки, регулярные выражения

Решение