Exec и кодировки

@dondublon · Регистрация: 17.03.2012

Студворк — интернет-сервис помощи студентам

Всем трям.
Проблема такова. Выполняю скрипт через exec:

Python
1
exec code in {'maps': maps}

maps - словарь, в котором ключи могут содержать русские буквы.
Скрипт юникодный. Пример строки скрипта, выведенной через отладку:

Python
1
u"maps['N\u0442\u0440\u0430\u043cN'] = maps['\u041d\u0425 3-4_bottom'] + maps['\u041d\u0425 3-4_bottom1']"

Тем не менее, команда exec воспринимает его как ascii и ругается:

Code
1
KeyError: '\xd0\x9d\xd0\xa5 3-4_bottom'

Поясняю: там вначале две русские буквы, юникодные двухбайтные, а он их трактует, как 4.

Пытался поиграть с encode-decode - не получилось. На указание "# -*- coding: utf-8 -*-" в начале скрипта выдаёт особую ругань - не хочет он, чтобы у юникодной строки-скрипта указывали кодировку.

В инете смотрел, подобные проблемы народ обсуждает, но применить к моему случаю - не получилось.
Что делать, куды бечь?

Добавлено через 1 час 32 минуты
Да, работаю на винде.

Сделал костыль (для винды).

1. Ключи в словарь кодирую cp1251.
2. Скрипт кодирую так же.
3. После выполнения скрипта ключи из словаря декодирую обратно.

Работает, но

Так что нормальное решение всё ещё интересует.

@alex925 · 11.08.2015, 19:16

Использовать eval и exac во 1 не безопасно, а во 2 от этого могут быть одни проблемы (занижение скорости выполнения кода, в некотрых ситуациях код вообще может не выполняться из-за них и т д), по этому я вообще не рекомендовал бы использовать эту функцию.

@Zuzik · 11.08.2015, 20:36

Сообщение от alex925

в некотрых ситуациях код вообще может не выполняться из-за них

Например?

Сообщение от alex925

по этому я вообще не рекомендовал бы использовать эту функцию.

В моей небольшой, крайне небольшой практике случалось пару случаев когда использование данных функций ( к слову, касается не только питона) сокращало в несколько раз размер кода который нужно было написать, делало его гораздо более простым для понимания. Но как вы и сказали - ее использование не безопасно, так что нужно за этим очень внимательно следить, либо использовать ее в тех случаях когда "она не сможет навредить"

@alex925 · 11.08.2015, 21:53

Сообщение от Zuzik

Например?

вот видео с одной из конф. по python https://www.youtube.com/watch?v=4CsOOfdoU2A, там парень наглядно показывает какие проблемы выплывают из-за использования этих функций.

Сообщение от Zuzik

сокращало в несколько раз размер кода

Короткий путь не значит хороший и правильный. Самый короткий путь с крыши, это прыгнуть с неё, но этот путь очевидно опасный и понесёт негативные последствия.

Сообщение от Zuzik

так что нужно за этим очень внимательно следить, либо использовать ее в тех случаях когда "она не сможет навредить"

Посмотри видео и поймёшь, что самый лучших выход это просто забыть о существовании этих функций.

@dondublon · 12.08.2015, 07:07 **[ТС]**

Сообщение от alex925

Использовать eval и exac во 1 не безопасно, а во 2 от этого могут быть одни проблемы (занижение скорости выполнения кода, в некотрых ситуациях код вообще может не выполняться из-за них и т д), по этому я вообще не рекомендовал бы использовать эту функцию.

Требуется дать пользователю самому рулить с данными, тут ничего не попишешь. Контекст выполнения мы задаём сами, глобалки не трогаем, так что ничего страшного.

По поводу eval - я в курсе, что есть безопасная замена, работающая только с элементарными типами.

@alex925 · 12.08.2015, 11:57

Сообщение от dondublon

Требуется дать пользователю самому рулить с данными

А можешь по подробней рассказать про задачу?

@dondublon · 12.08.2015, 12:20 **[ТС]**

alex925, в программе имеется множество карт.
С ними пользвателю может понадобится делать некоторые действия, как-то - 4 арифметических действия, приведение размеров (сетка может быть разной), сохранить карту в проект (присвоение).
Сравнение с некоторым значением, присвоение по бинарному индексу (то, что так ловко делает numpy)

Любезность за любезность. Чем опасен мой запуск exec?

@alex925 · 12.08.2015, 12:22

Сообщение от dondublon

Любезность за любезность. Чем опасен мой запуск exec?

Видео, ссылку на которое я скинул смотрел?

@dondublon · 12.08.2015, 12:33 **[ТС]**

alex925, нет, я тут не могу видео посмотреть, да и звука нет.
Был бы признателен за текст.

Добавлено через 9 минут
alex925, прочитал вот эту статью
"Be careful with exec and eval in Python"
http://lucumr.pocoo.org/2011/2/1/exec-in-python/

Показывается опасность, что можно запортить глобальный контекст. Ну так я его не трогаю.

@alex925 · 12.08.2015, 12:35

dondublon, В этом видео рассматривается оптимизация приложения и там наглядно показано, как exec и eval замедляют работу программу + из-за exec при использовании pypy, код вообще будет работать бесконечно (в прямом смысле слова)

@dondublon · 12.08.2015, 12:57 **[ТС]**

Не, быстродействие тут не критично.
Что, кстати, ожидаемо - такие участки в eval не помещают. А циклы всё равно всё внутри numpy. Так что всё пучком.

@alex925 · 12.08.2015, 13:02

Ну моё дело предупредить, а дальше делай как знаешь. Вообще сколько ситуаций я не встречал, везде можно было элегантно переписать код без этих функций.

@dondublon · 12.08.2015, 13:18 **[ТС]**

Что значит "переписать код"? Мы же не знаем, какой код понадобится.

Потому и существуют собственные скриптовые возможности в разных программах. VBA, в Автокаде тоже Питон, кажись, and so on.

Новые блоги и статьи Все статьи Все блоги /
Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .	SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	11.08.2015, 19:16
	Использовать eval и exac во 1 не безопасно, а во 2 от этого могут быть одни проблемы (занижение скорости выполнения кода, в некотрых ситуациях код вообще может не выполняться из-за них и т д), по этому я вообще не рекомендовал бы использовать эту функцию. 0

@dondublon 4653 / 2073 / 366 Регистрация: 17.03.2012 Сообщений: 10,183 Записей в блоге: 6
	12.08.2015, 12:20 [ТС]
	alex925, в программе имеется множество карт. С ними пользвателю может понадобится делать некоторые действия, как-то - 4 арифметических действия, приведение размеров (сетка может быть разной), сохранить карту в проект (присвоение). Сравнение с некоторым значением, присвоение по бинарному индексу (то, что так ловко делает numpy) Любезность за любезность. Чем опасен мой запуск exec? 0

@dondublon 4653 / 2073 / 366 Регистрация: 17.03.2012 Сообщений: 10,183 Записей в блоге: 6
	12.08.2015, 12:33 [ТС]
	alex925, нет, я тут не могу видео посмотреть, да и звука нет. Был бы признателен за текст. Добавлено через 9 минут alex925, прочитал вот эту статью "Be careful with exec and eval in Python" http://lucumr.pocoo.org/2011/2/1/exec-in-python/ Показывается опасность, что можно запортить глобальный контекст. Ну так я его не трогаю. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	12.08.2015, 12:35
	dondublon, В этом видео рассматривается оптимизация приложения и там наглядно показано, как exec и eval замедляют работу программу + из-за exec при использовании pypy, код вообще будет работать бесконечно (в прямом смысле слова) 0

@dondublon 4653 / 2073 / 366 Регистрация: 17.03.2012 Сообщений: 10,183 Записей в блоге: 6
	12.08.2015, 12:57 [ТС]
	Не, быстродействие тут не критично. Что, кстати, ожидаемо - такие участки в eval не помещают. А циклы всё равно всё внутри numpy. Так что всё пучком. 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	12.08.2015, 13:02
	Ну моё дело предупредить, а дальше делай как знаешь. Вообще сколько ситуаций я не встречал, везде можно было элегантно переписать код без этих функций. 0

@dondublon 4653 / 2073 / 366 Регистрация: 17.03.2012 Сообщений: 10,183 Записей в блоге: 6
	12.08.2015, 13:18 [ТС]
	Что значит "переписать код"? Мы же не знаем, какой код понадобится. Потому и существуют собственные скриптовые возможности в разных программах. VBA, в Автокаде тоже Питон, кажись, and so on. 0