Увеличиваем скорость Python и уменьшаем потребление памяти

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Если не учитывать, разные советы по увеличению скорости, например замена for на while, то предлагаю знающих людей высказаться, какая из библиотек для увеличения скорости выполнения кода им больше нравится или написать впечатления от тестирования какой-то из них. Также прошу посоветовать библиотеки по уменьшению расхода оперативной памяти, если они есть.

https://nuitka.net/posts/pytho... ndows.html
https://nuitka.net/doc/download.html
https://pypi.org/project/Nuitka/

https://github.com/Nuitka/Nuitka

Build it using
python -m nuitka hello.py
Note

This will prompt you to download a C caching tool (to speed up repeated compilation of generated C code) and a MinGW64 based C compiler unless you have a suitable MSVC installed. Say yes to both those questions.

Создайте его, используя
python -m nuitka hello.py
Примечание

Вам будет предложено загрузить инструмент кэширования C (для ускорения повторной компиляции сгенерированного кода C) и компилятор C на основе MinGW64, если у вас не установлен подходящий MSVC. Скажите «да» на оба этих вопроса.

Nuitka люди используют, чтобы делать exe из кода Пайтон.

======================================== ======

https://github.com/pyston/pyston/releases

https://numba.pydata.org/numba... guide.html

https://downloads.python.org/pypy/

https://cython.org/

Рыжий Лис · 12.08.2022, 11:41

Не по теме:

Гугл перевод :)

@supmener · 12.08.2022, 12:00 **[ТС]**

По ссылке это, где подзаголовок "Eager compilation".

@Fudthhh · 12.08.2022, 13:08

Сообщение от supmener

Можно ли придумать другой пример, более понятный для меня?

То есть сложение двух чисел для тебя лютый хардкор?

@supmener · 12.08.2022, 15:04 **[ТС]**

Не смог пока разобраться в описании к примерам.

@Катафалк · 12.08.2022, 15:50

Сообщение от supmener

Не смог пока разобраться в описании к примерам.

Что непонятного? Сигнатура функции описывает типы аргументов и возвращаемого значения, с которыми она работает. Если не указан тип возвращаемого значения, нумба его придумает за вас.

supmener, вот серьезно, зачем вы этой фигней занимаетесь? Беретесь за задачи, в которых не понимаете ровным счетом ничего. В чем смысл? Даже если вам сейчас по пальцам объяснят, вы же все равно не поймете и забудете объяснение завтра же. Потому что у вас банально нет базовых знаний, чтобы это понять. Вам уже только ленивый на форуме не сказал - надо начинать учиться с основ, а не по рандомным статьям, которые вы можете нагуглить по теме программирования.
То чем вы занимаетесь - это пустая трата времени. Это у вас хобби такое - копаться в абсолютно непонятных вещах без какого либо профита.

@supmener · 12.08.2022, 16:04 **[ТС]**

А базовые знания можно получить, читая литературу не по Пайтон, а по другим языкам программирования?

@Катафалк · 12.08.2022, 16:12

Сообщение от supmener

А базовые знания можно получить, читая литературу не по Пайтон, а по другим языкам программирования?

Можно.

@supmener · 12.08.2022, 16:26 **[ТС]**

А Вы базовые знания приобрели, когда что изучали?

Jabbson · 12.08.2022, 16:29

Не по теме:

Можно на форуме как-то пометить тему для игнорирования? Спрашиваю для друга!

@iSmokeJC · 12.08.2022, 16:44

Не по теме:

Jabbson, юзерскриптом можно

@Welemir1 · 12.08.2022, 17:13

Кликните здесь для просмотра всего текста

Не по теме:

Jabbson, ага так и поверили -мопед не мой)) интересно конечно почему он так себя ведет, чисто из психиатрически-медицинского интереса... Десять лет на форуме, пару лет в теме питона, мне бы просто стыдно стало.

@supmener · 13.08.2022, 08:19 **[ТС]**

Здесь ссылки на русском на разделы официальной документации
https://ru.quish.tv/numba-make... 00x-faster
которые могут быть очень полезны для обучения работе с Numba.

@Welemir1 · 13.08.2022, 10:20

98% никогда не понадобится нумба

Рыжий Лис · 13.08.2022, 10:23

Welemir1, подтверждаю, если нужен именно питон и не хватает скорости numpy, то всегда можно написать модуль для питона. Да хоть на расте.

@supmener · 13.08.2022, 11:40 **[ТС]**

Сообщение от Рыжий Лис

и не хватает скорости numpy,

На числах разве не с приемлемой скоростью работает с Numba?

Добавлено через 8 минут
Совет конечно полезный с учетом того, что не все в Numpy поддерживается.

Добавлено через 1 минуту
Ускоряем Pandas.
https://pandas.pydata.org/pand... gperf.html
https://tedboy.github.io/panda... gperf.html

Добавлено через 47 минут
Ускоряем Tensorflow
https://www.tensorflow.org/xla

@Alli_Lupin · 13.08.2022, 11:52

Да когда вы уже поймёте, что не надо ничего ускорять на тех задачах, которые вы на форме ставили? ускорение и оптимизация нужны только тогда, когда есть сложные вычисления (формула преобразования занимает не менее листа в обычной тетради), или данных действительно много. От 500 000 записей в датасете. Во всех остальных случаях дешевле не ускорять.

@supmener · 13.08.2022, 12:09 **[ТС]**

Хочу уметь писать код с учетом масштабируемости.

@iSmokeJC · 13.08.2022, 12:12

Сначала научись без учета вообще чего-либо

@Alli_Lupin · 13.08.2022, 12:19

Сообщение от supmener

с учетом масштабируемости

масштабируемость вообще никак не пересекается с ускорением. Вот просто никак.

Рыжий Лис · 13.08.2022, 12:33

Сообщение от Alli_Lupin

масштабируемость вообще никак не пересекается с ускорением. Вот просто никак.

Может, я не понимаю термин "масштабируемость", но есть вертикально и горизонтальное масштабирование.

Вертикальное увеличивается как раз за счёт оптимизации кода, использования более производительных процессоров.

Горизонтальное: распараллеливание за счёт увеличения числа ядер процессоров/числа процессоров/машин/нод.

Второе более проще и более сложно одновременно, так как уже начинаются самые настоящие распределённые вычисления. С различной степенью децентрализации.

Но общую идею я поддерживаю: любимый код - домашнего питомца - можно лелеять и тратить время и усилия, чтобы он работал быстрее, но на проде неработающий код пристреливают, как скот.

Новые блоги и статьи Все статьи Все блоги /
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ" Adler 06.10.2026 Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .

Рыжий Лис
	12.08.2022, 11:41
	Не по теме: Гугл перевод :) 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 12:00 [ТС]
	По ссылке это, где подзаголовок "Eager compilation". 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 15:04 [ТС]
	Не смог пока разобраться в описании к примерам. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 16:04 [ТС]
	А базовые знания можно получить, читая литературу не по Пайтон, а по другим языкам программирования? 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 16:26 [ТС]
	А Вы базовые знания приобрели, когда что изучали? 0

Jabbson
	12.08.2022, 16:29
	Не по теме: Можно на форуме как-то пометить тему для игнорирования? Спрашиваю для друга! 0

@iSmokeJC
	12.08.2022, 16:44
	Не по теме: Jabbson, юзерскриптом можно 0

@Welemir1 Автоматизируй это! 7393 / 4820 / 1246 Регистрация: 30.03.2015 Сообщений: 13,703 Записей в блоге: 29
	12.08.2022, 17:13
	Кликните здесь для просмотра всего текста Не по теме: Jabbson, ага так и поверили -мопед не мой)) интересно конечно почему он так себя ведет, чисто из психиатрически-медицинского интереса... Десять лет на форуме, пару лет в теме питона, мне бы просто стыдно стало. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	13.08.2022, 08:19 [ТС]
	Здесь ссылки на русском на разделы официальной документации https://ru.quish.tv/numba-make... 00x-faster которые могут быть очень полезны для обучения работе с Numba. 0

@Welemir1 Автоматизируй это! 7393 / 4820 / 1246 Регистрация: 30.03.2015 Сообщений: 13,703 Записей в блоге: 29
	13.08.2022, 10:20
	98% никогда не понадобится нумба 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	13.08.2022, 10:23
	Welemir1, подтверждаю, если нужен именно питон и не хватает скорости numpy, то всегда можно написать модуль для питона. Да хоть на расте. 1

@Alli_Lupin 5184 / 1074 / 150 Регистрация: 29.01.2013 Сообщений: 6,263
	13.08.2022, 11:52
	Да когда вы уже поймёте, что не надо ничего ускорять на тех задачах, которые вы на форме ставили? ускорение и оптимизация нужны только тогда, когда есть сложные вычисления (формула преобразования занимает не менее листа в обычной тетради), или данных действительно много. От 500 000 записей в датасете. Во всех остальных случаях дешевле не ускорять. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	13.08.2022, 12:09 [ТС]
	Хочу уметь писать код с учетом масштабируемости. 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	13.08.2022, 12:12
	Сначала научись без учета вообще чего-либо 2