Увеличиваем скорость Python и уменьшаем потребление памяти

@supmener · Регистрация: 26.06.2013

Если не учитывать, разные советы по увеличению скорости, например замена for на while, то предлагаю знающих людей высказаться, какая из библиотек для увеличения скорости выполнения кода им больше нравится или написать впечатления от тестирования какой-то из них. Также прошу посоветовать библиотеки по уменьшению расхода оперативной памяти, если они есть.

https://nuitka.net/posts/pytho... ndows.html
https://nuitka.net/doc/download.html
https://pypi.org/project/Nuitka/

https://github.com/Nuitka/Nuitka

Build it using
python -m nuitka hello.py
Note

This will prompt you to download a C caching tool (to speed up repeated compilation of generated C code) and a MinGW64 based C compiler unless you have a suitable MSVC installed. Say yes to both those questions.

Создайте его, используя
python -m nuitka hello.py
Примечание

Вам будет предложено загрузить инструмент кэширования C (для ускорения повторной компиляции сгенерированного кода C) и компилятор C на основе MinGW64, если у вас не установлен подходящий MSVC. Скажите «да» на оба этих вопроса.

Nuitka люди используют, чтобы делать exe из кода Пайтон.

======================================== ======

https://github.com/pyston/pyston/releases

https://numba.pydata.org/numba... guide.html

https://downloads.python.org/pypy/

https://cython.org/

Рыжий Лис · 12.08.2022, 11:41

Не по теме:

Гугл перевод :)

@supmener · 12.08.2022, 12:00 **[ТС]**

По ссылке это, где подзаголовок "Eager compilation".

@Fudthhh · 12.08.2022, 13:08

Сообщение от supmener

Можно ли придумать другой пример, более понятный для меня?

То есть сложение двух чисел для тебя лютый хардкор?

@supmener · 12.08.2022, 15:04 **[ТС]**

Не смог пока разобраться в описании к примерам.

@Катафалк · 12.08.2022, 15:50

Сообщение от supmener

Не смог пока разобраться в описании к примерам.

Что непонятного? Сигнатура функции описывает типы аргументов и возвращаемого значения, с которыми она работает. Если не указан тип возвращаемого значения, нумба его придумает за вас.

supmener, вот серьезно, зачем вы этой фигней занимаетесь? Беретесь за задачи, в которых не понимаете ровным счетом ничего. В чем смысл? Даже если вам сейчас по пальцам объяснят, вы же все равно не поймете и забудете объяснение завтра же. Потому что у вас банально нет базовых знаний, чтобы это понять. Вам уже только ленивый на форуме не сказал - надо начинать учиться с основ, а не по рандомным статьям, которые вы можете нагуглить по теме программирования.
То чем вы занимаетесь - это пустая трата времени. Это у вас хобби такое - копаться в абсолютно непонятных вещах без какого либо профита.

@supmener · 12.08.2022, 16:04 **[ТС]**

А базовые знания можно получить, читая литературу не по Пайтон, а по другим языкам программирования?

@Катафалк · 12.08.2022, 16:12

Сообщение от supmener

А базовые знания можно получить, читая литературу не по Пайтон, а по другим языкам программирования?

Можно.

@supmener · 12.08.2022, 16:26 **[ТС]**

А Вы базовые знания приобрели, когда что изучали?

Jabbson · 12.08.2022, 16:29

Не по теме:

Можно на форуме как-то пометить тему для игнорирования? Спрашиваю для друга!

@iSmokeJC · 12.08.2022, 16:44

Не по теме:

Jabbson, юзерскриптом можно

@Welemir1 · 12.08.2022, 17:13

Кликните здесь для просмотра всего текста

Не по теме:

Jabbson, ага так и поверили -мопед не мой)) интересно конечно почему он так себя ведет, чисто из психиатрически-медицинского интереса... Десять лет на форуме, пару лет в теме питона, мне бы просто стыдно стало.

@supmener · 13.08.2022, 08:19 **[ТС]**

Здесь ссылки на русском на разделы официальной документации
https://ru.quish.tv/numba-make... 00x-faster
которые могут быть очень полезны для обучения работе с Numba.

@Welemir1 · 13.08.2022, 10:20

98% никогда не понадобится нумба

Рыжий Лис · 13.08.2022, 10:23

Welemir1, подтверждаю, если нужен именно питон и не хватает скорости numpy, то всегда можно написать модуль для питона. Да хоть на расте.

@supmener · 13.08.2022, 11:40 **[ТС]**

Сообщение от Рыжий Лис

и не хватает скорости numpy,

На числах разве не с приемлемой скоростью работает с Numba?

Добавлено через 8 минут
Совет конечно полезный с учетом того, что не все в Numpy поддерживается.

Добавлено через 1 минуту
Ускоряем Pandas.
https://pandas.pydata.org/pand... gperf.html
https://tedboy.github.io/panda... gperf.html

Добавлено через 47 минут
Ускоряем Tensorflow
https://www.tensorflow.org/xla

@Alli_Lupin · 13.08.2022, 11:52

Да когда вы уже поймёте, что не надо ничего ускорять на тех задачах, которые вы на форме ставили? ускорение и оптимизация нужны только тогда, когда есть сложные вычисления (формула преобразования занимает не менее листа в обычной тетради), или данных действительно много. От 500 000 записей в датасете. Во всех остальных случаях дешевле не ускорять.

@supmener · 13.08.2022, 12:09 **[ТС]**

Хочу уметь писать код с учетом масштабируемости.

@iSmokeJC · 13.08.2022, 12:12

Сначала научись без учета вообще чего-либо

@Alli_Lupin · 13.08.2022, 12:19

Сообщение от supmener

с учетом масштабируемости

масштабируемость вообще никак не пересекается с ускорением. Вот просто никак.

Рыжий Лис · 13.08.2022, 12:33

Сообщение от Alli_Lupin

масштабируемость вообще никак не пересекается с ускорением. Вот просто никак.

Может, я не понимаю термин "масштабируемость", но есть вертикально и горизонтальное масштабирование.

Вертикальное увеличивается как раз за счёт оптимизации кода, использования более производительных процессоров.

Горизонтальное: распараллеливание за счёт увеличения числа ядер процессоров/числа процессоров/машин/нод.

Второе более проще и более сложно одновременно, так как уже начинаются самые настоящие распределённые вычисления. С различной степенью децентрализации.

Но общую идею я поддерживаю: любимый код - домашнего питомца - можно лелеять и тратить время и усилия, чтобы он работал быстрее, но на проде неработающий код пристреливают, как скот.

Новые блоги и статьи Все статьи Все блоги /
Клиент Uhbif79 18.06.2026 Здесь простой клиент для работы с сервером.	Сервер Uhbif79 18.06.2026 Выкладываю простейший сервер.	Дефенестрация kumehtar 18.06.2026 Узнал интересное слово. Дефенестрация. Это когда ты выбрасываешь кого-либо или что-либо из окна. Возьму на вооружение)))	Дихотомия добра и зла kumehtar 18.06.2026 Как Дзен-буддисты говорят о добре и зле: не нужно воевать против зла, нужно воевать против невежества. Тогда добро станет ествественным, и поэтому вечным. Но дело в том, что невежество всё время. . .
Своя Интернет-Компания iceja 18.06.2026 Я программист с экономическим образованием, пишу свой проект, это SaaS для бизнесов. Мне нужен co-founder с высшим экономическим образованием, и/ или инвестор. Сейчас проект в интенсивной разработке,. . .	24 Мат модель здравосохранения: функциональные требования к строительству пищеблока anaschu 18.06.2026 СРесурсами1: финансовый SD-контур, калькулятор функциональных требований пищеблока Сегодня разделили затраты в агенте Экономика по образцу модели НАСОСЫ, добавили расчёт ROI и построили первый. . .	23. что сделано за последнее время. anaschu 17.06.2026 • Эталон: Клиника НИИ питания РАМН, Москва — централизованный пищеблок, 225 коек, 180 пациентов • Git: репозиторий med2, ветка абсентеизм. Рабочий файл: СРесурсами1_v4. alp • Смежный проект:. . .	22. Подключение слоя системной динамики (потоковые диффуры): экономические метрики модели anaschu 17.06.2026 Апдейт модели: финансовый контур, разделение затрат Продолжаю развивать модель рабочего коллектива на AnyLogic. В этот раз работа шла над агентом Экономика — финансовым SD-слоем модели. Задача:. . .

Рыжий Лис
	12.08.2022, 11:41
	Не по теме: Гугл перевод :) 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 12:00 [ТС]
	По ссылке это, где подзаголовок "Eager compilation". 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 15:04 [ТС]
	Не смог пока разобраться в описании к примерам. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 16:04 [ТС]
	А базовые знания можно получить, читая литературу не по Пайтон, а по другим языкам программирования? 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	12.08.2022, 16:26 [ТС]
	А Вы базовые знания приобрели, когда что изучали? 0

Jabbson
	12.08.2022, 16:29
	Не по теме: Можно на форуме как-то пометить тему для игнорирования? Спрашиваю для друга! 0

@iSmokeJC
	12.08.2022, 16:44
	Не по теме: Jabbson, юзерскриптом можно 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,696 Записей в блоге: 29
	12.08.2022, 17:13
	Кликните здесь для просмотра всего текста Не по теме: Jabbson, ага так и поверили -мопед не мой)) интересно конечно почему он так себя ведет, чисто из психиатрически-медицинского интереса... Десять лет на форуме, пару лет в теме питона, мне бы просто стыдно стало. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	13.08.2022, 08:19 [ТС]
	Здесь ссылки на русском на разделы официальной документации https://ru.quish.tv/numba-make... 00x-faster которые могут быть очень полезны для обучения работе с Numba. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,696 Записей в блоге: 29
	13.08.2022, 10:20
	98% никогда не понадобится нумба 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	13.08.2022, 10:23
	Welemir1, подтверждаю, если нужен именно питон и не хватает скорости numpy, то всегда можно написать модуль для питона. Да хоть на расте. 1

@Alli_Lupin 5044 / 1071 / 149 Регистрация: 29.01.2013 Сообщений: 6,257
	13.08.2022, 11:52
	Да когда вы уже поймёте, что не надо ничего ускорять на тех задачах, которые вы на форме ставили? ускорение и оптимизация нужны только тогда, когда есть сложные вычисления (формула преобразования занимает не менее листа в обычной тетради), или данных действительно много. От 500 000 записей в датасете. Во всех остальных случаях дешевле не ускорять. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	13.08.2022, 12:09 [ТС]
	Хочу уметь писать код с учетом масштабируемости. 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	13.08.2022, 12:12
	Сначала научись без учета вообще чего-либо 2