Увеличиваем скорость Python и уменьшаем потребление памяти

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Если не учитывать, разные советы по увеличению скорости, например замена for на while, то предлагаю знающих людей высказаться, какая из библиотек для увеличения скорости выполнения кода им больше нравится или написать впечатления от тестирования какой-то из них. Также прошу посоветовать библиотеки по уменьшению расхода оперативной памяти, если они есть.

https://nuitka.net/posts/pytho... ndows.html
https://nuitka.net/doc/download.html
https://pypi.org/project/Nuitka/

https://github.com/Nuitka/Nuitka

Build it using
python -m nuitka hello.py
Note

This will prompt you to download a C caching tool (to speed up repeated compilation of generated C code) and a MinGW64 based C compiler unless you have a suitable MSVC installed. Say yes to both those questions.

Создайте его, используя
python -m nuitka hello.py
Примечание

Вам будет предложено загрузить инструмент кэширования C (для ускорения повторной компиляции сгенерированного кода C) и компилятор C на основе MinGW64, если у вас не установлен подходящий MSVC. Скажите «да» на оба этих вопроса.

Nuitka люди используют, чтобы делать exe из кода Пайтон.

======================================== ======

https://github.com/pyston/pyston/releases

https://numba.pydata.org/numba... guide.html

https://downloads.python.org/pypy/

https://cython.org/

Рыжий Лис · 01.08.2022, 18:19

Не по теме:

Если отладка - это процесс удаления ошибок из кода, тогда программирование - это процесс добавления ошибок.

Следовательно, идеальный код - это тот, который ещё не написан.

"No code is better than no code."

@supmener · 01.08.2022, 18:27 **[ТС]**

Если Вы пишете for в циклах, советуют заменить на while, если важна скорость кода. Что Вы думаете по этому поводу?

Jabbson · 01.08.2022, 18:33

Ясно, значит не исчерпана, продолжаем тратить своё и чужое время.

@Usaga · 02.08.2022, 07:19

supmener, а вы возьмите, да напишите два примера с for и while. И замерьте разницу.

Что вы думаете по этому поводу? Или звиздеть не форуме - не мешки ворочать? Зачем что-то проверять на практике, когда можно воздух сотрясать, да?

@supmener · 02.08.2022, 07:28 **[ТС]**

Если правильно понял, for используется там, где скорость выполнения не так нужна, а важно показать более читаемый код.

@Катафалк · 02.08.2022, 07:40

Сообщение от supmener

Если правильно понял, for используется там, где скорость выполнения не так нужна, а важно показать более читаемый код.

Это не for там используется, а питон в целом. Если важна скорость выполнения, то про питон забудьте.

@supmener · 02.08.2022, 07:53 **[ТС]**

Имею в виду оптимизацию скорости выполнения кода в самом Пайтоне, а не в сравнении с другими языками.

@Welemir1 · 02.08.2022, 08:34

supmener, ты проверил? замерил время? каковы результаты, где код проверки?

@supmener · 02.08.2022, 11:01 **[ТС]**

Постараюсь сейчас или сегодня написать.

Добавлено через 1 час 49 минут

Python
1
2
3
4
5
6
7
8
from time import perf_counter
start = perf_counter()
for i in range(100):
    f = open("test_scorosti.txt", "a")
    f.writelines("Хорошего настроения\n")
    f.close()
end = perf_counter()
print(end-start) # 0.06874259997857735

Python
1
2
3
4
5
6
7
8
9
10
from time import perf_counter
start = perf_counter()
a = 100
while a > 0:
    f = open("test_scorosti2.txt", "a")
    f.writelines("Хорошего настроения\n")
    f.close()
    a = a-1
end = perf_counter()
print(end-start) # 0.053640600002836436

@Alli_Lupin · 02.08.2022, 11:16

supmener, замечания:

100 семплов - слишком мало
открытие и закрытие файла должно быть вне цикла
данные результаты - статистическая погрешность
любое измерение надо проводить не менее 100 раз и выводить среднее

@Usaga · 02.08.2022, 11:28

supmener, вы этим кодом тестируете производительность доступа к HDD\SDD, а не скорость работы операторов циклов.

@supmener · 02.08.2022, 11:29 **[ТС]**

from time import perf_counter
start = perf_counter()
for i in range(100000000):
a = 0
a = a + 1
end = perf_counter()
print(end-start) # 7.589125200000126

@Usaga · 02.08.2022, 11:30

Сообщение от supmener

range(100)

А за этой штукой не итератор ли случаем? Если так, то тоже скажется, хотя к самому for отношения оно не имеет.

В результате имеем замеры от человека, который смутно представляет себе, что он замеряет и зачем...

@supmener · 02.08.2022, 11:35 **[ТС]**

В языке Python тоже есть цикл for. Но это не цикл со счетчиком. В Питоне он предназначен для перебора элементов последовательностей и других сложных объектов. https://younglinux.info/python/while

...

@iSmokeJC · 02.08.2022, 11:36

supmener, иди в ассемблер, век воли не видать. Вот где вечно можно оптимизировать, рай, а не язык.
И скорость до небес, и места не занимает, и под любую архитектуру, и команд не так много, и лаконично! Загляденье!

@supmener · 02.08.2022, 11:43 **[ТС]**

Python
1
2
3
4
5
6
7
from time import perf_counter
start = perf_counter()
a = 0
while a < 100000000:   
    a = a + 1
end = perf_counter()
print(end-start) # 7.280807000002824

@Alli_Lupin · 02.08.2022, 11:44

Не по теме:

iSmokeJC, и мы в ветке асма почти не мелькаем)))

@iSmokeJC · 02.08.2022, 11:47

Не по теме:

Alli_Lupin, именно!
Наверное, последняя ветка, которую ТС еще не заспамил

@supmener · 02.08.2022, 13:23 **[ТС]**

В интернете есть примеры, как декомпилировать код Пайтон, используя

Python
1
import dis

В одном примере производится анализ с помощью декомпиляции, почему pow(3,89) работает медленнее 3**89

Добавлено через 1 час 23 минуты
Пока что полностью не понял, что является новым синтаксисом Cython. На этой странице https://cython.readthedocs.io/... asses.html для фрагментов кода по две кнопки, при нажатии на которые синтаксис меняется.

Перевод https://cython.readthedocs.io/... /pure.html

В некоторых случаях желательно ускорить код Python, не теряя возможности запускать его с помощью интерпретатора Python. Хотя скрипты на чистом Python могут быть скомпилированы с помощью Cython, это обычно приводит к увеличению скорости примерно на 20%-50%.

Помимо этого, Cython предоставляет языковые конструкции для добавления статической типизации и cythonic-функций в модуль Python, чтобы он работал намного быстрее при компиляции, но при этом позволял его интерпретировать. Это достигается с помощью расширяющего файла .pxd, с помощью аннотаций типов Python (в соответствии с PEP 484 и PEP 526) и/или с помощью специальных функций и декораторов, доступных после импорта модуля magic cython. При необходимости все три способа можно комбинировать, хотя в проектах обычно выбирают конкретный способ упростить управление информацией о статическом типе.

Хотя обычно это не рекомендуется вместо написания прямого кода Cython в файле .pyx, для этого есть законные причины — более простое тестирование и отладка, сотрудничество с разработчиками, использующими чистый Python, и т. д. В чистом режиме вы более или менее ограничены кодом. которые могут быть выражены (или, по крайней мере, сэмулированы) в Python, плюс объявления статического типа. Все остальное можно сделать только в файлах .pyx с расширенным синтаксисом языка, потому что это зависит от особенностей компилятора Cython.

@Usaga · 02.08.2022, 14:07

Сообщение от supmener

Пока что полностью не понял, что является новым синтаксисом Cython.

Вы не это не поняли. Вы не поняли, что все эти изыскания на тему производительности вообще не имеют смысла, без наличия медленного кода.

Писать быстрый код - скил, который приходит после скила "писать рабочий код". Это уже вопрос более тонкой настройки своей писанины. Вы же ещё не способны написать даже очень медленный код. И понимания того, что вы тут ссылками приводите у вас нет и не выработается без практики.

Или вы решили, что если прикинетесь столбом, который не понимает слов и не слышит советов, то рано или поздно вы добьётесь успеха? Типа, если долго биться головой об пол, то будет толк?)

Новые блоги и статьи Все статьи Все блоги /
ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	01.08.2022, 18:27 [ТС]
	Если Вы пишете for в циклах, советуют заменить на while, если важна скорость кода. Что Вы думаете по этому поводу? 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	01.08.2022, 18:33
	Ясно, значит не исчерпана, продолжаем тратить своё и чужое время. 0

@Usaga 14809 / 9582 / 1368 Регистрация: 21.01.2016 Сообщений: 36,090
	02.08.2022, 07:19
	supmener, а вы возьмите, да напишите два примера с for и while. И замерьте разницу. Что вы думаете по этому поводу? Или звиздеть не форуме - не мешки ворочать? Зачем что-то проверять на практике, когда можно воздух сотрясать, да? 2

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	02.08.2022, 07:28 [ТС]
	Если правильно понял, for используется там, где скорость выполнения не так нужна, а важно показать более читаемый код. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	02.08.2022, 07:53 [ТС]
	Имею в виду оптимизацию скорости выполнения кода в самом Пайтоне, а не в сравнении с другими языками. 0

@Welemir1 Автоматизируй это! 7393 / 4820 / 1246 Регистрация: 30.03.2015 Сообщений: 13,703 Записей в блоге: 29
	02.08.2022, 08:34
	supmener, ты проверил? замерил время? каковы результаты, где код проверки? 0

@Alli_Lupin 5186 / 1076 / 150 Регистрация: 29.01.2013 Сообщений: 6,266
	02.08.2022, 11:16
	supmener, замечания: 100 семплов - слишком мало открытие и закрытие файла должно быть вне цикла данные результаты - статистическая погрешность любое измерение надо проводить не менее 100 раз и выводить среднее 1

@Usaga 14809 / 9582 / 1368 Регистрация: 21.01.2016 Сообщений: 36,090
	02.08.2022, 11:28
	supmener, вы этим кодом тестируете производительность доступа к HDD\SDD, а не скорость работы операторов циклов. 3

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	02.08.2022, 11:29 [ТС]
	from time import perf_counter start = perf_counter() for i in range(100000000): a = 0 a = a + 1 end = perf_counter() print(end-start) # 7.589125200000126 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	02.08.2022, 11:36
	supmener, иди в ассемблер, век воли не видать. Вот где вечно можно оптимизировать, рай, а не язык. И скорость до небес, и места не занимает, и под любую архитектуру, и команд не так много, и лаконично! Загляденье! 0

@Alli_Lupin
	02.08.2022, 11:44
	Не по теме: iSmokeJC, и мы в ветке асма почти не мелькаем))) 0

@iSmokeJC
	02.08.2022, 11:47
	Не по теме: Alli_Lupin, именно! Наверное, последняя ветка, которую ТС еще не заспамил 0