Увеличиваем скорость Python и уменьшаем потребление памяти

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Если не учитывать, разные советы по увеличению скорости, например замена for на while, то предлагаю знающих людей высказаться, какая из библиотек для увеличения скорости выполнения кода им больше нравится или написать впечатления от тестирования какой-то из них. Также прошу посоветовать библиотеки по уменьшению расхода оперативной памяти, если они есть.

https://nuitka.net/posts/pytho... ndows.html
https://nuitka.net/doc/download.html
https://pypi.org/project/Nuitka/

https://github.com/Nuitka/Nuitka

Build it using
python -m nuitka hello.py
Note

This will prompt you to download a C caching tool (to speed up repeated compilation of generated C code) and a MinGW64 based C compiler unless you have a suitable MSVC installed. Say yes to both those questions.

Создайте его, используя
python -m nuitka hello.py
Примечание

Вам будет предложено загрузить инструмент кэширования C (для ускорения повторной компиляции сгенерированного кода C) и компилятор C на основе MinGW64, если у вас не установлен подходящий MSVC. Скажите «да» на оба этих вопроса.

Nuitka люди используют, чтобы делать exe из кода Пайтон.

======================================== ======

https://github.com/pyston/pyston/releases

https://numba.pydata.org/numba... guide.html

https://downloads.python.org/pypy/

https://cython.org/

Рыжий Лис · 01.08.2022, 18:19

Не по теме:

Если отладка - это процесс удаления ошибок из кода, тогда программирование - это процесс добавления ошибок.

Следовательно, идеальный код - это тот, который ещё не написан.

"No code is better than no code."

@supmener · 01.08.2022, 18:27 **[ТС]**

Если Вы пишете for в циклах, советуют заменить на while, если важна скорость кода. Что Вы думаете по этому поводу?

Jabbson · 01.08.2022, 18:33

Ясно, значит не исчерпана, продолжаем тратить своё и чужое время.

@Usaga · 02.08.2022, 07:19

supmener, а вы возьмите, да напишите два примера с for и while. И замерьте разницу.

Что вы думаете по этому поводу? Или звиздеть не форуме - не мешки ворочать? Зачем что-то проверять на практике, когда можно воздух сотрясать, да?

@supmener · 02.08.2022, 07:28 **[ТС]**

Если правильно понял, for используется там, где скорость выполнения не так нужна, а важно показать более читаемый код.

@Катафалк · 02.08.2022, 07:40

Сообщение от supmener

Если правильно понял, for используется там, где скорость выполнения не так нужна, а важно показать более читаемый код.

Это не for там используется, а питон в целом. Если важна скорость выполнения, то про питон забудьте.

@supmener · 02.08.2022, 07:53 **[ТС]**

Имею в виду оптимизацию скорости выполнения кода в самом Пайтоне, а не в сравнении с другими языками.

@Welemir1 · 02.08.2022, 08:34

supmener, ты проверил? замерил время? каковы результаты, где код проверки?

@supmener · 02.08.2022, 11:01 **[ТС]**

Постараюсь сейчас или сегодня написать.

Добавлено через 1 час 49 минут

Python
1
2
3
4
5
6
7
8
from time import perf_counter
start = perf_counter()
for i in range(100):
    f = open("test_scorosti.txt", "a")
    f.writelines("Хорошего настроения\n")
    f.close()
end = perf_counter()
print(end-start) # 0.06874259997857735

Python
1
2
3
4
5
6
7
8
9
10
from time import perf_counter
start = perf_counter()
a = 100
while a > 0:
    f = open("test_scorosti2.txt", "a")
    f.writelines("Хорошего настроения\n")
    f.close()
    a = a-1
end = perf_counter()
print(end-start) # 0.053640600002836436

@Alli_Lupin · 02.08.2022, 11:16

supmener, замечания:

100 семплов - слишком мало
открытие и закрытие файла должно быть вне цикла
данные результаты - статистическая погрешность
любое измерение надо проводить не менее 100 раз и выводить среднее

@Usaga · 02.08.2022, 11:28

supmener, вы этим кодом тестируете производительность доступа к HDD\SDD, а не скорость работы операторов циклов.

@supmener · 02.08.2022, 11:29 **[ТС]**

from time import perf_counter
start = perf_counter()
for i in range(100000000):
a = 0
a = a + 1
end = perf_counter()
print(end-start) # 7.589125200000126

@Usaga · 02.08.2022, 11:30

Сообщение от supmener

range(100)

А за этой штукой не итератор ли случаем? Если так, то тоже скажется, хотя к самому for отношения оно не имеет.

В результате имеем замеры от человека, который смутно представляет себе, что он замеряет и зачем...

@supmener · 02.08.2022, 11:35 **[ТС]**

В языке Python тоже есть цикл for. Но это не цикл со счетчиком. В Питоне он предназначен для перебора элементов последовательностей и других сложных объектов. https://younglinux.info/python/while

...

@iSmokeJC · 02.08.2022, 11:36

supmener, иди в ассемблер, век воли не видать. Вот где вечно можно оптимизировать, рай, а не язык.
И скорость до небес, и места не занимает, и под любую архитектуру, и команд не так много, и лаконично! Загляденье!

@supmener · 02.08.2022, 11:43 **[ТС]**

Python
1
2
3
4
5
6
7
from time import perf_counter
start = perf_counter()
a = 0
while a < 100000000:   
    a = a + 1
end = perf_counter()
print(end-start) # 7.280807000002824

@Alli_Lupin · 02.08.2022, 11:44

Не по теме:

iSmokeJC, и мы в ветке асма почти не мелькаем)))

@iSmokeJC · 02.08.2022, 11:47

Не по теме:

Alli_Lupin, именно!
Наверное, последняя ветка, которую ТС еще не заспамил

@supmener · 02.08.2022, 13:23 **[ТС]**

В интернете есть примеры, как декомпилировать код Пайтон, используя

Python
1
import dis

В одном примере производится анализ с помощью декомпиляции, почему pow(3,89) работает медленнее 3**89

Добавлено через 1 час 23 минуты
Пока что полностью не понял, что является новым синтаксисом Cython. На этой странице https://cython.readthedocs.io/... asses.html для фрагментов кода по две кнопки, при нажатии на которые синтаксис меняется.

Перевод https://cython.readthedocs.io/... /pure.html

В некоторых случаях желательно ускорить код Python, не теряя возможности запускать его с помощью интерпретатора Python. Хотя скрипты на чистом Python могут быть скомпилированы с помощью Cython, это обычно приводит к увеличению скорости примерно на 20%-50%.

Помимо этого, Cython предоставляет языковые конструкции для добавления статической типизации и cythonic-функций в модуль Python, чтобы он работал намного быстрее при компиляции, но при этом позволял его интерпретировать. Это достигается с помощью расширяющего файла .pxd, с помощью аннотаций типов Python (в соответствии с PEP 484 и PEP 526) и/или с помощью специальных функций и декораторов, доступных после импорта модуля magic cython. При необходимости все три способа можно комбинировать, хотя в проектах обычно выбирают конкретный способ упростить управление информацией о статическом типе.

Хотя обычно это не рекомендуется вместо написания прямого кода Cython в файле .pyx, для этого есть законные причины — более простое тестирование и отладка, сотрудничество с разработчиками, использующими чистый Python, и т. д. В чистом режиме вы более или менее ограничены кодом. которые могут быть выражены (или, по крайней мере, сэмулированы) в Python, плюс объявления статического типа. Все остальное можно сделать только в файлах .pyx с расширенным синтаксисом языка, потому что это зависит от особенностей компилятора Cython.

@Usaga · 02.08.2022, 14:07

Сообщение от supmener

Пока что полностью не понял, что является новым синтаксисом Cython.

Вы не это не поняли. Вы не поняли, что все эти изыскания на тему производительности вообще не имеют смысла, без наличия медленного кода.

Писать быстрый код - скил, который приходит после скила "писать рабочий код". Это уже вопрос более тонкой настройки своей писанины. Вы же ещё не способны написать даже очень медленный код. И понимания того, что вы тут ссылками приводите у вас нет и не выработается без практики.

Или вы решили, что если прикинетесь столбом, который не понимает слов и не слышит советов, то рано или поздно вы добьётесь успеха? Типа, если долго биться головой об пол, то будет толк?)

Новые блоги и статьи Все статьи Все блоги /
Сезонность закисления почв anaschu 04.07.2026 200 часов это все равно моловато. Есть ситуации, но нестандартные, когда смена происходит за 5 лет. Но обычно это 50 лет и более. Наверное, закисление почвы происходит сезонно в средней. . .	В чем ценность человеческого опыта в глобальном смысле? kumehtar 03.07.2026 Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .	интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .
Сам себя обучал rest api anaschu 02.07.2026 Педагогический лайфхак: Почему чистый REST API для ученика намного круче, чем готовые библиотеки Когда мы отказались от капризного JAR-файла AnyLogic и переписали код на стандартный HttpClient,. . .	rest api anylogic - выполнение модели на своём русском сайте anaschu 02.07.2026 Как подружиться с AnyLogic Cloud API, победить провайдеров и развернуться Java-бэкенд в Docker на бесплатном хостинге: Двухдневный лог борьбы Всем привет! Хочу поделиться свежим (и довольно. . .	Где деньги лежат kumehtar 02.07.2026 Это - японская подводная лодка I-52 (тип C2, кодовое имя Momi) вышла из Японии в марте 1944 года с миссией в оккупированную немцами Францию (Лорьян). Это была одна из «Янаги»-миссий по обмену. . .	Krabik для WoW 3.3.5a, многоязычный AmbA 02.07.2026 Допилил бота, думаю что окончательно. Изменения: - добавлена многоязычность - добавлено снятие скриншотов - добавлено поддержание бафов хождения по воде (для жреца, дк и шамана) - и так, по. . .

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	01.08.2022, 18:27 [ТС]
	Если Вы пишете for в циклах, советуют заменить на while, если важна скорость кода. Что Вы думаете по этому поводу? 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	01.08.2022, 18:33
	Ясно, значит не исчерпана, продолжаем тратить своё и чужое время. 0

@Usaga 14364 / 9465 / 1360 Регистрация: 21.01.2016 Сообщений: 35,696
	02.08.2022, 07:19
	supmener, а вы возьмите, да напишите два примера с for и while. И замерьте разницу. Что вы думаете по этому поводу? Или звиздеть не форуме - не мешки ворочать? Зачем что-то проверять на практике, когда можно воздух сотрясать, да? 2

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	02.08.2022, 07:28 [ТС]
	Если правильно понял, for используется там, где скорость выполнения не так нужна, а важно показать более читаемый код. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	02.08.2022, 07:53 [ТС]
	Имею в виду оптимизацию скорости выполнения кода в самом Пайтоне, а не в сравнении с другими языками. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,696 Записей в блоге: 29
	02.08.2022, 08:34
	supmener, ты проверил? замерил время? каковы результаты, где код проверки? 0

@Alli_Lupin 5184 / 1074 / 150 Регистрация: 29.01.2013 Сообщений: 6,258
	02.08.2022, 11:16
	supmener, замечания: 100 семплов - слишком мало открытие и закрытие файла должно быть вне цикла данные результаты - статистическая погрешность любое измерение надо проводить не менее 100 раз и выводить среднее 1

@Usaga 14364 / 9465 / 1360 Регистрация: 21.01.2016 Сообщений: 35,696
	02.08.2022, 11:28
	supmener, вы этим кодом тестируете производительность доступа к HDD\SDD, а не скорость работы операторов циклов. 3

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	02.08.2022, 11:29 [ТС]
	from time import perf_counter start = perf_counter() for i in range(100000000): a = 0 a = a + 1 end = perf_counter() print(end-start) # 7.589125200000126 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	02.08.2022, 11:36
	supmener, иди в ассемблер, век воли не видать. Вот где вечно можно оптимизировать, рай, а не язык. И скорость до небес, и места не занимает, и под любую архитектуру, и команд не так много, и лаконично! Загляденье! 0

@Alli_Lupin
	02.08.2022, 11:44
	Не по теме: iSmokeJC, и мы в ветке асма почти не мелькаем))) 0

@iSmokeJC
	02.08.2022, 11:47
	Не по теме: Alli_Lupin, именно! Наверное, последняя ветка, которую ТС еще не заспамил 0