Увеличиваем скорость Python и уменьшаем потребление памяти

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Если не учитывать, разные советы по увеличению скорости, например замена for на while, то предлагаю знающих людей высказаться, какая из библиотек для увеличения скорости выполнения кода им больше нравится или написать впечатления от тестирования какой-то из них. Также прошу посоветовать библиотеки по уменьшению расхода оперативной памяти, если они есть.

https://nuitka.net/posts/pytho... ndows.html
https://nuitka.net/doc/download.html
https://pypi.org/project/Nuitka/

https://github.com/Nuitka/Nuitka

Build it using
python -m nuitka hello.py
Note

This will prompt you to download a C caching tool (to speed up repeated compilation of generated C code) and a MinGW64 based C compiler unless you have a suitable MSVC installed. Say yes to both those questions.

Создайте его, используя
python -m nuitka hello.py
Примечание

Вам будет предложено загрузить инструмент кэширования C (для ускорения повторной компиляции сгенерированного кода C) и компилятор C на основе MinGW64, если у вас не установлен подходящий MSVC. Скажите «да» на оба этих вопроса.

Nuitka люди используют, чтобы делать exe из кода Пайтон.

======================================== ======

https://github.com/pyston/pyston/releases

https://numba.pydata.org/numba... guide.html

https://downloads.python.org/pypy/

https://cython.org/

@Alli_Lupin · 30.07.2022, 17:02

Судя по тому, что я такое первый раз слышу, то нет

@Катафалк · 30.07.2022, 17:06

Сообщение от supmener

В каком случае на Пайтон в Вебе для работы сайта самый быстрый код будет на Sanic?

В том случае, если вы умеете писать на питоне в целом, и в вебе в частности.

Добавлено через 1 минуту
supmener, вы когда уже код писать начнете, кстати?

@supmener · 30.07.2022, 17:19 **[ТС]**

Сообщение от Катафалк

вы когда уже код писать начнете, кстати?

Можно подумать, сейчас каждый день кодом не занимаюсь.

Какие, кроме Sanic, поддерживают async/await, uvloop, ujson?

Добавлено через 3 минуты
https://sanic.dev/
https://github.com/sanic-org/sanic
https://pypi.org/project/sanic/

@Treasure Hunter · 30.07.2022, 21:59

Сообщение от supmener

Какие, кроме Sanic, поддерживают async/await, uvloop, ujson?

А с синхронными фреймворками уже проблем нет? Flask, Django освоены на все 100?

@supmener · 30.07.2022, 22:12 **[ТС]**

Не изучал их пока что. И не знаю, буду ли осваивать в будущем.

https://docs.djangoproject.com... ics/async/

https://flask.palletsprojects.... ync-await/

@Treasure Hunter · 30.07.2022, 22:24

Сообщение от supmener

Не изучал их пока что. И не знаю, буду ли осваивать в будущем.

То, что нужно осваивать написано на hh. Вот прямо сейчас там: 760 вакансий с django, 381 - Flask, 316 - Fastapi, 152 - aiohttp. И только 18 - Sanic (ну хоть вообще есть и то хорошо).
Вопрос о том, что надо учить, в свете этого риторический.

@supmener · 31.07.2022, 06:28 **[ТС]**

Создание и быстрое уничтожение многочисленных объектов Regex — это очень затратный процесс, так как высоки издержки на создание объектов и компиляцию регулярных выражений. Для приложений, использующих большое количество разных регулярных выражений, производительность можно повысить путем вызова статических методов Regex и, возможно, путем увеличения размера кэша для регулярных выражений. https://docs.microsoft.com/ru-... xpressions

Как кэш скомпилированных регулярных выражений увеличить, если именно это имеется в виду?

Jabbson · 31.07.2022, 06:32

.NET вот тут

@supmener · 31.07.2022, 06:48 **[ТС]**

Тогда упомянем компиляцию регулярных выражений, которая в некоторых случаях может быть полезна для ускорения кода Пайтон.

@Usaga · 31.07.2022, 08:59

supmener, какой ваш код на Питоне уже сейчас тормозит из-за регулярных выражений?

@Welemir1 · 31.07.2022, 09:16

Сообщение от supmener

Можно подумать, сейчас каждый день кодом не занимаюсь.

не только подумать, можно быть уверенным! код покажите, в гите или тут на форуме

Добавлено через 38 секунд

Сообщение от supmener

И не знаю, буду ли осваивать в будущем.

я знаю -не будете. но темы создадите

@supmener · 31.07.2022, 09:21 **[ТС]**

В качестве заметки для себя оставлю эти ссылки
https://pypi.org/project/Twisted/

https://pypi.org/project/gevent/
http://www.gevent.org/
https://github.com/gevent/gevent

https://pypi.org/project/tornado/

Добавлено через 1 минуту

Сообщение от Welemir1

не только подумать, можно быть уверенным! код покажите, в гите или тут на форуме

Какой смысл показывать чужой код, по которому изучаю, как устроены программы?

@iSmokeJC · 31.07.2022, 09:33

Сообщение от supmener

Какой смысл показывать чужой код, по которому изучаю, как устроены программы?

Какой смысл изучать чужие программы и не писать собственные?

@supmener · 31.07.2022, 09:39 **[ТС]**

Потому что плохо понимаю, как писать такие программы.

@Treasure Hunter · 31.07.2022, 09:40

Сообщение от supmener

В качестве заметки для себя оставлю эти ссылки

Какой смысл показывать чужой код, по которому изучаю, как устроены программы?

Tornado - 67 вакансий, Twisted - 9, gevent - 1. На эту единственную вакансию с gevent требуется Senior Python Developer на 7000 зелени. Но даже на эту вакансию без знания, цитирую, Flask + gevent + uwsgi, SqlAlchemy, PostgreSQL, Marshmallow, Celery, RabbitMQ, Redis, Custom REST API framework не возьмут. Скорее всего там пишут кастомный приватный фреймворк для своего продукта на основе этих технологий. Вот для этого и нужен gevent. Сам подумай, скоро ты будешь этой вакансии соответствовать? Ну, или скоро ли ты дойдешь до написания своего фреймворка?

По второму пункту - пишешь код и нет вопросов по нему? Предположу, что либо код в 3 строчки, либо ты - гений. Я тоже писал чужой код, но и ошибок там тоже много. И эти ошибки не нужно бросать (ну, не работает и хрен с ним), а подробно разбирать самому (желательно).

@iSmokeJC · 31.07.2022, 09:42

Сообщение от supmener

Потому что плохо понимаю,

и не поймешь никогда. Если ты не можешь закрутить винт, то как самолет не рассматривай - так же не сделаешь.

@Treasure Hunter · 31.07.2022, 09:46

Сообщение от iSmokeJC

Какой смысл изучать чужие программы и не писать собственные?

Некоторый смысл есть. Если приходишь куда-то работать, то там чужой код. И обычно в нем требуют разбираться как в своем собственном.

Добавлено через 2 минуты

Сообщение от iSmokeJC

и не поймешь никогда. Если ты не можешь закрутить винт, то как самолет не рассматривай - так же не сделаешь.

Чел стремится и пытается. Даже несмотря на наш стеб. Так что можно респектом отметить.
Но, имхо, для него нужен хороший ментор и желательно с ремешком.

@iSmokeJC · 31.07.2022, 09:47

Treasure Hunter, все верно. Но чтобы разобраться в чужом коде, необходимо хотя бы основы знать. А если ты не знаешь ничерта, то какой смысл на что-то смотреть? Полюбоваться?

Добавлено через 56 секунд

Сообщение от Treasure Hunter

Чел стремится и пытается.

Нет. Он стремится и не пытается. Вот такой парадокс

@Катафалк · 31.07.2022, 09:51

Сообщение от supmener

Потому что плохо понимаю, как писать такие программы.

И никогда не поймете, если не начнете писать сами. Неужели это такая сложная мысль, что для того чтобы научиться какому-то навыку - нужно это делать самостоятельно, а не только смотреть, как делают другие?
Ну представьте например, что вы хотите научиться плавать. И вы для этого смотрите кучу видосов на ютубе с разными полезными упражнениями для пловцов. Потом пришли в бассейн, сели рядом на стульчик и смотрите, как люди плавают. Но сами в воду ни разу так и не зашли. Абсурд же? Почему вы считаете, что с программирвоанием не так?

Сообщение от Treasure Hunter

Некоторый смысл есть. Если приходишь куда-то работать, то там чужой код. И обычно в нем требуют разбираться как в своем собственном.

Это надо делать в дополнение к собственно практике программирвания, а не вместо. Иначе получается такой вот пловец на табуретке.

@iSmokeJC · 31.07.2022, 09:53

Катафалк, в точку!

Новые блоги и статьи Все статьи Все блоги /
сукцессия 14. Обновленная схема модели anaschu 28.06.2026 ГЛОБАЛЬНАЯ ОПИСАТЕЛЬНАЯ СПЕЦИФИКАЦИЯ ЭКОСИСТЕМНОЙ МОДЕЛИ «SOIL CHEMISTRY & MYCORRHIZA 2. 0» https:/ / ibb. co/ NnkGpfMd Представленная интегрированная схема описывает непрерывную нелинейную. . .	сукцессия 13. Питон модель трехзонного мицелия, пока что в основном арбускулярного anaschu 28.06.2026 ## Разработка агентной модели микоризной сукцессии: от выявления артефактов к созданию комплексной системы ### Аннотация Представлено исследование по разработке агентной модели микоризной. . .	сукцессия 12. краткий список проверок модели перед запуском. anaschu 27.06.2026 Скрытые отказы в моделях систем динамики (SD-models) экологических систем: два случая из практики Контекст Разбирался прототип модели систем динамики (SD-модели) микоризной сукцессии: пять. . .	Сукцессия 11. Проверка орудий перед войной: разработка через тестирование anaschu 27.06.2026 Как не дать модели соврать самой себе: проверки для симуляции микоризной сукцессии Введение Когда вы строите математическую модель живой системы — грибов, растений, почвы — главная опасность. . .
10 сукцессия. Питон код войны грибов и растений anaschu 27.06.2026 import numpy as np class PlantAgent: def __init__(self, name, strategy, initial_biomass): self. name = name self. strategy = strategy # "greedy" (широколиственные) или. . .	сукцессия 9. Математика подлости: как растения предали грибных друзей anaschu 27.06.2026 Статья 2. Глобальная фосфорная война: эволюционно-экономические механизмы распределения биомов Земли Введение: Экологический рынок как игра с нулевой суммой Традиционная экология долгое время. . .	сукцессия 8. Как я спорил с ИИ, которые - агенты растений и ненавистники грибов! anaschu 27.06.2026 Статья 1. Хроники грибного восстания: как Сократов диалог разрушил академические догмы ИИ Введение: Синдром «цифрового учебника» Современные большие языковые модели (LLM) обладают колоссальным. . .	Главный вопрос моделирования сукцессии anaschu 27.06.2026 главный вопрос. Если эктомикориза лучше добывает недоступный фосфор. И ее масса максимальна из всех. А широколиственный лес тоже имеет самую крутую биомассу. То почему не возникло их симбиоза? Это. . .

@Alli_Lupin 5044 / 1071 / 149 Регистрация: 29.01.2013 Сообщений: 6,257
	30.07.2022, 17:02
	Судя по тому, что я такое первый раз слышу, то нет 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	30.07.2022, 22:12 [ТС]
	Не изучал их пока что. И не знаю, буду ли осваивать в будущем. https://docs.djangoproject.com... ics/async/ https://flask.palletsprojects.... ync-await/ 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	31.07.2022, 06:32
	.NET вот тут 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	31.07.2022, 06:48 [ТС]
	Тогда упомянем компиляцию регулярных выражений, которая в некоторых случаях может быть полезна для ускорения кода Пайтон. 0

@Usaga 14364 / 9465 / 1360 Регистрация: 21.01.2016 Сообщений: 35,689
	31.07.2022, 08:59
	supmener, какой ваш код на Питоне уже сейчас тормозит из-за регулярных выражений? 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	31.07.2022, 09:39 [ТС]
	Потому что плохо понимаю, как писать такие программы. 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	31.07.2022, 09:53
	Катафалк, в точку! 0