Почему расход памяти уменьшается со временем?

@fawn · Регистрация: 27.06.2016

Студворк — интернет-сервис помощи студентам

Подскажите, кто разбирается. Есть скрипт, который условно генерирует фразы, затем ищет эту фразу в подключаемом файле txt. В этом файле 30+млн строк, в каждой строке 1 фраза, весит он 1ГБ. скрипт генерит и проверяет 10-12 тыс. фраз в секунду. При запуске питон начинает кушать до 4.3ГБ RAM. Это норма, для такого большого файла. но почему то минут через 10-15 падает до 3.8-4ГБ, а по прошествии примерно часа начинает потреблять всего 1ГБ оперативки. И это значение уже не изменяется. Если перезапускать или запускать дополнительно копию, или даже 3 копии, все то же самое. Почитал про кэширование и очистку RAM самим питоном, но толком не понял, он сам каким то образом кэширует или почему так происходить, что расход памяти уменьшается со временем?

@fawn · 31.03.2023, 13:46 **[ТС]**

Нашел такое понятие как "сбор мусора", но подразумевается то, что питон сам выделяет память под сценарий, а затем освобождает ее, если какой то объект больше не используется. Но ведь у меня один тестовый файл, что там может не использоваться? Или другой вариант: он берет память с запасом, а лишнее потом освобождает. Не знаю, точного ответа пока что не нашел

@Fudthhh · 31.03.2023, 14:17

Сообщение от fawn

При запуске питон начинает кушать до 4.3ГБ RAM

Нет, это не нормально.

Сообщение от fawn

Это норма, для такого большого файла.

Это говорит о том, что ты не умеешь работать с файлами.

Сообщение от fawn

Нашел такое понятие как "сбор мусора"

Это удаление каких то переменных, которые создавались и никогда больше не будут использоваться.
Например ты в функции создал переменную "A", произвел какие то неподобающие вещи, и вышел из функции. Но ты не использовал инструкцию "delete A" перед тем как выйти из функции, ак вот тут то и приходит сборщик мусора и убирает за тобой.

@Welemir1 · 31.03.2023, 19:04

Сообщение от fawn

Это норма, для такого большого файла.

не совсем, ты его целиком в память чтоли читаешь? а построчно читать можно? или ты и пишешь туда одновременно? хотя тогда логичнее все в памяти вообще держать.

по памяти, кроме счетчика ссылок который работает быстро и на поверхности, есть сборщик мусора, который стартует после создания более 700 объектов. Но ты говоришь там у тебя тысячами оперирует, значит сборщик точно работает. Возможно ряд строк похожи или одинаковы, тогда питон использует кеш для них. Ну а все остальное надо только по коду и с профилировщиком смотреть.

@fawn · 31.03.2023, 20:27 **[ТС]**

Сообщение от Fudthhh

Это говорит о том, что ты не умеешь работать с файлами.

Что значит не умею?

Сообщение от Welemir1

не совсем, ты его целиком в память чтоли читаешь?

Python
1
 load_data = open("text.txt", "r").readlines()

// открываю файл для чтения
Затем генерируемую фразу ищу в текстовом файле через if ... in ...,
если есть совпадения, пишу в другой текстовый файл ТУ фразу, которая совпала
все.

Сообщение от Welemir1

Возможно ряд строк похожи или одинаковы

Они все разные, уникальные 30млн строк, без повторений. Если повторения и есть, то к 30млн это будет меньше 1%.

Сообщение от Welemir1

Но ты говоришь там у тебя тысячами оперирует

да, и сценарий не останавливается сам, пока я не закрою его, то есть он бесконечно генерирует фразу и ищет все возможные совпадения. Все рабочее, вопрос только в потреблении оперы. Мне кажется, как будто просто начинает игнорировать 75% текстового файла. Такого же не может быть?

@Welemir1 · 31.03.2023, 20:50

Сообщение от fawn

load_data = open("text.txt", "r").readlines()

зачем? читай построчно! тогда и памяти будет тратиться совсем немного, ведь тебе в конкретный данный момент нужна всего 1 строка для сравнения.

Сообщение от fawn

Такого же не может быть?

все может быть, мы не видели кода))

@fawn · 31.03.2023, 22:40 **[ТС]**

Сообщение от Welemir1

зачем? читай построчно!

Либо я вас не понимаю, либо вы меня.
Если я буду читать построчно, тогда же снизится скорость работы? в файле 33млн строк, и читать построчно, когда генерируется +/- 10.000 фраз/с, и все эти фразы нужно сразу сверять со списком...
Безусловно, используя readline(), вместо readlines(), сценарий занимает всего 70мб памяти, но...
не в памяти проблема, а в том, что по каким то причинам уменьшается занимаемое количество, я просто опасаюсь, что в таком случае, что-то идет не совсем по плану)

P.S. и не будет ли упущений в таком случае, если использовать построчное чтение?

@Welemir1 · 01.04.2023, 08:00

ну очевидно что мы не видим всей карины потому можем советовать не то. Я бы этот файлик взял в память в виде каких нибудь хешей, но не строк, как раз для экономии памяти, да еще все это в сет. Генерим фразы, делаем из них тоже хеш и почти мнгновенно проверяем есть ли такой хеш в сете. Но это я опять предполагаю.

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@fawn 0 / 0 / 0 Регистрация: 27.06.2016 Сообщений: 22

	Почему расход памяти уменьшается со временем? 29.03.2023, 21:00. Показов 789. Ответов 7 Метки ram, оперативная память (Все метки) Подскажите, кто разбирается. Есть скрипт, который условно генерирует фразы, затем ищет эту фразу в подключаемом файле txt. В этом файле 30+млн строк, в каждой строке 1 фраза, весит он 1ГБ. скрипт генерит и проверяет 10-12 тыс. фраз в секунду. При запуске питон начинает кушать до 4.3ГБ RAM. Это норма, для такого большого файла. но почему то минут через 10-15 падает до 3.8-4ГБ, а по прошествии примерно часа начинает потреблять всего 1ГБ оперативки. И это значение уже не изменяется. Если перезапускать или запускать дополнительно копию, или даже 3 копии, все то же самое. Почитал про кэширование и очистку RAM самим питоном, но толком не понял, он сам каким то образом кэширует или почему так происходить, что расход памяти уменьшается со временем? 0

@fawn 0 / 0 / 0 Регистрация: 27.06.2016 Сообщений: 22
	31.03.2023, 13:46 [ТС]
	Нашел такое понятие как "сбор мусора", но подразумевается то, что питон сам выделяет память под сценарий, а затем освобождает ее, если какой то объект больше не используется. Но ведь у меня один тестовый файл, что там может не использоваться? Или другой вариант: он берет память с запасом, а лишнее потом освобождает. Не знаю, точного ответа пока что не нашел 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	01.04.2023, 08:00
	ну очевидно что мы не видим всей карины потому можем советовать не то. Я бы этот файлик взял в память в виде каких нибудь хешей, но не строк, как раз для экономии памяти, да еще все это в сет. Генерим фразы, делаем из них тоже хеш и почти мнгновенно проверяем есть ли такой хеш в сете. Но это я опять предполагаю. 2