Почему функция read() не считывает слишком большие файлы?

@Testfor · Регистрация: 04.08.2022

Студворк — интернет-сервис помощи студентам

Я считываю файл размером 8.2 GB при помощи функции read(). И возникает ошибка переполнения оперативной памяти MemoryError. При этом у меня на компьютере 32 GB оперативной памяти. То есть при считывании хранится минимум 4 копии считываемого файла? Почему? Я понимаю, две копии - в буфере или в кэше и в питоне. Ну ладно 3, может где-то ещё хэш таблицы или индексы... Но почему нужен аж четырёхкратный объём памяти для считывания? И может кто-то знает библиотеку для считывания больших файлов?

Python
1
2
3
t=open('text.txt','r',encoding='utf-8')
S=t.read()
t.close()

@Welemir1 · 19.12.2022, 11:24

Testfor, что же там за текст?
читай не сразу весь, а построчно, через генератор, тогда памяти будут отъедать только на хранение этой одной строки.

@Catstail · 19.12.2022, 11:56

Сообщение от Testfor

Почему

- это непростой вопрос. Нужно знать реализацию. Список - весьма прожорливая структура. Кроме того, определенную роль играет и ОС.

Новые блоги и статьи Все статьи Все блоги /
1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .	1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит предопределенное значение перечислений. Процедура. . .
Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	19.12.2022, 11:24
	Testfor, что же там за текст? читай не сразу весь, а построчно, через генератор, тогда памяти будут отъедать только на хранение этой одной строки. 0