Чтение больших файлов

@CrazyMadd · Регистрация: 19.12.2017

Студворк — интернет-сервис помощи студентам

Всем привет

Возник такой вопрос. Допустим, есть какой-то файл в 1 Тб. Если я открываю его для чтения, то получается, что этот файл полностью лежит в оперативной памяти. Как считывать такой файл, например, по 12 строк?

То есть вопрос в том, чтобы весь файл не находился в оперативке, а только установленная пользователем часть (в данном примере только 12 строк)

Спасибо

@pewit · 08.01.2018, 18:01

Если вы открываете файл для чтения - ничего в память не читается, никаких терабайтов. При открытии, условно, файл "подготавливается" для операции чтения из него.
А собственно читать и обрабатывать файл вы хоть по 1 байту и из тех мест, из которых вам нужно.

@CrazyMadd · 08.01.2018, 18:02 **[ТС]**

Я, вообщем, запутался. Если мы открываем террабайтный файл, то у нас автоматически используется 1Тб памяти (резервируется) или этот террабайт резервируется в том случае, если мы весь файл перекачаем в - условно - массив?

Добавлено через 52 секунды
Спасибо, а то чего-то каша в голове

@pewit · 08.01.2018, 18:04

Как читать файл, какими кусками - вы сами должны определить в программе. Какой буфер в памяти сделаете, так и будет. Операция открытия файла никак не связана с буфером.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@CrazyMadd 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 16

	Чтение больших файлов 08.01.2018, 17:50. Показов 4416. Ответов 3 Метки нет (Все метки) Всем привет Возник такой вопрос. Допустим, есть какой-то файл в 1 Тб. Если я открываю его для чтения, то получается, что этот файл полностью лежит в оперативной памяти. Как считывать такой файл, например, по 12 строк? То есть вопрос в том, чтобы весь файл не находился в оперативке, а только установленная пользователем часть (в данном примере только 12 строк) Спасибо 0

@pewit 20 / 20 / 6 Регистрация: 16.11.2017 Сообщений: 87
	08.01.2018, 18:01
	Если вы открываете файл для чтения - ничего в память не читается, никаких терабайтов. При открытии, условно, файл "подготавливается" для операции чтения из него. А собственно читать и обрабатывать файл вы хоть по 1 байту и из тех мест, из которых вам нужно. 1

@CrazyMadd 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 16
	08.01.2018, 18:02 [ТС]
	Я, вообщем, запутался. Если мы открываем террабайтный файл, то у нас автоматически используется 1Тб памяти (резервируется) или этот террабайт резервируется в том случае, если мы весь файл перекачаем в - условно - массив? Добавлено через 52 секунды Спасибо, а то чего-то каша в голове 0

@pewit 20 / 20 / 6 Регистрация: 16.11.2017 Сообщений: 87
	08.01.2018, 18:04
	Как читать файл, какими кусками - вы сами должны определить в программе. Какой буфер в памяти сделаете, так и будет. Операция открытия файла никак не связана с буфером. 0