Редактирование(добавление/удаление) объемных текстовых файлов

@nexen · Регистрация: 27.01.2012

Студворк — интернет-сервис помощи студентам

Предположим, есть большой текстовый файло размером 1гб, из которого нужно удалить некоторые строчки.
Я так подозреваю, что самые простые текстовые редакторы делают как-то так:
1) На место i - word_to_delete_size записывают i-ый символ и так до конца файла
2) Держат весь файл в оперативке, там уже удаляют строчку и затем просто перезаписывают весь файл
Но, как отмечалось выше, файл довольно объемный. Собственно, как это делают нормальные текстовые редакторы?

@nexen · 18.10.2013, 16:55 **[ТС]**

Никаких идей?

alsav22 · 18.10.2013, 21:29

Нужно узнать, как это делают текстовые редакторы или самому что-то сделать с большим файлом?

Байт · 18.10.2013, 23:24

nexen, мне самому эта проблема интересна. Когда-то написал редактор еще в ДОСе, и для простоты пошел по второму пути. Закачал файл в память и ну там над ним изгаляться. Но поскольку у Дуси нам дано на все про все 512К, файлы порядка 300К я обработать не мог. В то же время в том же ДОСе "нормальные" редакторы, ну хотя бы встроенный в среду BC 3.1, прекрасно справляются с несколькими Мб. Правда на процессорах типа Пень-1-2 временная задержка чувствовалась.
Краем уха я слышал, что один из путей - разбить файл на три части. 2-я - то, что видно на экране, 1-я - то что до него, 3-я - после. Конечно, не сам файл, а его "копию", точнее - образ. И организовать его надо как-то, чтоб было легко вставлять изменения, сделанные на экране. Деталей не знаю. Но вы же хотели идей?

Не по теме:

Пилите, Шура, они внутри золотые

alsav22 · 18.10.2013, 23:41

Вот здесь есть код перестановки двух строк в большом файле: Замена строк в текстовых документах больших размеров

@castaway · 18.10.2013, 23:52

Не по теме:

Сообщение от Байт

Но поскольку у Дуси нам дано на все про все 512К, файлы порядка 300К я обработать не мог.

Так есть же XMS.

@gazlan · 19.10.2013, 00:04

Сообщение от Байт

разбить файл на три части. 2-я - то, что видно на экране, 1-я - то что до него, 3-я - после

Именно так и делают. В оперативной памяти держат редактируемую часть и буфер отката.
Кроме того, возможны всякие оптимизации собственно редактирования, например, Rope (data structure)

Байт · 19.10.2013, 00:21

Сообщение от gazlan

возможны всякие оптимизации собственно редактирования, например, Rope (data structure)

Посмотрел. Здорово. Картинки замечательные.

Не по теме:

Если бы я еще чуток посвободнее читал на этом языке... Но увы! Тяжелое детство. Идиосинкразия на English. Училка виновата.

@gazlan · 19.10.2013, 17:29

Вот еще свежая статья по теме Организация памяти в текстовом редакторе. Примерно так был устроен один из первых непосредственных редакторов mim (MicroMir).

Байт · 19.10.2013, 21:37

gazlan, Большое спасибо! Чрезвычайно интересный материал!

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .

@nexen 187 / 180 / 25 Регистрация: 27.01.2012 Сообщений: 1,335

	Редактирование(добавление/удаление) объемных текстовых файлов 17.10.2013, 11:51. Показов 1834. Ответов 9 Метки нет (Все метки) Предположим, есть большой текстовый файло размером 1гб, из которого нужно удалить некоторые строчки. Я так подозреваю, что самые простые текстовые редакторы делают как-то так: 1) На место i - word_to_delete_size записывают i-ый символ и так до конца файла 2) Держат весь файл в оперативке, там уже удаляют строчку и затем просто перезаписывают весь файл Но, как отмечалось выше, файл довольно объемный. Собственно, как это делают нормальные текстовые редакторы? 0

@nexen 187 / 180 / 25 Регистрация: 27.01.2012 Сообщений: 1,335
	18.10.2013, 16:55 [ТС]
	Никаких идей? 0

alsav22 5500 / 4895 / 831 Регистрация: 04.06.2011 Сообщений: 13,587
	18.10.2013, 21:29
	Нужно узнать, как это делают текстовые редакторы или самому что-то сделать с большим файлом? 1

Байт Диссидент 27714 / 17332 / 3810 Регистрация: 24.12.2010 Сообщений: 38,978
	18.10.2013, 23:24
	nexen, мне самому эта проблема интересна. Когда-то написал редактор еще в ДОСе, и для простоты пошел по второму пути. Закачал файл в память и ну там над ним изгаляться. Но поскольку у Дуси нам дано на все про все 512К, файлы порядка 300К я обработать не мог. В то же время в том же ДОСе "нормальные" редакторы, ну хотя бы встроенный в среду BC 3.1, прекрасно справляются с несколькими Мб. Правда на процессорах типа Пень-1-2 временная задержка чувствовалась. Краем уха я слышал, что один из путей - разбить файл на три части. 2-я - то, что видно на экране, 1-я - то что до него, 3-я - после. Конечно, не сам файл, а его "копию", точнее - образ. И организовать его надо как-то, чтоб было легко вставлять изменения, сделанные на экране. Деталей не знаю. Но вы же хотели идей? Не по теме: Пилите, Шура, они внутри золотые 2

alsav22 5500 / 4895 / 831 Регистрация: 04.06.2011 Сообщений: 13,587
	18.10.2013, 23:41
	Вот здесь есть код перестановки двух строк в большом файле: Замена строк в текстовых документах больших размеров 1

@gazlan 3176 / 1935 / 312 Регистрация: 27.08.2010 Сообщений: 5,131 Записей в блоге: 1
	19.10.2013, 17:29
	Вот еще свежая статья по теме Организация памяти в текстовом редакторе. Примерно так был устроен один из первых непосредственных редакторов mim (MicroMir). 2

Байт Диссидент 27714 / 17332 / 3810 Регистрация: 24.12.2010 Сообщений: 38,978
	19.10.2013, 21:37
	gazlan, Большое спасибо! Чрезвычайно интересный материал! 0

Редактирование(добавление/удаление) объемных текстовых файлов

Решение