Как правильно вносить изменения в большие текстовые файлы

@leonidkorolev · Регистрация: 23.06.2015

Студворк — интернет-сервис помощи студентам

Предположим есть большой файл (100 млн строк, не важно).
В определенные строки нужно внести изменения (грубо говоря 5 строк надо изменить).
Как это правильно сделать? Если можно пример кода.
Спасибо!

@Skryp · 04.02.2022, 21:37

Самый быстрый способ - это использовать базу данных, например, sqlite

Можно так (файл 10 МБ, 31тыс строк):

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
import time
start_time = time.time()
 
import shutil
with open("test.txt", "r", encoding='utf-8') as long_file, \
    open("test_replaced.tmp", "w", encoding='utf-8') as replacement:
    for line in long_file:
        replacement.write(line.replace("Было>", "Стало"))
 
shutil.move("test_replaced.tmp", "test.txt")
    # --- 0.2570645809173584 seconds ---
 
print("--- %s seconds ---" % (time.time() - start_time))

Тут ещё зависит, можете ли вы загрузить полностью файл в память или работать подольше.

Добавлено через 6 минут
Чтобы проверить наличие строки в файле (true/false) можно искать кусками

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import time
start_time = time.time()
 
def contains(filename, some_string):
    n = len(some_string)
    prev_chunk = ''
    with open(filename, encoding='utf-8') as f:
        while chunk := f.read(2 ** 20):
            if some_string in prev_chunk[-(n-1):] + chunk:
                return True
            prev_chunk = chunk
        return False
 
print(contains("test.txt", "Шары света в воздухе над"))
 
print("--- %s seconds ---" % (time.time() - start_time))

@Ципихович Эндрю · 05.02.2022, 08:31

Сообщение от Skryp

31тыс строк

у меня такой текстовый файл = 4136 Кб-вроде справляется питон..........

Новые блоги и статьи Все статьи Все блоги /
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .	Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .

@leonidkorolev 7 / 5 / 2 Регистрация: 23.06.2015 Сообщений: 57

	Как правильно вносить изменения в большие текстовые файлы 03.02.2022, 23:00. Показов 1454. Ответов 2 Метки нет (Все метки) Предположим есть большой файл (100 млн строк, не важно). В определенные строки нужно внести изменения (грубо говоря 5 строк надо изменить). Как это правильно сделать? Если можно пример кода. Спасибо! 0

Как правильно вносить изменения в большие текстовые файлы

Решение