0 / 0 / 0
Регистрация: 08.06.2017
Сообщений: 8
|
|
1 | |
Реализовать алгоритм обработки текстового файла20.02.2018, 22:27. Показов 926. Ответов 8
Привет уважаемому сообществу!
Нужно обработать 12 ГБ логов, задача одноразовая, хочу сделать это на Python. Языка пока не знаю, но если поможете, потом что-то небольшое буду допиливать сам. Итак, есть файлы с 4 видами строк: (файл всегда начинается с PERS=....) Пустая - их игнорировать PERS="VyrezaemEtotTExt";"Ar... из таких строк запоминать в переменную zaptext='VyrezaemEtotTExt' EXP="/p/Tee-Bld/10000346";prf="... в таких строках ничего менять не надо AFF="Techno Com";"/c/no... в начало такой строки надо вставить AF2=" и вырезанный ранее текст "VyrezaemEtotTExt" и потом вся строка без изменений. Каждую строку нужно копировать в выходной файл (некоторые после обработки), пустые строки - не надо. ЦИКЛ1 -по всем файлам *.txt в директории скрипта Открываем файл на чтение FILE.txt Открываем на запись файл FILE.out (тоже имя файла, но расширение out) zaptext ="" ЦИКЛ2 -чтения input.txt построчно в строку string если string начинается с PERS= , то в переменную zaptext записываем кусок от PERS=" до ближаейшей "; (VyrezaemEtotTExt в примере выше)конец ЦИКЛ2 Тут можно вывести подсчет количества строк каждого вида (не обызательно) конец ЦИКЛ1 Задача простая, но у меня уйдет на неё больше чем полдня, помогите пожалуйста ![]() С уважением, Сергей
__________________
Помощь в написании контрольных, курсовых и дипломных работ, диссертаций здесь
0
|
|
20.02.2018, 22:27 | |
Ответы с готовыми решениями:
8
Реализовать нейросетевой алгоритм обработки сигналов Программа обработки текстового файла Составить текст программы обработки текстового файла
|
1288 / 905 / 479
Регистрация: 05.12.2013
Сообщений: 3,039
|
|
20.02.2018, 22:35 | 2 |
Каждый файл txt какого размера?
0
|
0 / 0 / 0
Регистрация: 08.06.2017
Сообщений: 8
|
|
21.02.2018, 00:31 [ТС] | 3 |
От 500Мб до 5 Гб,
можно не делать цикл по всем файлам в каталоге, просто давать 1 файл на вход скрипту, я поштучно их обработаю.
0
|
Модератор
2968 / 2107 / 450
Регистрация: 26.03.2015
Сообщений: 8,230
|
|
21.02.2018, 00:46 | 4 |
Не проблема. Главное, не читать их целиком - читать построчно и сразу записывать в выходной файл.
2
|
0 / 0 / 0
Регистрация: 08.06.2017
Сообщений: 8
|
|
21.02.2018, 01:13 [ТС] | 5 |
Помогите мне с кодом цикла2, пожалуйста. Скорость работы скрипта не важна...
0
|
826 / 613 / 244
Регистрация: 10.12.2016
Сообщений: 1,518
|
||||||
21.02.2018, 01:17 | 6 | |||||
попробуй такой вариант
1
|
0 / 0 / 0
Регистрация: 08.06.2017
Сообщений: 8
|
|
21.02.2018, 01:23 [ТС] | 7 |
Спасибо!
Красивый код, насколько я начал понимать в Python'e будет делать как раз то, что надо! Непривычно, что циклы на Питоне непонятно как заканчиваются ) Завтра проверю на свежую голову!
0
|
0 / 0 / 0
Регистрация: 08.06.2017
Сообщений: 8
|
||||||
21.02.2018, 11:44 [ТС] | 9 | |||||
Все отлично работает, практически со скоростью чтения диском!
Внес небольшие изменения - одну строку добавил, другую убрал
![]() Добавлено через 1 час 29 минут 20 ГБ логов обработал за 8 минут!
0
|
21.02.2018, 11:44 | |
Помогаю со студенческими работами здесь
9
Создание внешней обработки для загрузки текстового файла Придумать и реализовать алгоритм шифрования текста (использовать функции обработки символов и строк) Взять текст из текстового файла и поместить его в массив для дальнейшей обработки массива Реализовать программу обработки файла, записав туда данные Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |