Объединение файлов с предварительным удалением строк

@uzlprog · Регистрация: 23.04.2012

Author24 — интернет-сервис помощи студентам

Задача: имеется очень много текстовых файлов (бд экспериментальных данных). Нужно объединить их в один файл, но при этом удалить в каждом первые N строк и последние M строк...

Для наглядности структура файла:

-------------------------------
Заголовок файла (нужно удалить!)
...
...
...
...
и так n-строк
-------------------------------
Тело файла (нужно объединить)
-------------------------------
Оконцовка файла (нужно удалить!)
...
...
...
...
и так m-строк
-------------------------------

Можно ли это сделать в cmd при этом указывая только каталог где лежат эти файлы?

@alpap · 23.04.2018, 10:54

Внимание! Сами файлы получат преобразование после запуска кода. Желательно поэкспериментировать над копиями для проверки. В моем примере запуск из папки с файлами txt, у файла "all.log" расширение не txt обязательно (не должно совпадать с расширением файлов или создавать этот файл по другому пути). Кол-во строк для удаления в начале и конце поставьте свое:

Windows Batch file

@echo off
:: Удалить N строк первых
set strn=2
:: Удалить M строк последних
set strk=3
rem:>all.log
 
for /f "delims=" %%a in ('dir /a-d/b "*.txt"') do call :dlstrf "%%a"
pause& exit
 
:dlstrf
 <"%~1">+ (more +%strn%|sort /+2147483647|more +%strk%|sort /+2147483647|findstr /vrc:"^$")& move+ "%~1"
 copy /b all.log+"%~1"
exit /b

greg zakharov · 23.04.2018, 12:30

С sed можно проще:

Windows Batch file

@echo off
  setlocal enabledelayedexpansion
    if not exist "%~1" echo:Fuck off, specified folder does not exist.&goto:eof
    pushd "%~1"
      for /r . %%i in (*.txt) do sed -n ":x;1,9!{P;N;D};N;bx" "%%~nxi" | sed "1,8d">>res.txt
    popd
  endlocal
exit /b

Это правда при условии, что нужно удалять снизу и сверху по восемь строк, как в приведенном шаблоне.

@uzlprog · 24.04.2018, 12:11 **[ТС]**

Так, а если файлы большие (по 4 Mb) как быть? Я так понимаю CMD такие файлы не переварит... Есть ли возможность построчной обработки с начала и с конца файла (по отдельности)?

YuS_2 · 24.04.2018, 14:11

Сообщение от uzlprog

Так, а если файлы большие (по 4 Mb) как быть? Я так понимаю CMD такие файлы не переварит...

Зачем тогда это делать в cmd, если всё прекрасно знаете сами?

Powershell в помощь...

@uzlprog 21 / 24 / 1 Регистрация: 23.04.2012 Сообщений: 627
		1
	Объединение файлов с предварительным удалением строк 23.04.2018, 09:28. Показов 936. Ответов 4 Метки нет (Все метки) Задача: имеется очень много текстовых файлов (бд экспериментальных данных). Нужно объединить их в один файл, но при этом удалить в каждом первые N строк и последние M строк... Для наглядности структура файла: ------------------------------- Заголовок файла (нужно удалить!) ... ... ... ... и так n-строк ------------------------------- Тело файла (нужно объединить) ------------------------------- Оконцовка файла (нужно удалить!) ... ... ... ... и так m-строк ------------------------------- Можно ли это сделать в cmd при этом указывая только каталог где лежат эти файлы? 0

@uzlprog 21 / 24 / 1 Регистрация: 23.04.2012 Сообщений: 627
	24.04.2018, 12:11 [ТС]	4
	Так, а если файлы большие (по 4 Mb) как быть? Я так понимаю CMD такие файлы не переварит... Есть ли возможность построчной обработки с начала и с конца файла (по отдельности)? 0

YuS_2 Любознательный 5670 / 1685 / 314 Регистрация: 10.03.2016 Сообщений: 3,834
	24.04.2018, 14:11	5
	Сообщение от uzlprog Так, а если файлы большие (по 4 Mb) как быть? Я так понимаю CMD такие файлы не переварит... Зачем тогда это делать в cmd, если всё прекрасно знаете сами? Powershell в помощь... 0