Работа с большим массивом файлов

@maksimkaa · Регистрация: 19.12.2017

Студворк — интернет-сервис помощи студентам

Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает.
Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки.

@KDE777 · 19.12.2017, 15:24

Сообщение от maksimkaa

"Не удается найти параметр, соответствующий имени параметра File"

Скрипт из ответа #7 у вас не заработает, пока вы не обновите PowerShell хотя бы до версии 3.

Добавлено через 4 минуты

Сообщение от v_svitere

Это да, но предположу, что подобный подход можно реализовать и на 2.0

Возможно, но в качестве альтернативы Workflow мне приходит в голову Start-Job, а для него тоже нужен PS3...

@v_svitere · 19.12.2017, 15:27

KDE777,

Возможно, но в качестве альтернативы Workflow мне приходит в голову Start-Job, а для него тоже нужен PS3...

Я скорее в сторону NETFrameWork думал.

Добавлено через 54 секунды
Ну это не столь важно

@KDE777 · 19.12.2017, 15:50

maksimkaa, если обновить PS возможности нет, то самый простой вариант скрипта:

PowerShell
1
2
3
4
foreach ($line in Get-Content -Path "C:\Temp\file_list.txt")
{
    Remove-Item -Path "C:\Temp\_Files\$line" -Force -EA SilentlyContinue
}

"C:\Temp\file_list.txt" - список с именами файлов для удаления.
"C:\Temp\_Files" - папки с файлами для удаления.

@maksimkaa · 19.12.2017, 16:28 **[ТС]**

KDE777,
При запуске скрипта, также окно быстро открывается и закрывается. Не ошибок ничего не выдает.
Обновил PowerShell, ситуация такая же.
Через ISP, пишет что скрипт выполняется (последний).

Нет, все таки в конце ISP вылетел

@KDE777 · 19.12.2017, 16:38

Сообщение от maksimkaa

При запуске скрипта, также окно быстро открывается и закрывается. Не ошибок ничего не выдает. Обновил PowerShell, ситуация такая же.

Я просил "Откройте PowerShell_ISE, скопируйте туда скрипт и запустите выполнение в этой оболочке", никаких открывающихся/закрывающихся окон при этом быть не должно, а все результаты/ошибки выполнения отображаются в консоли снизу.

@maksimkaa · 19.12.2017, 17:08 **[ТС]**

KDE777, При выполнении скрипта из ответа 7, в ISP 5ой версии, сверху, я так понимаю где лог пишется, мелькают строчки: Running 1.18: RemoveItem line:5 char:5
И такая же строчка, только в начале там Failed.

@KDE777 · 19.12.2017, 17:15

Сообщение от maksimkaa

При выполнении скрипта из ответа 7, в ISP 5ой версии, сверху, я так понимаю где лог пишется, мелькают строчки: Running 1.18: RemoveItem line:5 char:5

Это не ошибка, а индикатор выполнения Workflow. А мелькает, потому что выполнение Workflow-удаления, раз за разом повторяется в цикле.

Сообщение от maksimkaa

И такая же строчка, только в начале там Failed.

Не понял - что это и где.

Так стали у вас удаляться файлы?

@maksimkaa · 19.12.2017, 17:18 **[ТС]**

KDE777, Сначала пишет ranned и через секунду failed

@KDE777 · 19.12.2017, 17:32

Сообщение от maksimkaa

Сначала пишет ranned и через секунду failed

Удалите из скрипта "-EA SilentlyContinue" и посмотрите, что за ошибки возникают при выполнение Remove-Item

Вот как выполняется удаление у меня:

@maksimkaa · 19.12.2017, 17:59 **[ТС]**

KDE777, Скрипт не удаляет

@KDE777 · 19.12.2017, 18:03

Сообщение от maksimkaa

Скрипт не удаляет

Ни один из предложенных здесь вариантов?

Вы это пробовали - "Удалите из скрипта "-EA SilentlyContinue" и посмотрите, что за ошибки возникают при выполнение Remove-Item"?

volodin661 · 19.12.2017, 23:51

Усложняете?

PowerShell
1
foreach ($filename in [System.IO.File]::ReadLines("spisok.txt")) { Remove-Item $filename }

( Версия pwsh должна быть 5.1, как я уже говорил maksimkaa )

@maksimkaa · 20.12.2017, 00:10 **[ТС]**

volodin661,
Я честно говоря, с PowerShell первый раз работаю.
Мне чтобы запускать, можно воспользоваться двумя вариантами:
1. Создать файл в формате .ps1 и запустить?
2. Через ISP запускать скрипт, верно?
Или же зайти в саму панель PowerShell, проследовать до необходимой папки и запустить команду?

YuS_2 · 20.12.2017, 00:23

Попробуйте такой вариант:

PowerShell
1
2
3
4
5
6
7
8
9
10
$fld = 'c:\temp\_files_\'
$lst = 'c:\temp\list.txt'
function remov ($files){
    process {
        foreach ($file in $files){
            ri $fld$file -force -ea 0
        }
    }
}
remov $(gc $lst)

Статистика:
10000 файлов, удаление из них по списку 5000 - 10 сек.
50000 файлов, удаление 25000 - 57 сек.
100000 файлов, удаление 50000 - 124 сек.
...

@maksimkaa · 20.12.2017, 00:26 **[ТС]**

YuS_2, _Files_ - вот эти нижние подчеркивания в названии файла обязательны?

YuS_2 · 20.12.2017, 00:36

Сообщение от maksimkaa

вот эти нижние подчеркивания в названии файла обязательны?

А это похоже на название файла?

Это каталог, в котором осуществляется удаление файлов. Для Вас, специально вынесены в отдельные строки с присвоением переменным, наименование каталога и наименование файла со списком. Использовать можете любые допустимые наименования.

@maksimkaa · 20.12.2017, 00:48 **[ТС]**

YuS_2, Я не так выразился))))
Завтра буду пробовать

YuS_2 · 20.12.2017, 00:56

Вообще, этот же код можно записать и без цикла, только прироста скорости это особого не дает. Но попробуйте на большом количестве файлов, может быть и будет какой-либо эффект:

PowerShell
1
2
3
4
5
6
7
8
$fld = 'c:\temp\_fil es_\'
$lst = 'c:\temp\list.txt'
function remov {
    process {
        ri $fld$_ -force -ea 0
    }
}
gc $lst|remov

volodin661 · 20.12.2017, 04:13

Сообщение от v_svitere

PowerShell
1
"C:\Temp\_Files\$line"

Вот такие конструкции немного режут глаз

Я протестую. Разработчики powershell не скрывают влияния Perl на дизайн языка
и заимствования из него некоторых идей и синтаксиса, а в Perl вышеуказанные конструкции
являются вполне употребимыми.

можно и вот так:

PowerShell
1
2
${некоторый временный файл} = "bxusgyt3eftf365fe2356fe2";
"C:\Temp\_Files\${некоторый временный файл}"

@v_svitere · 20.12.2017, 10:15

volodin661,

Я протестую

Протест принят)

Мне уже показали пользу от такого подхода)

Новые блоги и статьи Все статьи Все блоги /
Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37

	Работа с большим массивом файлов 19.12.2017, 12:30. Показов 4164. Ответов 82 Метки нет (Все метки) Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает. Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 16:28 [ТС]
	KDE777, При запуске скрипта, также окно быстро открывается и закрывается. Не ошибок ничего не выдает. Обновил PowerShell, ситуация такая же. Через ISP, пишет что скрипт выполняется (последний). Нет, все таки в конце ISP вылетел 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 17:08 [ТС]
	KDE777, При выполнении скрипта из ответа 7, в ISP 5ой версии, сверху, я так понимаю где лог пишется, мелькают строчки: Running 1.18: RemoveItem line:5 char:5 И такая же строчка, только в начале там Failed. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 17:18 [ТС]
	KDE777, Сначала пишет ranned и через секунду failed 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 17:59 [ТС]
	KDE777, Скрипт не удаляет 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 00:10 [ТС]
	volodin661, Я честно говоря, с PowerShell первый раз работаю. Мне чтобы запускать, можно воспользоваться двумя вариантами: 1. Создать файл в формате .ps1 и запустить? 2. Через ISP запускать скрипт, верно? Или же зайти в саму панель PowerShell, проследовать до необходимой папки и запустить команду? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 00:26 [ТС]
	YuS_2, _Files_ - вот эти нижние подчеркивания в названии файла обязательны? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 00:48 [ТС]
	YuS_2, Я не так выразился)))) Завтра буду пробовать 0