Работа с большим массивом файлов

@maksimkaa · Регистрация: 19.12.2017

Студворк — интернет-сервис помощи студентам

Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает.
Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки.

@KDE777 · 19.12.2017, 15:24

Сообщение от maksimkaa

"Не удается найти параметр, соответствующий имени параметра File"

Скрипт из ответа #7 у вас не заработает, пока вы не обновите PowerShell хотя бы до версии 3.

Добавлено через 4 минуты

Сообщение от v_svitere

Это да, но предположу, что подобный подход можно реализовать и на 2.0

Возможно, но в качестве альтернативы Workflow мне приходит в голову Start-Job, а для него тоже нужен PS3...

@v_svitere · 19.12.2017, 15:27

KDE777,

Возможно, но в качестве альтернативы Workflow мне приходит в голову Start-Job, а для него тоже нужен PS3...

Я скорее в сторону NETFrameWork думал.

Добавлено через 54 секунды
Ну это не столь важно

@KDE777 · 19.12.2017, 15:50

maksimkaa, если обновить PS возможности нет, то самый простой вариант скрипта:

PowerShell
1
2
3
4
foreach ($line in Get-Content -Path "C:\Temp\file_list.txt")
{
    Remove-Item -Path "C:\Temp\_Files\$line" -Force -EA SilentlyContinue
}

"C:\Temp\file_list.txt" - список с именами файлов для удаления.
"C:\Temp\_Files" - папки с файлами для удаления.

@maksimkaa · 19.12.2017, 16:28 **[ТС]**

KDE777,
При запуске скрипта, также окно быстро открывается и закрывается. Не ошибок ничего не выдает.
Обновил PowerShell, ситуация такая же.
Через ISP, пишет что скрипт выполняется (последний).

Нет, все таки в конце ISP вылетел

@KDE777 · 19.12.2017, 16:38

Сообщение от maksimkaa

При запуске скрипта, также окно быстро открывается и закрывается. Не ошибок ничего не выдает. Обновил PowerShell, ситуация такая же.

Я просил "Откройте PowerShell_ISE, скопируйте туда скрипт и запустите выполнение в этой оболочке", никаких открывающихся/закрывающихся окон при этом быть не должно, а все результаты/ошибки выполнения отображаются в консоли снизу.

@maksimkaa · 19.12.2017, 17:08 **[ТС]**

KDE777, При выполнении скрипта из ответа 7, в ISP 5ой версии, сверху, я так понимаю где лог пишется, мелькают строчки: Running 1.18: RemoveItem line:5 char:5
И такая же строчка, только в начале там Failed.

@KDE777 · 19.12.2017, 17:15

Сообщение от maksimkaa

При выполнении скрипта из ответа 7, в ISP 5ой версии, сверху, я так понимаю где лог пишется, мелькают строчки: Running 1.18: RemoveItem line:5 char:5

Это не ошибка, а индикатор выполнения Workflow. А мелькает, потому что выполнение Workflow-удаления, раз за разом повторяется в цикле.

Сообщение от maksimkaa

И такая же строчка, только в начале там Failed.

Не понял - что это и где.

Так стали у вас удаляться файлы?

@maksimkaa · 19.12.2017, 17:18 **[ТС]**

KDE777, Сначала пишет ranned и через секунду failed

@KDE777 · 19.12.2017, 17:32

Сообщение от maksimkaa

Сначала пишет ranned и через секунду failed

Удалите из скрипта "-EA SilentlyContinue" и посмотрите, что за ошибки возникают при выполнение Remove-Item

Вот как выполняется удаление у меня:

@maksimkaa · 19.12.2017, 17:59 **[ТС]**

KDE777, Скрипт не удаляет

@KDE777 · 19.12.2017, 18:03

Сообщение от maksimkaa

Скрипт не удаляет

Ни один из предложенных здесь вариантов?

Вы это пробовали - "Удалите из скрипта "-EA SilentlyContinue" и посмотрите, что за ошибки возникают при выполнение Remove-Item"?

@volodin661 · 19.12.2017, 23:51

Усложняете?

PowerShell
1
foreach ($filename in [System.IO.File]::ReadLines("spisok.txt")) { Remove-Item $filename }

( Версия pwsh должна быть 5.1, как я уже говорил maksimkaa )

@maksimkaa · 20.12.2017, 00:10 **[ТС]**

volodin661,
Я честно говоря, с PowerShell первый раз работаю.
Мне чтобы запускать, можно воспользоваться двумя вариантами:
1. Создать файл в формате .ps1 и запустить?
2. Через ISP запускать скрипт, верно?
Или же зайти в саму панель PowerShell, проследовать до необходимой папки и запустить команду?

YuS_2 · 20.12.2017, 00:23

Попробуйте такой вариант:

PowerShell
1
2
3
4
5
6
7
8
9
10
$fld = 'c:\temp\_files_\'
$lst = 'c:\temp\list.txt'
function remov ($files){
    process {
        foreach ($file in $files){
            ri $fld$file -force -ea 0
        }
    }
}
remov $(gc $lst)

Статистика:
10000 файлов, удаление из них по списку 5000 - 10 сек.
50000 файлов, удаление 25000 - 57 сек.
100000 файлов, удаление 50000 - 124 сек.
...

@maksimkaa · 20.12.2017, 00:26 **[ТС]**

YuS_2, _Files_ - вот эти нижние подчеркивания в названии файла обязательны?

YuS_2 · 20.12.2017, 00:36

Сообщение от maksimkaa

вот эти нижние подчеркивания в названии файла обязательны?

А это похоже на название файла?

Это каталог, в котором осуществляется удаление файлов. Для Вас, специально вынесены в отдельные строки с присвоением переменным, наименование каталога и наименование файла со списком. Использовать можете любые допустимые наименования.

@maksimkaa · 20.12.2017, 00:48 **[ТС]**

YuS_2, Я не так выразился))))
Завтра буду пробовать

YuS_2 · 20.12.2017, 00:56

Вообще, этот же код можно записать и без цикла, только прироста скорости это особого не дает. Но попробуйте на большом количестве файлов, может быть и будет какой-либо эффект:

PowerShell
1
2
3
4
5
6
7
8
$fld = 'c:\temp\_fil es_\'
$lst = 'c:\temp\list.txt'
function remov {
    process {
        ri $fld$_ -force -ea 0
    }
}
gc $lst|remov

@volodin661 · 20.12.2017, 04:13

Сообщение от v_svitere

PowerShell
1
"C:\Temp\_Files\$line"

Вот такие конструкции немного режут глаз

Я протестую. Разработчики powershell не скрывают влияния Perl на дизайн языка
и заимствования из него некоторых идей и синтаксиса, а в Perl вышеуказанные конструкции
являются вполне употребимыми.

можно и вот так:

PowerShell
1
2
${некоторый временный файл} = "bxusgyt3eftf365fe2356fe2";
"C:\Temp\_Files\${некоторый временный файл}"

@v_svitere · 20.12.2017, 10:15

volodin661,

Я протестую

Протест принят)

Мне уже показали пользу от такого подхода)

Новые блоги и статьи Все статьи Все блоги /
FPS контроллер с анимированными Y-Bot и 3D-звуком miniaudio (Box3D, Recast, BehaviorTree.CPP, ozz-animation, ImGui, OpenGL и SDL3) 8Observer8 18.10.2026 Содержание блога \| English Version Полное мультиплатформенное руководство по стартовому проекту с FPS-контроллером игрока, анимированными роботами Y-Bot с 4-слойным блендингом, 3D-физикой Box3D,. . .	Локальный http сервер Argus19 17.10.2026 Локальный http сервер На работе, на двух локальных компьютерах круглосуточно работают программы опроса приборов с записью в книги Excel,которые раз в сутки записываются на сервер компании. Т. к. . . .	Копировать Windows на новый диск на UEFI damix 17.10.2026 https:/ / uriesk. wordpress. com/ 2016/ 11/ 01/ move-window-10-to-ssd-on-a-uefi-dualboot-system-with-basic-linux-tools/ TL DR Вставляем диск, а старый подключаем через переходник, грузимся с лайва. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .
Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37

	Работа с большим массивом файлов 19.12.2017, 12:30. Показов 4892. Ответов 82 Метки нет (Все метки) Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает. Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 16:28 [ТС]
	KDE777, При запуске скрипта, также окно быстро открывается и закрывается. Не ошибок ничего не выдает. Обновил PowerShell, ситуация такая же. Через ISP, пишет что скрипт выполняется (последний). Нет, все таки в конце ISP вылетел 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 17:08 [ТС]
	KDE777, При выполнении скрипта из ответа 7, в ISP 5ой версии, сверху, я так понимаю где лог пишется, мелькают строчки: Running 1.18: RemoveItem line:5 char:5 И такая же строчка, только в начале там Failed. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 17:18 [ТС]
	KDE777, Сначала пишет ranned и через секунду failed 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	19.12.2017, 17:59 [ТС]
	KDE777, Скрипт не удаляет 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 00:10 [ТС]
	volodin661, Я честно говоря, с PowerShell первый раз работаю. Мне чтобы запускать, можно воспользоваться двумя вариантами: 1. Создать файл в формате .ps1 и запустить? 2. Через ISP запускать скрипт, верно? Или же зайти в саму панель PowerShell, проследовать до необходимой папки и запустить команду? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 00:26 [ТС]
	YuS_2, _Files_ - вот эти нижние подчеркивания в названии файла обязательны? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 00:48 [ТС]
	YuS_2, Я не так выразился)))) Завтра буду пробовать 0