Работа с большим массивом файлов

@maksimkaa · Регистрация: 19.12.2017

Студворк — интернет-сервис помощи студентам

Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает.
Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки.

@maksimkaa · 20.12.2017, 10:41 **[ТС]**

YuS_2, Запустил ваш скрипт, пока что открылся только экран командной строки и мелькающая "_". Через 5 минут выкинул уведомление о недостатке памяти.

@KDE777 · 20.12.2017, 10:56

maksimkaa пишет - "Через 5 минут выкинул уведомление о недостатке памяти". YuS_2, вот поэтому я, учитывая 4М записей и предложил вариант с Get-Content -ReadCount

Так же, для решения этой проблемы хорошо подходит вариант предложенный volodin661 - [System.IO.File]::ReadLines

@volodin661 · 20.12.2017, 10:57

Попробуй #32, не вижу ни одной причины, чтобы не отработало.

@KDE777 · 20.12.2017, 11:02

Вот ещё вариант, гарантированно не тратящий память при работе с огромными текстами:

PowerShell
1
2
$reader = [System.IO.File]::OpenText($file)
while (!$reader.EndOfStream) {$str = $reader.ReadLine()}

@maksimkaa · 20.12.2017, 11:25 **[ТС]**

KDE777, Либо я не понимаю что то, либо что то ещё, но как его запускать?)))

@v_svitere · 20.12.2017, 11:33

maksimkaa, Вы бы уже почитали хотя бы основы.
День прошел...

@KDE777 · 20.12.2017, 11:36

Сообщение от maksimkaa

Либо я не понимаю что то, либо что то ещё, но как его запускать?)))

PowerShell
1
2
$reader = [System.IO.File]::OpenText("C:\Temp\file_list.txt")
while (!$reader.EndOfStream) {Remove-Item -Path "C:\Temp\_Files\$($reader.ReadLine())" -Force}

Но вам и без этого уже предложили несколько гарантированно работающих вариантов. С чем у вас до сих проблема?

Кстати, в списке есть имена файлов на кириллице?

YuS_2 · 20.12.2017, 11:43

Сообщение от KDE777

YuS_2, вот поэтому я, учитывая 4М записей и предложил вариант с Get-Content -ReadCount

У меня этот вариант надолго завис в работе, а терпения, чтобы дождаться окончания, у меня не хватило, потому и предложил немного другой код, который у меня отработал

... при этом Ваш код даже не попытался удалить файлы, совсем ни одного, разбираться в причинах не стал.

@maksimkaa · 20.12.2017, 11:50 **[ТС]**

KDE777, Там везде Кириллица.

@KDE777 · 20.12.2017, 12:00

Сообщение от YuS_2

У меня этот вариант надолго завис в работе, а терпения, чтобы дождаться окончания, у меня не хватило, потому и предложил немного другой код, который у меня отработал ... при этом Ваш код даже не попытался удалить файлы, совсем ни одного, разбираться в причинах не стал.

Как я уже объяснял выше, необходимо указывать ReadCount в соответствие с возможностями вашего железа. Ставите 10 вместо 1000 и дожидаться начала удаления не придётся.

Сообщение от maksimkaa

Там везде Кириллица.

Существенное дополнение, тогда какой из этих вариантов выводит на экран корректные имена?

PowerShell
1
2
3
4
5
6
#1
gc "C:\Temp\file_list.txt" -Encoding Default
#2
gc "C:\Temp\file_list.txt" -Encoding Unicode
#3
gc "C:\Temp\file_list.txt" -Encoding Ascii

@maksimkaa · 20.12.2017, 12:03 **[ТС]**

KDE777, Если запускать просто файл с расширением ps1, то просто чёрный экран. Через isp я ещё не пробовал сегодня запускать.

@KDE777 · 20.12.2017, 12:11

Сообщение от maksimkaa

Если запускать просто файл с расширением ps1, то просто чёрный экран

Как бы это не запускали, если указать вместо "C:\Temp\file_list.txt" ваш список (путь и имя), то на экране должно выводится содержимое текстового файла.

PowerShell
1
gc "C:\Temp\file_list.txt" -Encoding Default -ReadCount 1

Сообщение от maksimkaa

Через isp я ещё не пробовал сегодня запускать.

А что мешает?

Я вам ещё вчера написал - "И лучше сначала сделать тестовую папку и отработать выполнение на ней". Неужели трудно сделать папку с десятком файлов и проверить работу предложенных вам вариантов???

@maksimkaa · 20.12.2017, 12:20 **[ТС]**

KDE777, Код из последнего сообщения к какой программе относится?

@KDE777 · 20.12.2017, 12:23

Сообщение от maksimkaa

Код из последнего сообщения к какой программе относится?

"Windows > Администрирование Windows > PowerShell"

@maksimkaa · 20.12.2017, 12:24 **[ТС]**

KDE777, К скрипту из какого сообщения?

@KDE777 · 20.12.2017, 12:29

Сообщение от maksimkaa

К скрипту из какого сообщения?

Ни к какому. Просто выполните это, чтобы проверить, что кодировка вашего списка понятна для PS

@maksimkaa · 20.12.2017, 12:30 **[ТС]**

KDE777, А с кириллицей что?

YuS_2 · 20.12.2017, 12:34

Сообщение от KDE777

дожидаться начала удаления не придётся.

Ну, не знаю, возможно... тут ещё вопрос какой именно код запускал ТС, ибо:

PowerShell
1
2
3
4
function test {
    process {"Процесс: $_"}
}
1..100|test

- по конвееру передает данные по мере считывания, а не дожидаясь получения всего и сразу... т.е., по идее, память не должна безбожно расходоваться...

@KDE777 · 20.12.2017, 12:42

Сообщение от maksimkaa

А с кириллицей что?

Всё с ней отлично.

Для продолжения конструктивной беседы, ответьте прежде вы на вопросы из #31 и #50

Добавлено через 5 минут

Сообщение от YuS_2

Ну, не знаю, возможно... тут ещё вопрос какой именно код запускал ТС

Я тут не спорю. Что и как запускает maksimkaa из всего здесь предложенного понять очень трудно

, но ваш вариант из #34 - remov $(gc $lst) - точно не учитывал возможный расход памяти.

YuS_2 · 20.12.2017, 12:51

Сообщение от KDE777

точно не учитывал возможный расход памяти.

Согласен. И даже более того, он преднамеренно использует наибольший расход на считывание всех данных и размещение их в памяти (из расчета на ускорение)... но, видимо, ресурсы, всё же, не бесконечны, увы.

Новые блоги и статьи Все статьи Все блоги /
Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37

	Работа с большим массивом файлов 19.12.2017, 12:30. Показов 4805. Ответов 82 Метки нет (Все метки) Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает. Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 10:41 [ТС]
	YuS_2, Запустил ваш скрипт, пока что открылся только экран командной строки и мелькающая "_". Через 5 минут выкинул уведомление о недостатке памяти. 0

@KDE777 1887 / 1109 / 428 Регистрация: 22.01.2016 Сообщений: 3,050
	20.12.2017, 10:56
	maksimkaa пишет - "Через 5 минут выкинул уведомление о недостатке памяти". YuS_2, вот поэтому я, учитывая 4М записей и предложил вариант с Get-Content -ReadCount Так же, для решения этой проблемы хорошо подходит вариант предложенный volodin661 - [System.IO.File]::ReadLines 0

@volodin661 7151 / 2339 / 353 Регистрация: 10.12.2013 Сообщений: 8,115
	20.12.2017, 10:57
	Попробуй #32, не вижу ни одной причины, чтобы не отработало. 1

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 11:25 [ТС]
	KDE777, Либо я не понимаю что то, либо что то ещё, но как его запускать?))) 0

@v_svitere 774 / 423 / 137 Регистрация: 03.06.2009 Сообщений: 1,223 Записей в блоге: 4
	20.12.2017, 11:33
	maksimkaa, Вы бы уже почитали хотя бы основы. День прошел... 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 11:50 [ТС]
	KDE777, Там везде Кириллица. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:03 [ТС]
	KDE777, Если запускать просто файл с расширением ps1, то просто чёрный экран. Через isp я ещё не пробовал сегодня запускать. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:20 [ТС]
	KDE777, Код из последнего сообщения к какой программе относится? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:24 [ТС]
	KDE777, К скрипту из какого сообщения? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:30 [ТС]
	KDE777, А с кириллицей что? 0