Работа с большим массивом файлов

@maksimkaa · Регистрация: 19.12.2017

Студворк — интернет-сервис помощи студентам

Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает.
Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки.

@maksimkaa · 20.12.2017, 10:41 **[ТС]**

YuS_2, Запустил ваш скрипт, пока что открылся только экран командной строки и мелькающая "_". Через 5 минут выкинул уведомление о недостатке памяти.

@KDE777 · 20.12.2017, 10:56

maksimkaa пишет - "Через 5 минут выкинул уведомление о недостатке памяти". YuS_2, вот поэтому я, учитывая 4М записей и предложил вариант с Get-Content -ReadCount

Так же, для решения этой проблемы хорошо подходит вариант предложенный volodin661 - [System.IO.File]::ReadLines

@volodin661 · 20.12.2017, 10:57

Попробуй #32, не вижу ни одной причины, чтобы не отработало.

@KDE777 · 20.12.2017, 11:02

Вот ещё вариант, гарантированно не тратящий память при работе с огромными текстами:

PowerShell
1
2
$reader = [System.IO.File]::OpenText($file)
while (!$reader.EndOfStream) {$str = $reader.ReadLine()}

@maksimkaa · 20.12.2017, 11:25 **[ТС]**

KDE777, Либо я не понимаю что то, либо что то ещё, но как его запускать?)))

@v_svitere · 20.12.2017, 11:33

maksimkaa, Вы бы уже почитали хотя бы основы.
День прошел...

@KDE777 · 20.12.2017, 11:36

Сообщение от maksimkaa

Либо я не понимаю что то, либо что то ещё, но как его запускать?)))

PowerShell
1
2
$reader = [System.IO.File]::OpenText("C:\Temp\file_list.txt")
while (!$reader.EndOfStream) {Remove-Item -Path "C:\Temp\_Files\$($reader.ReadLine())" -Force}

Но вам и без этого уже предложили несколько гарантированно работающих вариантов. С чем у вас до сих проблема?

Кстати, в списке есть имена файлов на кириллице?

YuS_2 · 20.12.2017, 11:43

Сообщение от KDE777

YuS_2, вот поэтому я, учитывая 4М записей и предложил вариант с Get-Content -ReadCount

У меня этот вариант надолго завис в работе, а терпения, чтобы дождаться окончания, у меня не хватило, потому и предложил немного другой код, который у меня отработал

... при этом Ваш код даже не попытался удалить файлы, совсем ни одного, разбираться в причинах не стал.

@maksimkaa · 20.12.2017, 11:50 **[ТС]**

KDE777, Там везде Кириллица.

@KDE777 · 20.12.2017, 12:00

Сообщение от YuS_2

У меня этот вариант надолго завис в работе, а терпения, чтобы дождаться окончания, у меня не хватило, потому и предложил немного другой код, который у меня отработал ... при этом Ваш код даже не попытался удалить файлы, совсем ни одного, разбираться в причинах не стал.

Как я уже объяснял выше, необходимо указывать ReadCount в соответствие с возможностями вашего железа. Ставите 10 вместо 1000 и дожидаться начала удаления не придётся.

Сообщение от maksimkaa

Там везде Кириллица.

Существенное дополнение, тогда какой из этих вариантов выводит на экран корректные имена?

PowerShell
1
2
3
4
5
6
#1
gc "C:\Temp\file_list.txt" -Encoding Default
#2
gc "C:\Temp\file_list.txt" -Encoding Unicode
#3
gc "C:\Temp\file_list.txt" -Encoding Ascii

@maksimkaa · 20.12.2017, 12:03 **[ТС]**

KDE777, Если запускать просто файл с расширением ps1, то просто чёрный экран. Через isp я ещё не пробовал сегодня запускать.

@KDE777 · 20.12.2017, 12:11

Сообщение от maksimkaa

Если запускать просто файл с расширением ps1, то просто чёрный экран

Как бы это не запускали, если указать вместо "C:\Temp\file_list.txt" ваш список (путь и имя), то на экране должно выводится содержимое текстового файла.

PowerShell
1
gc "C:\Temp\file_list.txt" -Encoding Default -ReadCount 1

Сообщение от maksimkaa

Через isp я ещё не пробовал сегодня запускать.

А что мешает?

Я вам ещё вчера написал - "И лучше сначала сделать тестовую папку и отработать выполнение на ней". Неужели трудно сделать папку с десятком файлов и проверить работу предложенных вам вариантов???

@maksimkaa · 20.12.2017, 12:20 **[ТС]**

KDE777, Код из последнего сообщения к какой программе относится?

@KDE777 · 20.12.2017, 12:23

Сообщение от maksimkaa

Код из последнего сообщения к какой программе относится?

"Windows > Администрирование Windows > PowerShell"

@maksimkaa · 20.12.2017, 12:24 **[ТС]**

KDE777, К скрипту из какого сообщения?

@KDE777 · 20.12.2017, 12:29

Сообщение от maksimkaa

К скрипту из какого сообщения?

Ни к какому. Просто выполните это, чтобы проверить, что кодировка вашего списка понятна для PS

@maksimkaa · 20.12.2017, 12:30 **[ТС]**

KDE777, А с кириллицей что?

YuS_2 · 20.12.2017, 12:34

Сообщение от KDE777

дожидаться начала удаления не придётся.

Ну, не знаю, возможно... тут ещё вопрос какой именно код запускал ТС, ибо:

PowerShell
1
2
3
4
function test {
    process {"Процесс: $_"}
}
1..100|test

- по конвееру передает данные по мере считывания, а не дожидаясь получения всего и сразу... т.е., по идее, память не должна безбожно расходоваться...

@KDE777 · 20.12.2017, 12:42

Сообщение от maksimkaa

А с кириллицей что?

Всё с ней отлично.

Для продолжения конструктивной беседы, ответьте прежде вы на вопросы из #31 и #50

Добавлено через 5 минут

Сообщение от YuS_2

Ну, не знаю, возможно... тут ещё вопрос какой именно код запускал ТС

Я тут не спорю. Что и как запускает maksimkaa из всего здесь предложенного понять очень трудно

, но ваш вариант из #34 - remov $(gc $lst) - точно не учитывал возможный расход памяти.

YuS_2 · 20.12.2017, 12:51

Сообщение от KDE777

точно не учитывал возможный расход памяти.

Согласен. И даже более того, он преднамеренно использует наибольший расход на считывание всех данных и размещение их в памяти (из расчета на ускорение)... но, видимо, ресурсы, всё же, не бесконечны, увы.

Новые блоги и статьи Все статьи Все блоги /
Вступаем в новую фазу генерации favicons, векторную. russiannick 02.11.2026 Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .	Генератор паролей (вариант №4) Maks 01.11.2026 После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации: 1. Вернуть возможность использования знаков \| 1 l I;. . .	Генератор паролей (вариант №3) Maks 30.10.2026 Финальная версия генератора паролей 1С. Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .	Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени) zorxor 30.10.2026 Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию? Фраза «Любая достаточно развитая технология неотличима от магии». . .
За какое время ИИ может подобрать пароль по хешу (рассказывает Джемени ИИ) zorxor 30.10.2026 Расскажи, Джемени, если известен хэш МД5, например, за сколько ИИ сможет подобрать соответствующий пароль? Искусственный интеллект (ИИ) может подобрать простой или средний по сложности пароль по. . .	Кто убил Suno? Почему наше солнышко погасло? (диалог с ИИ Джемени) zorxor 30.10.2026 Как убивали Suno. Хронология. «Убийство» музыкальной нейросети Suno — это затяжной процесс, в котором технологический хайп стартапа разбился о жесткую реальность судебных исков от гигантов. . .	Генератор паролей (вариант №2) Maks 30.10.2026 Обновленная версия ранее созданной обработки. Добавлены следующие реквизиты типа Булево: - Буквы; - Цифры; - Символы. Изменена логика команды "Сгенерировать" и процедуры "ПриОткрытии":. . .	Генератор паролей (вариант №1) Maks 29.10.2026 Реализация из решения ниже выполнена исключительно по моей инициативе, дабы облегчить себе работу в создании паролей для администрируемых мною сервисов и пользователей. Самым главным критерием для. . .

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37

	Работа с большим массивом файлов 19.12.2017, 12:30. Показов 4985. Ответов 82 Метки нет (Все метки) Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает. Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 10:41 [ТС]
	YuS_2, Запустил ваш скрипт, пока что открылся только экран командной строки и мелькающая "_". Через 5 минут выкинул уведомление о недостатке памяти. 0

@KDE777 1887 / 1109 / 428 Регистрация: 22.01.2016 Сообщений: 3,050
	20.12.2017, 10:56
	maksimkaa пишет - "Через 5 минут выкинул уведомление о недостатке памяти". YuS_2, вот поэтому я, учитывая 4М записей и предложил вариант с Get-Content -ReadCount Так же, для решения этой проблемы хорошо подходит вариант предложенный volodin661 - [System.IO.File]::ReadLines 0

@volodin661 7180 / 2357 / 354 Регистрация: 10.12.2013 Сообщений: 8,162
	20.12.2017, 10:57
	Попробуй #32, не вижу ни одной причины, чтобы не отработало. 1

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 11:25 [ТС]
	KDE777, Либо я не понимаю что то, либо что то ещё, но как его запускать?))) 0

@v_svitere 774 / 423 / 137 Регистрация: 03.06.2009 Сообщений: 1,223 Записей в блоге: 4
	20.12.2017, 11:33
	maksimkaa, Вы бы уже почитали хотя бы основы. День прошел... 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 11:50 [ТС]
	KDE777, Там везде Кириллица. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:03 [ТС]
	KDE777, Если запускать просто файл с расширением ps1, то просто чёрный экран. Через isp я ещё не пробовал сегодня запускать. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:20 [ТС]
	KDE777, Код из последнего сообщения к какой программе относится? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:24 [ТС]
	KDE777, К скрипту из какого сообщения? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 12:30 [ТС]
	KDE777, А с кириллицей что? 0