Работа с большим массивом файлов

@maksimkaa · Регистрация: 19.12.2017

Студворк — интернет-сервис помощи студентам

Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает.
Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки.

@KDE777 · 20.12.2017, 13:06

Сообщение от YuS_2

преднамеренно использует наибольший расход на считывание всех данных и размещение их в памяти (из расчета на ускорение)

По моему, в контексте этой задачи, временем затраченным на считывание списка, на фоне предстоящих дисковых операций по удалению 4 миллионов файлов, можно просто пренебречь...

@maksimkaa · 20.12.2017, 13:27 **[ТС]**

Отработал скрипт из 38 сообщения, удалил все, кроме текстового файла. И в ISP показывает, что до сих пор выполняется.

YuS_2 · 20.12.2017, 13:35

Сообщение от KDE777

на фоне предстоящих дисковых операций по удалению 4 миллионов файлов, можно просто пренебречь...

Может быть и так...
Кстати:

PowerShell
1
2
3
4
5
6
7
8
9
WorkFlow RemoveItem ($list){
    foreach -parallel ($line in $list){
        Remove-Item -Path "C:\Temp\_Files_\$line" -Force -EA SilentlyContinue
    }
}
 
foreach ($txt_block in Get-Content -Path C:\Temp\list.txt  -ReadCount 10){
    RemoveItem -list $txt_block
}

10000 файлов, удаление из них по списку 5000 -

Code
1
2
3
4
5
6
7
8
9
10
11
Days              : 0
Hours             : 0
Minutes           : 3
Seconds           : 47
Milliseconds      : 181
Ticks             : 2271816718
TotalDays         : 0,00262941749768518
TotalHours        : 0,0631060199444444
TotalMinutes      : 3,78636119666667
TotalSeconds      : 227,1816718
TotalMilliseconds : 227181,6718

- просто статистика.

@maksimkaa · 20.12.2017, 13:42 **[ТС]**

YuS_2, А запускать через что? iSP или как?

YuS_2 · 20.12.2017, 13:42

Сообщение от maksimkaa

удалил все, кроме текстового файла. И в ISP показывает, что до сих пор выполняется.

Он удалит всё, что записано в списке файлов, не более того. Как-то слишком кратко и не совсем понятно Вы описываете результаты...

Скопируйте тот код (#38), создайте и запустите script.ps1... естественно подкорректировав пути и наименование файла со списком.
Ах, да, файл-список лучше формировать в кодировке 1251, как и собственно скрипт... либо указывать необходимую кодировку при использовании командлета Get-Content

@v_svitere · 20.12.2017, 13:46

Не по теме:

Вся эта тема мне напоминает один эксперимент, называется он - китайская комната

@KDE777 · 20.12.2017, 13:53

Сообщение от YuS_2

просто статистика

Охотно верю, для каких-то дисков и 10 параллельных операций смерти подобно. В этом случае никаких WorkFlow не нужно. А бывают дисковые массивы на 24 шпинделя или SSD на PCI-E + NVMe или вовсе сетевой ресурс и тогда уже можно попробовать получить преимущество от многопоточности. Я сразу написал, что это только пример - "Число для ReadCount подберите сами, оно означает по сколько строчек будет считываться из списка и соответственно одновременно удаляться. Т.е. нужно учитывать IOPS вашего диска".

Делаем ReadCount = 1 и удаляем файлы последовательно и при этом не имея проблем с RAM.

@maksimkaa · 20.12.2017, 16:04 **[ТС]**

YuS_2, При запуске сплошняком красный текст с ошибками.

@KDE777 · 20.12.2017, 16:19

Не по теме:

Сообщение от maksimkaa

При запуске сплошняком красный текст с ошибками.

Сейчас достанем хрустальный шар и посмотрим, что там у вас написано красным текстом :)

@maksimkaa · 20.12.2017, 16:27 **[ТС]**

KDE777, Выдает такую ошибку. Удаление не производит.

@KDE777 · 20.12.2017, 16:44

Сообщение от maksimkaa

Выдает такую ошибку. Удаление не производит.

В ошибке сказано, что вы пытаетесь удалить никакой не файл, а папку c:\rsp2, которая в свою очередь содержит в себе дочерние элементы, однако ключ Recurse не указан и поэтому, хотите ли вы продолжить. И так по кругу.

Очевидно, что-то не так с вашим списком для удаления или как-то не так вы вставили в скрипт (кстати какой?) нужные пути и имена папок/файлов.

P.S. Сообщения об ошибках лучше просто скопировать и показать здесь в виде текста.

@maksimkaa · 20.12.2017, 16:48 **[ТС]**

KDE777, Да вроде с путями все нормально. Так ладно, а если я хочу файлы удалить, мне нужно дописать line?

@KDE777 · 20.12.2017, 16:52

Сообщение от maksimkaa

Да вроде с путями все нормально.

Например, такая ошибка будет если в вашем списке есть пустые строчки.

Добавлено через 33 секунды

Сообщение от maksimkaa

Так ладно, а если я хочу файлы удалить, мне нужно дописать line

Не понял о чём вы?

@maksimkaa · 20.12.2017, 16:53 **[ТС]**

KDE777, Сейчас только одна такая строчка вылезла. Из кода в сообщении 63 я удалил $line.

@KDE777 · 20.12.2017, 17:19

Сообщение от maksimkaa

Сейчас только одна такая строчка вылезла. Из кода в сообщении 63 я удалил $line.

И зачем не понимая последствий вы меняете скрипт??? Убрав $line из этого скрипта вы 4 миллиона раз будете пытаться удалить корневую папку со всеми файлами

Вот вам самый простой вариант:

PowerShell
1
2
3
4
5
6
7
8
9
10
# файл со списком для удаления
$List = "C:\Temp\file_list.txt"
 
# путь к папке с файлами для удаления
$Folder = "C:\Temp\_Files"
 
foreach ($file in Get-Content -Path $List -Encoding Default)
{
    if ($file){Remove-Item -Path "$Folder\$file" -Force}
}

От вас требуется только указать файл со списком, путь к папке с файлами для удаления.

И главное проверить, что PowerShell понимает кириллицу в вашем списке:

PowerShell
1
Get-Content -Path "C:\Temp\file_list.txt" -Encoding Default

YuS_2 · 20.12.2017, 19:52

Сообщение от maksimkaa

При запуске сплошняком красный текст с ошибками.

Как?! Ну вот как это можно сделать?

Вот тут Вы пишете:

Сообщение от maksimkaa

Отработал скрипт из 38 сообщения, удалил все, кроме текстового файла.

И после этого:

Сообщение от YuS_2

Скопируйте тот код (#38), создайте и запустите script.ps1... естественно подкорректировав пути и наименование файла со списком.

красный текст...
Вот, правильно же Вам говорят:
Показывайте ошибки, скопировав их прямо из консоли и когда сообщаете об ошибках, уточняйте какой скрипт запускался, да и вообще, лучше его полностью скопировать (надеюсь Ваши пути и название файла не представляют из себя коммерческой тайны?

) и выложить вместе с сообщением об ошибке...

Не по теме:

Сообщение от KDE777

Сейчас достанем хрустальный шар и посмотрим, что там у вас написано красным текстом

Боюсь, тут понадобятся ещё и кофейная гуща, и шаманский бубен... у меня их нет, если что :)

@maksimkaa · 21.12.2017, 09:45 **[ТС]**

KDE777,

проверить, что PowerShell понимает кириллицу в вашем списке:

Этот код нужно дописать к предыдущему (из вашего поста) или отдельно запустить?

@KDE777 · 21.12.2017, 09:56

Сообщение от maksimkaa

Этот код нужно дописать к предыдущему (из вашего поста) или отдельно запустить?

Запустить отдельно, причём перед выполнением скрипта для удаления. Вы должны убедиться, что на экране корректно отображаются имена файлов для удаления.

@maksimkaa · 21.12.2017, 15:10 **[ТС]**

KDE777, Имена отображаются некорректно, вместо русских символов иероглифы.

@KDE777 · 21.12.2017, 15:36

Сообщение от maksimkaa

Имена отображаются некорректно, вместо русских символов иероглифы.

Это я и просил вас проверить ещё в сообщение #50. Вот из-за того, что вы не делаете, что вам посоветовали или не отвечаете на уточняющие вопросы в этой теме уже 6 страниц...

Пересохраните ваш список в Юникоде или Win1251 (как уже тоже вам советовали).

Или попробуйте запустить Get-Content с указанием других кодировок: Unicode, UTF8, UTF7, UTF32, Ascii, Default, Oem (написать после ключа -Encoding)

Новые блоги и статьи Все статьи Все блоги /
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ" Adler 06.10.2026 Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37

	Работа с большим массивом файлов 19.12.2017, 12:30. Показов 4847. Ответов 82 Метки нет (Все метки) Есть задача удалить Файлы из папки по списку txt файла. Пробовал реализовать данную задачу при помощи cmd, но как я пологаю больше 50000 строк он не читает. Если более предметно: в папке лежит 4 500 000 файлов и есть собранный список с 4 000 000 строками. Нужно чтобы проооамма по названию вычисляла файл и удаляла его из папки. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 13:27 [ТС]
	Отработал скрипт из 38 сообщения, удалил все, кроме текстового файла. И в ISP показывает, что до сих пор выполняется. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 13:42 [ТС]
	YuS_2, А запускать через что? iSP или как? 0

@v_svitere
	20.12.2017, 13:46
	Не по теме: Вся эта тема мне напоминает один эксперимент, называется он - китайская комната 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 16:04 [ТС]
	YuS_2, При запуске сплошняком красный текст с ошибками. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 16:27 [ТС]
	KDE777, Выдает такую ошибку. Удаление не производит. Миниатюры 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 16:48 [ТС]
	KDE777, Да вроде с путями все нормально. Так ладно, а если я хочу файлы удалить, мне нужно дописать line? 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	20.12.2017, 16:53 [ТС]
	KDE777, Сейчас только одна такая строчка вылезла. Из кода в сообщении 63 я удалил $line. 0

@maksimkaa 0 / 0 / 0 Регистрация: 19.12.2017 Сообщений: 37
	21.12.2017, 15:10 [ТС]
	KDE777, Имена отображаются некорректно, вместо русских символов иероглифы. 0