Форум программистов, компьютерный форум, киберфорум
C++
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
960 / 801 / 85
Регистрация: 21.07.2010
Сообщений: 3,522
1

Удаление некоторых файлов с диска

12.12.2013, 19:44. Показов 1110. Ответов 10
Метки нет (Все метки)

Возникла такая задача -
есть сервак с ~ 50 Т всякого рода медиа-файлов (.vob (в этом случае может быть папка VIDEO_TS), .avi, .mp3, .flv ...).
Во всей этой куче есть одна нехорошесть - некоторые файлы повторяются (точнее, содержимое файлов), например, фильм "Thor" может быть как в формате .avi, так и .mpeg, у них разное качество, вес,...
Необходимо удалить все не нужные (повторяющиеся) файлы. Желательно оставляя качественные. Узнать их можно по названиям, например - Thor.avi, Thor.vob, Тор.avi, ...

Я вижу 2 решения:
1) Автоматом проходить по всем папкам (уровень вложений разный), если получится, по ходу их сравнивать (не всегда тяжелый файл означает качественный) и удалять худший.
2) Пробежаться по папкам, найти совпадающие по названию (лат., кирил.) файлы и предоставить админу сделать выбор, выставив список (в всплывающем окне, например) найденных файлов с их характеристиками.

Кроме того, процесс работы проги не должно влиять на скорость и работоспособность системы.

Есть ли такие проги, если нет можно ли такое написать и сколько примерно это будет стоить?

да, забыл, исполнение может быть на любом языке
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
12.12.2013, 19:44
Ответы с готовыми решениями:

Удаление файлов с жесткого диска
Ребят помогите. Я хочу написать код программы, которая будет удалять файлы с жесткого диска, но...

Удаление некоторых файлов с диска 2
это копия темы из раздела СИ++. там че-то никак не среагировали, а проблему нужно решить. Прошу...

Почему надпись локального диска С и некоторых файлов стала отображаться синим цветом?
Подскажите,почему надпись Локального диска С и некоторых файлов стала отображаться синим цветом?

Удаление файлов и папок кроме некоторых Ubuntu 16.04
Подскажите как удалить файлы и папки кроме одной? В Ubuntu 16.04. Сама папка находится по такому...

10
960 / 801 / 85
Регистрация: 21.07.2010
Сообщений: 3,522
14.12.2013, 03:38  [ТС] 2
странная реакция.. у СИ'шников
0
3171 / 1930 / 313
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
14.12.2013, 04:19 3
Цитата Сообщение от Love_and_Peace Посмотреть сообщение
и предоставить админу сделать выбор
Почти решением может быть (медийный) каталогизатор, умеюший извлекать характеристики видеофайлов: отсортировать в нем все найденное и удалить дубликаты вручную.

Посмотрите, например, WhereIsIt - таких немало, как вариант можно автоматически распарсить отчет программы итд.

В любом случае, без создания полной базы файлов, дубликаты не найти, а хранение еще и параметров не так уж сильно скажется на общем размере и времени работы. Остальное можно сделать даже каким-нибудь скриптом.
1
960 / 801 / 85
Регистрация: 21.07.2010
Сообщений: 3,522
14.12.2013, 18:26  [ТС] 4
Цитата Сообщение от gazlan Посмотреть сообщение
В любом случае, без создания полной базы файлов, дубликаты не найти
gazlan, о какой базе идет речь? Чтобы воспользоваться прогой, которую ты посоветовал, нужно еще что-то сделать?
0
3171 / 1930 / 313
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
14.12.2013, 19:01 5
Очевидно, речь идет о списке (базе) всех видеофайлов с их атрибутами. Полная задача может быть разбита на три:
1. Создание базы файлов
2. Поиск дубликатов
3. Выбор и удаление

Каталогизатор оптимизирован для решения первой задачи и (в "ручном режиме") может быть использован для двух оставшихся.
0
960 / 801 / 85
Регистрация: 21.07.2010
Сообщений: 3,522
14.12.2013, 20:06  [ТС] 6
Цитата Сообщение от gazlan Посмотреть сообщение
1. Создание базы файлов
так файлы уже есть, почти всю память занимают (~ 50 T)
Цитата Сообщение от gazlan Посмотреть сообщение
и (в "ручном режиме") может быть использован для двух оставшихся.
так и без этой проги можно вручную находить, сравнивать и удалять файлы, но это такая ж.
или я чего-то не понял?
База файлов, это то же самое, что просто файлы на диске (например, на диске D: ) или что-то другое?
0
3171 / 1930 / 313
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
14.12.2013, 21:03 7
Цитата Сообщение от Love_and_Peace Посмотреть сообщение
База файлов, это то же самое, что просто файлы на диске
Другое. К тому же база имен будет на порядки меньше по размеру, чем набор дисковых медиафайлов.

То есть, файловая система - это, разумеется, DB, но DB каталогизатора обеспечивает другие удобные возможности, в частности сортировку по имени файла без учета пути, хранение атрибутов медиафайлов итп.

Кроме того, каталогизатор уже оптимизирован под сканирование, поиск и хранение, нет нужды думать об этой части работы. Но поиск дубликатов, обычно, не предусмотрен, поэтому создав базу, придется сгенерировать текстовый отчет - сортированный список, с указанием нужных реквизитов, включая полный путь к файлу.

Создание такого списка - первый этап любой обработки. Как именно вы его получите - неважно, но если воспользоваться готовым каталогизатором, то вам не придется писать и отлаживать этот код.

Имея сортированный список, легко получить из него список дубликатов.

Иными словами, готовая программа сканирования диска может избавить вас от большей части работы.
1
960 / 801 / 85
Регистрация: 21.07.2010
Сообщений: 3,522
16.12.2013, 02:39  [ТС] 8
Цитата Сообщение от gazlan Посмотреть сообщение
придется сгенерировать текстовый отчет - сортированный список, с указанием нужных реквизитов, включая полный путь к файлу.
текстовый отчет генерирует каталогизатор или как-то отдельно нужно это делать, если отдельно, то как? И где он хранится?
0
3171 / 1930 / 313
Регистрация: 27.08.2010
Сообщений: 5,131
Записей в блоге: 1
16.12.2013, 04:39 9
Смотря что найдете. Обычно, есть опции генерации отчета в ASCII/HTML... может быть еще с полдюжины других форматов. Читайте справку по выбранной программе, обычно, это либо пункт меню Report, либо Export.
1
3891 / 1530 / 261
Регистрация: 10.12.2013
Сообщений: 5,244
16.12.2013, 05:00 10
Цитата Сообщение от Love_and_Peace Посмотреть сообщение
Возникла такая задача -
есть сервак с ~ 50 Т всякого рода медиа-файлов (.vob (в этом случае может быть папка VIDEO_TS), .avi, .mp3, .flv ...).
Во всей этой куче есть одна нехорошесть - некоторые файлы повторяются (точнее, содержимое файлов), например, фильм "Thor" может быть как в формате .avi, так и .mpeg, у них разное качество, вес,...
Необходимо удалить все не нужные (повторяющиеся) файлы. Желательно оставляя качественные. Узнать их можно по названиям, например - Thor.avi, Thor.vob, Тор.avi, ...

Я вижу 2 решения:
1) Автоматом проходить по всем папкам (уровень вложений разный), если получится, по ходу их сравнивать (не всегда тяжелый файл означает качественный) и удалять худший.
2) Пробежаться по папкам, найти совпадающие по названию (лат., кирил.) файлы и предоставить админу сделать выбор, выставив список (в всплывающем окне, например) найденных файлов с их характеристиками.

Кроме того, процесс работы проги не должно влиять на скорость и работоспособность системы.

Есть ли такие проги, если нет можно ли такое написать и сколько примерно это будет стоить?


да, забыл, исполнение может быть на любом языке

Есть ли такие проги, если нет можно ли такое написать и сколько примерно это будет стоить?
НЕДОРОГО.

Если пришлёшь листинг каталогов, то задача по оценке сильно упростится

А использовать, как советовали, каталогизатор с возможностью отчётов и последующее их распарсивание - здравая идея.
1
960 / 801 / 85
Регистрация: 21.07.2010
Сообщений: 3,522
16.12.2013, 11:37  [ТС] 11
я вот, тоже думаю сначала попробовать каталогизатор, если не понравится, уже заказать прогу, которая решает эту проблему.
Не совсем пойму этот момент
Цитата Сообщение от volodin661 Посмотреть сообщение
с возможностью отчётов и последующее их распарсивание
отчеты пишет и парсит (куда он их парсит и для чего) сам каталогизатор или я должен другую программу для этого использовать?

Добавлено через 3 минуты
Цитата Сообщение от Love_and_Peace Посмотреть сообщение
отчеты пишет и парсит (куда он их парсит и для чего) сам каталогизатор или я должен другую программу для этого использовать?
не заметил последний комментарий gazlan
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
16.12.2013, 11:37

Восстановление Windows 7 после удаление некоторых системных файлов
Ребята здравствуйте, есть возможность восстановить Windows 7 после удаление некоторые системные...

Запрет на удаление файлов с диска
Подскажите, почему программа не выполняет свои функции, все компилируется и создается, но файлы...

Удаление системных файлов с жесткого диска
Как удалить с жесткого диска системные файлы, которые обычным способом не удаляются? Конкретно...

Запись и удаление файлов с гибкого магнитного диска
Здравствуйте. У меня в проге 3 проблеммы. #include <stdio.h> #include <stdlib.h> #include...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.