__PION__

Возникла такая задача -
есть сервак с ~ 50 Т всякого рода медиа-файлов (.vob (в этом случае может быть папка VIDEO_TS), .avi, .mp3, .flv ...).
Во всей этой куче есть одна нехорошесть - некоторые файлы повторяются (точнее, содержимое файлов), например, фильм "Thor" может быть как в формате .avi, так и .mpeg, у них разное качество, вес,...
Необходимо удалить все не нужные (повторяющиеся) файлы. Желательно оставляя качественные. Узнать их можно по названиям, например - Thor.avi, Thor.vob, Тор.avi, ...

Я вижу 2 решения:
1) Автоматом проходить по всем папкам (уровень вложений разный), если получится, по ходу их сравнивать (не всегда тяжелый файл означает качественный) и удалять худший.
2) Пробежаться по папкам, найти совпадающие по названию (лат., кирил.) файлы и предоставить админу сделать выбор, выставив список (в всплывающем окне, например) найденных файлов с их характеристиками.

Кроме того, процесс работы проги не должно влиять на скорость и работоспособность системы.

Есть ли такие проги, если нет можно ли такое написать и сколько примерно это будет стоить?

да, забыл, исполнение может быть на любом языке

0

__PION__

странная реакция.. у СИ'шников

0

@gazlan

Почти решением может быть (медийный) каталогизатор, умеюший извлекать характеристики видеофайлов: отсортировать в нем все найденное и удалить дубликаты вручную.

Посмотрите, например, WhereIsIt - таких немало, как вариант можно автоматически распарсить отчет программы итд.

В любом случае, без создания полной базы файлов, дубликаты не найти, а хранение еще и параметров не так уж сильно скажется на общем размере и времени работы. Остальное можно сделать даже каким-нибудь скриптом.

1

__PION__

gazlan, о какой базе идет речь? Чтобы воспользоваться прогой, которую ты посоветовал, нужно еще что-то сделать?

0

@gazlan

Очевидно, речь идет о списке (базе) всех видеофайлов с их атрибутами. Полная задача может быть разбита на три:
1. Создание базы файлов
2. Поиск дубликатов
3. Выбор и удаление

Каталогизатор оптимизирован для решения первой задачи и (в "ручном режиме") может быть использован для двух оставшихся.

0

__PION__

так файлы уже есть, почти всю память занимают (~ 50 T)
так и без этой проги можно вручную находить, сравнивать и удалять файлы, но это такая ж.
или я чего-то не понял?
База файлов, это то же самое, что просто файлы на диске (например, на диске D: ) или что-то другое?

0

@gazlan

Другое. К тому же база имен будет на порядки меньше по размеру, чем набор дисковых медиафайлов.

То есть, файловая система - это, разумеется, DB, но DB каталогизатора обеспечивает другие удобные возможности, в частности сортировку по имени файла без учета пути, хранение атрибутов медиафайлов итп.

Кроме того, каталогизатор уже оптимизирован под сканирование, поиск и хранение, нет нужды думать об этой части работы. Но поиск дубликатов, обычно, не предусмотрен, поэтому создав базу, придется сгенерировать текстовый отчет - сортированный список, с указанием нужных реквизитов, включая полный путь к файлу.

Создание такого списка - первый этап любой обработки. Как именно вы его получите - неважно, но если воспользоваться готовым каталогизатором, то вам не придется писать и отлаживать этот код.

Имея сортированный список, легко получить из него список дубликатов.

Иными словами, готовая программа сканирования диска может избавить вас от большей части работы.

1

__PION__

текстовый отчет генерирует каталогизатор или как-то отдельно нужно это делать, если отдельно, то как? И где он хранится?

0

@gazlan

Смотря что найдете. Обычно, есть опции генерации отчета в ASCII/HTML... может быть еще с полдюжины других форматов. Читайте справку по выбранной программе, обычно, это либо пункт меню Report, либо Export.

1

volodin661

НЕДОРОГО.

Если пришлёшь листинг каталогов, то задача по оценке сильно упростится

А использовать, как советовали, каталогизатор с возможностью отчётов и последующее их распарсивание - здравая идея.

1

__PION__

я вот, тоже думаю сначала попробовать каталогизатор, если не понравится, уже заказать прогу, которая решает эту проблему.
Не совсем пойму этот момент отчеты пишет и парсит (куда он их парсит и для чего) сам каталогизатор или я должен другую программу для этого использовать?

Добавлено через 3 минуты
не заметил последний комментарий gazlan

0