Выбор языка. Сортировка файлов

Добрый день!
Просьба дать совет знающим.
О себе - достаточно неплохо программирую на PHP (на мой взгляд), когда-то в консольном варианте пробовал C, Java.
PHP для жизни и работы хватало.

Задача.
На множестве дисков накопилось очень много файлов наверно речь о сотнях тысяч или даже миллионах. В основном фотографии, видео и др. Разобрать вручную практически невозможно. Куча дублей и т.д. и т.п.
Придумал алгоритм, написал программу на PHP, она относительно компактная, но скажем разбор 10 000 файлов идет минут 20 и более. (файлы по нескольку Мб и более). Самый большой минус - идет все в фоне, вывод результатов раз в несколько минут. Но это, все же свойство этого языка и браузеров.

Будет ли все работать быстрее, скажем если использовать C++, C#, Java или что-то другое. Как я понимаю, все же основное время - это работа файловой системы?
И какой язык для этого лучше?

Стандартные готовые продукты вряд ли подойдут, все же алгоритм сильно свой, по специфике моих файлов.

0

Сообщение от VladRost Будет ли все работать быстрее, скажем если использовать C++, C#, Java или что-то другое.

Производительность вашего кода в большей степени зависит от его качества, а не от используемого языка. Грамотный человек может на Питоне написать что-то быстрое, а полный нубас на Си - тормозиллу.

Но если уж сравнивать с языками общего назначения, то лучше использовать C#\Java\Python, а не PHP, который не особо язык общего назначения. Хотя, если вы на этих языках будете писать как на пыхе, то толку от них будет мало...

0

Сообщение от Usaga Производительность вашего кода в большей степени зависит от его качества, а не от используемого языка. Грамотный человек может на Питоне написать что-то быстрое, а полный нубас на Си - тормозиллу. Но если уж сравнивать с языками общего назначения, то лучше использовать C#\Java\Python, а не PHP, который не особо язык общего назначения. Хотя, если вы на этих языках будете писать как на пыхе, то толку от них будет мало...

Это понятно, что лучше быть богатым и здоровым.
А по существу - код написанный одним человеком будет ли работать быстрее?
Или в данной задаче основное замедление - это работа HDD?

Работа программы с файлами ведется на одном HDD, для ускорения работы.

0

Сообщение от VladRost А по существу - код написанный одним человеком будет ли работать быстрее?

Перефразирую свой тезис: решает не столько язык, сколько ваши навыки разработки.

Сообщение от VladRost Или в данной задаче основное замедление - это работа HDD?

Я понятия не имею, что и как ваше приложение делает. Как я могу судить, что именно выступает узким горлышком? Работа с HDD никогда скоростью не отличалась, но и помимо этого можно наворотить таких алгоритмов, что тормозной HDD уже не будет казаться таким тормозным.

Разговор не предметный, когда обсуждается абстрактный конь в вакууме) Одно точно могу сказать: описанная задача лучше реализуется на языке общего назначения, а не на PHP потому что:
* многопоточность
* расширенная базовая библиотека классов и\или сторонних пакетов
* отсутствие в необходимости в веб-серверах

Но надеяться на то, что вы просто перепишете на другом языке и оно залетает я бы не рекомендовал. Во-первых, если ваш алгоритм оптимальный и большая часть времени уходит на I\O, то смена языка ничего не даст. Во-вторых, если ваш алгоритм неоптимальный, то смена языка, опять же, ничего не даст, хоть на ассемблере перепишите.

Всё, что даст смена PHP на C#\Java\Python\C++ - это больше возможностей (часть из которых выше перечислил). Но нужны ли они вашему приложению или сможете ли вы ими правильно воспользоваться, этого я не знаю.

1

Сообщение от Usaga Перефразирую свой тезис: решает не столько язык, сколько ваши навыки разработки.

В принципе, я ваш ответ понял так, что смысла заморачиваться нет. Спасибо.

А по перефразированию я понимал свой вопрос так - представьте, что программу пишите вы. 1-ю на PHP, 2-ю C++, C# или Java.
Будет ли выигрыш в смене языка? С учетом, что вы напишите программу идеально и там и там.

Задача выглядит примерно так (моя реализация):
На один HDD (не SSD, обычный), 1-2 ТБ, в папку 1 сбрасываются файлы для обработки. Программа в папке 2 создает подкаталоги по типу файла, времени создания (год+месяц) и перемещает файлы в эти папки. Если там уже есть такой же файл, то исходный либо удаляется, если это он же (я проверял по MD5 файла), либо исходный переименовывается (добавление к имени символа) и перемещается туда же. Плюс проверки по "битости" (испорченности) файла или определенному типу, которые тоже удаляются, либо складируются в отдельную папку для ручной проверки. Пустые папки удаляются и некоторые другие мелочи.
Была еще проверка на одинаковость файлов с разными именами, но пока опустил.

0

Сообщение от VladRost На один HDD (не SSD, обычный), 1-2 ТБ, в папку 1 сбрасываются файлы для обработки. Программа в папке 2 создает подкаталоги по типу файла, времени создания (год+месяц) и перемещает файлы в эти папки. Если там уже есть такой же файл, то исходный либо удаляется, если это он же (я проверял по MD5 файла), либо исходный переименовывается (добавление к имени символа) и перемещается туда же. Плюс проверки по "битости" (испорченности) файла или определенному типу, которые тоже удаляются, либо складируются в отдельную папку для ручной проверки. Пустые папки удаляются и некоторые другие мелочи. Была еще проверка на одинаковость файлов с разными именами, но пока опустил.

Конкретно такая задача ничего не выиграет от смены языка.

1

Перемещение файлов в пределах одного диска - очень лёгкая (быстрая) операция. Не должно 20 мин работать.

1

Shamil1, ТС же ещё хеши рассчитывает для файлов.

1