DuplicateFinder Preview 1.0

Как известно, самая главная проблема "грязного" кода - необходимость обновлять множество дубликатов одного и того же фрагмента. И бОльшая часть улучшений в хороших языках посвящены борьбе с дублированием. Но чтобы этими улучшениями воспользоваться, нужно сначала это дублирование найти. А при запросе в Google "поиск дублирования в коде программа" я не нашел ничего внятного. Большинство таких "программ" либо являются плагинами для конкретной IDE, либо их нельзя нормально установить, либо они содержат кучу ненужного функционала и стоят десятки, а то и сотни долларов. Поэтому я решил создать свою программу для поиска дублирования в коде, изолированную от IDE, запускаемую двойным кликом по исполняемому файлу в WinRAR и производящую только поиск дублирования и ничего другого.
Важно: я не собираюсь зарабатывать на этой программе. Она бесплатна, и создана для облегчения жизни программистам.
Преимущества:
1. Работает
2. Основана на самом известном алгоритме поиска повторов - Лемпеле-Зиве.
3. Обнаруживает только повторы длиной не меньше 6 лексем.
4. Длина словаря составляет 5000 лексем.
5. Обнаруживает даже частично повторяющиеся фрагменты!
6. Игнорирует тривиальные фрагменты, такие как одно свойство из нескольких лексем или вызов метода плюс-минус число.
7. Показывает, на каких строках и в каких позициях находятся дубликаты.
8. Показывает начало повторяющегося фрагмента кода и конкретные отличия.
9. Показывает текущую позицию в окне кода.
10. Остутствие привязки к ключевым словам конкретного языка. Работает для всех Си-подобных языков, а возможно, и для каких-то других.
11. Можно изменять размер окна.
12. Вычисления выполняются в отдельном потоке.
13. Минимум пересоздания строк вследствие конкатенации, что приводит к приемлемому времени работы даже на длинных кодах.
14. На случай длинного кода припасены полосы загрузки. Но, как правило, дубликаты находятся моментально.
15. Программа не содержит ненужного функционала, весит немного и не требует сложной настройки.
Недостатки:
1. Иногда сообщает о дублировании, которое нельзя устранить.
2. Вследствие приемущества 10, может посчитать последовательность ключевых слов как дубликат.
3. Обнаруживает только первую тривиальную длину. Если она маленькая, а есть больше, может ошибочно посчитать дубликат нетривиальным и выдать сообщение, что это проблема.
4. В выводимых фрагментах кода не сохраняет его пробельную структуру.
5. Не обнаруживает повторяющиеся комментарии.
6. Может включить в дубликат точку с запятой и перевод строки.
7. Не разбирается в том, класс это, функция, или что-либо другое.
8. Не показывает длину выделения в окне кода, только его начало.
9. Вероятно, потребляет больше памяти, чем можно было бы.
Ну как, нормально?

Вложения

DuplicateFinder Preview 1.0.rar (72.6 Кб, 25 просмотров)

1

Сообщение от MrOnlineCoder А кстати, Вы прогоняли исходники самой же программы через нее же?

Мой код очень грязный.

Сообщение от MrOnlineCoder Просто я не могу понять - Ваша программа пытается действительно улучшить код и упростить рефакторинг, или это просто поиск разных текстовых фрагментов без контекста?

Программа не видит, в каком классе и в какой функции дубликаты. Если видите, что какое-то сообщение явно избыточное, просто игнорируйте его. Одно сообщение о дубликате на 50 строк - это очень хороший показатель.

1

Запустил прогу. Способ вывода результата, конечно, ужасен. Сделайте чтобы все визуально выделялось. Две панельки рядом, на которых отображаются и выделяются цветом похожие фрагменты - как сделано в различных графических инструментах для резолва конфликтов в системе контроля версий.
Ну и смысла в поиске дубликатов в одном файле немного. Надо, как вам уже сказали, чтобы можно было папку с проектом указать.

Сообщение от Etyuhibosecyu Билд шестой. Увеличен минимальный процент общих лексем до 67%.

Этот параметр нужно в настройки вынести.

Сообщение от Etyuhibosecyu Одно сообщение о дубликате на 50 строк - это очень хороший показатель.

Так себе показатель Т.е. если есть большой проект на десятки-сотни тысяч строк а то и больше, то придется продраться через дикое количество такого мусора, чтобы найти реальные дубликаты?

0

Мне вот интересно, почему хоть кто-то скачивает автономный архив, а обычный - никто? Неужели ни у кого нет .NET Core? И это при том, что размер автономного в сотни раз больше...

0

Etyuhibosecyu, во-первых, скорость интернета позволяет не думать о сотнях мегабайт. Во-вторых, .NET Core не .NET Framework, нужно не просто иметь у себя установленный рантайм, но нужно иметь конкретную версию. Приложение собранное для .NET Core 3.0 не особо хорошо заработает на .NET Core 3.1.

0

Билд седьмой. Дубликат может начинаться только со слова. Вызов с двумя параметрами теперь считается тривиальным. Не меньше 33% дубликата должны быть нетривиальными, чтобы вывести его.

Вложения

	DuplicateFinder Preview 1.0.rar (73.3 Кб, 5 просмотров)
	DuplicateFinder Preview 1.0 Autonomous.rar (23.24 Мб, 16 просмотров)

0

Сообщение от Etyuhibosecyu Мне вот интересно, почему хоть кто-то скачивает автономный архив, а обычный - никто? Неужели ни у кого нет .NET Core? И это при том, что размер автономного в сотни раз больше...

Лично мне вот совершенно лень искать, где скачать .NET Core и как его установить. А интернет быстрый и безлимитный. Потому скачал сначала обычный архив, увидел сообщение об ошибке и забил.

0

Вы бы хоть подумали, что место на хостинге стоит денег. А ТС сейчас гигабайты заливать будет...

0

Просто оставлю это здесь. Сегодня я сам пользовался своей программой. Это было первый раз в моей жизни.

0

Сообщение от Etyuhibosecyu Сегодня я сам пользовался своей программой. Это было первый раз в моей жизни.

Это показательно

0

Сообщение от Катафалк Это показательно

"Тестировать" и "пользоваться" - это не одно и то же. Я имею в виду использование для дела.

0

Сообщение от Etyuhibosecyu Я имею в виду использование для дела.

Я вот этого понять не могу в упор. Умышленно делать копипасту, понимая, что это всё равно нужно будет переделывать по-нормальному, да ещё с применением тулзы, которая поможет вспомнить место, куда копипастил. Я понимаю архитектуру не очень чётко заранее продумывать и уточнять по ходу реализации с последующим рефакторингом, когда уже вся картина в коде сложилась и видна. Т.е. я имею в виду, что о том, что код не совсем правильный с точки зрения фен-шуя, может стать ясно, когда он дописан целиком. Но то, что у вас копипаста (что в большинстве случаев неправильно) вы видите сразу, когда эту копипасту творите. Зачем откладывать исправление этого на потом, когда можно и нужно сразу реализовать нормально не тратя время на прогон кода через тулзу)

0

Etyuhibosecyu, Здравствуйте! Я студент 4-того курса, и думаю Ваша вспомогательная программа очень схожа с темой моей дипломной работы. Если Вас не затруднит, можете мне помочь с его написанием?

0

axmet007550, я думаю, прибегать к помощи ТСа в написании диплома вам стоит, только если у вас есть тайное желание завалить диплом

0

axmet007550, вы сами справитесь лучше, чем с помощью ТСа. Если вы умеете в Vissual Studio нажать F5, то вы уже знаете и умеете на пару порядков больше, чем ТС.

0

Etyuhibosecyu, извините, не могли бы вы поделится с исходным кодом вашей программы ?

0

axmet007550, он открыт всем желающим, никакой обфускации там нет.

0

Сообщение от Usaga Я понимаю архитектуру не очень чётко заранее продумывать и уточнять по ходу реализации с последующим рефакторингом, когда уже вся картина в коде сложилась и видна.

Вы так говорите, как будто бывает по-другому. Я б даже сказал "как будто принципиально возможно по-другому".

0

avgoor, возможно, но сложно.

0

Сообщение от Rius возможно

Не верю©
Ну, по крайней мере, не сильно крупнее хелловорлда.

0

avgoor, в универе на 5 курсе одногрупнику программу на асме mcs-51 писал на заказ, в его присутствии.
Сначала теоретически архитектуру продумал , потом код написал. За один заход, на бумаге. И всё заработало сразу.
То был калькулятор, со светодиодным сегментным дисплеем, кнопками, операциями +-*/
Так что это возможно при желании.

0