DuplicateFinder Preview 1.2 (Pre-Pre-Alpha 3.1)

@Etyuhibosecyu · Регистрация: 13.07.2017

Студворк — интернет-сервис помощи студентам

Предыдущей версии не хватило одного билда до лидерства по количеству билдов. Теперь она делит первое место с Ares Preview 2.0. Но я решил отказаться от выпуска очередного билда и выпустить версию. Вот основные изменения:
- Теперь части, где отличающихся лексем больше, чем общих, отсекаются. Указывается только "ядро" повтора.
- Теперь, если в одном дубликате после отличия одна закрытая скобка, а в другом две, именно первая из них, а не вторая, причисляется к отличию.
- По множеству просьб похожие участки кода теперь выделяются одинаковым цветом. Из-за ограниченности количества цветов, раздельно воспринимаемых человеком, возможны и даже вероятны коллизии - выделение разных участков одинаковым цветом.

@MrOnlineCoder · 23.10.2020, 14:08

Сообщение от Etyuhibosecyu

не хотите протестировать суть программы - алгоритм поиска дубликатов?

У вас в программе пишет чтобы в текстовое поле вводили исходный код на Си подобном языке. Однако, насколько я понял, у вас не реализован умный алгоритм который анализирует исходный код, строит AST дерево и потом на основе его выделяет дубликаты, т.е. наподобии статический анализатор кода, а идет привязка к неким лексемам, т.е. я могу вставить любой другой код (не Си подобного языка), поскольку программе по сути без разницы что именно там написано? В таком случае, может ли это работать с текстовыми документами?

@Etyuhibosecyu · 23.10.2020, 14:15 **[ТС]**

Сообщение от MrOnlineCoder

В таком случае, может ли это работать с текстовыми документами?

Если там нет каких-нибудь не кодовых символов, таких как № или ©, можете попробовать.

Добавлено через 43 секунды

Сообщение от Катафалк

Стесняюсь спросить, вы эту строку руками набивали? Или все таки каким-нибудь своим кодогенератором, например?

Копипаста + небольшие правки руками.

Добавлено через 58 секунд

Сообщение от Etyuhibosecyu

Копипаста + небольшие правки руками.

Копипасты - 99.5%.

@MrOnlineCoder · 23.10.2020, 14:33

Сообщение от Etyuhibosecyu

можете попробовать.

искусственный тест:

Кликните здесь для просмотра всего текста

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Дубликатов не найдено.

Сообщение от Etyuhibosecyu

№ или ©

Значок копирайта я еще могу понять, его без таблицы символов не вставишь, но ведь символ номера доступен на любой клавиатуре, у меня даже в коде может быть фрагмент по типу printf("Some important thing №%d\n", thing_index);

@Etyuhibosecyu · 23.10.2020, 14:40 **[ТС]**

Сообщение от MrOnlineCoder

Дубликатов не найдено.

Значит, для текстовых документов не работает. Это как вставить бревно вместо досок. То есть явно некорректная эксплуатация. На нормальном коде, где есть строки в кавычках, операторы, разные виды скобок, скорее всего, будет работать. На коде на ассемблере - не знаю.

Сообщение от MrOnlineCoder

даже в коде может быть фрагмент по типу printf("Some important thing №%d\n", thing_index);

Если этот символ в строке, принимает. Если вне строки - игнорирует не только его, но и весь нижеследующий код.

Nishen · 23.10.2020, 15:13

Сообщение от Etyuhibosecyu

как № или ©

Т.е. файлы с C↑ᶜC он не обработает?

@MrOnlineCoder · 23.10.2020, 15:17

Не по теме:

Nishen, UNO Reverse card :D

@Etyuhibosecyu · 23.10.2020, 15:19 **[ТС]**

Сообщение от Nishen

Т.е. файлы с C↑ᶜC он не обработает?

C↑ᶜC уже в прошлом.

@Kastaneda · 23.10.2020, 15:23

Сообщение от Etyuhibosecyu

C↑ᶜC уже в прошлом.

Для тебя это уже пройденный этап? Назад не оглядываешься? Смотришь только вперед?

@Etyuhibosecyu · 23.10.2020, 15:24 **[ТС]**

Сообщение от Kastaneda

Смотришь только вперед?

Вы угадали.

@Kastaneda · 23.10.2020, 15:29

Типа как крутые ребята в кино не оборачиваются на взрывы?

Nishen · 23.10.2020, 15:29

Сообщение от Etyuhibosecyu

C↑ᶜC уже в прошлом

Я такое от тебя уже видел в других темах, что твои проекты уходят в прошлое. Какую аналитику ты проводишь перед тем, как садишься реализовывать свой проект?

@Etyuhibosecyu · 23.10.2020, 15:56 **[ТС]**

Сообщение от Kastaneda

Типа как крутые ребята в кино не оборачиваются на взрывы?

Нечего написать.

Сообщение от Nishen

Я такое от тебя уже видел в других темах, что твои проекты уходят в прошлое.

Это естественный процесс. Проекты, как и люди, как и все технологии, созданные людьми, приходят и уходят. Например, паровые двигатели - это уже прошлое. Бензиновые и дизельные тоже медленно, но верно уходят. Или CD и DVD-диски - не так давно были новыми и актуальными. Сейчас это прошлое. Так же и с моими проектами.
Билд четвертый. Улучшена технология распознавания множества (больше двух) похожих фрагментов. В одном из списков для одного цвета я насчитал 14 (!) элементов, хоть они, по сути, и сливаются в три или четыре.

@Pilarentes · 23.10.2020, 15:57

Сообщение от Nishen

Какую аналитику ты проводишь перед тем, как садишься реализовывать свой проект?

У человека просто кризис 15шнасового возраста, он старается успеть все то, что не успел за предыдущие 14 шансов. Времени мало, а реализовать надо много всего

Nishen · 23.10.2020, 16:17

Сообщение от Etyuhibosecyu

Это естественный процесс. Проекты, как и люди, как и все технологии, созданные людьми, приходят и уходят. Например, паровые двигатели - это уже прошлое. Бензиновые и дизельные тоже медленно, но верно уходят. Или CD и DVD-диски - не так давно были новыми и актуальными. Сейчас это прошлое. Так же и с моими проектами.

Да, но все примеры, которые ты привел, отличаются от твоих одним, но существенным. Те вещи, которые ты перечислил, успели принести пользу человечеству за время своего существования, да и существовали они не пару месяцев. Значит, все же, их придумали не просто так, м?

Croessmah · 23.10.2020, 16:33

Сообщение от Etyuhibosecyu

Так же и с моими проектами.

Только ДВС не выходят каждый день, и не уходят в прошлое за пару месяцев.
Есть особые люди - бешеные принтеры. А ты бешеный версуолог?

@Usaga · 23.10.2020, 16:43

Сообщение от Etyuhibosecyu

ак же и с моими проектами.

Да вот нет. Ваши проекты подыхают ещё не родившись. На стадии зачатия, можно сказать. И начинаются они неизвестно ради чего. Вы же не один свой проект обосновать так и не смогли. А когда CD разрабатывали цели у людей стояли вполне чёткие и конкретные. И результат конечный был, и не один десяток лет диски прожили. А теперь сравните со своими творениями.

Добавлено через 3 минуты
Да же так: ваши проекты - это какие-то костыли призванные как-то компенсировать ваши собственные полупрозрачные знания. Построители окон и новые языки для того, что компенсировать ваши незнания нормальных языков, шифраторы, чтобы компенсировать ваши непонимая всяких HTTPS, и текущая тулза, чтобы своё же говно в коде почистить могли))) Т.е. эти все начинания только вам и нужны, а нормальным разработчикам никуда не впились. Тем более Pro-версии за деньги)

@Etyuhibosecyu · 23.10.2020, 16:46 **[ТС]**

Сообщение от Usaga

Ваши проекты подыхают ещё не родившись.

А что можно считать фактом "рождения"? У моих проектов выходит, как правило, не одна версия. Иногда работоспособная.

Сообщение от Usaga

Вы же не один свой проект обосновать так и не смогли.

Настоящий проект я смог обосновать. И сам им пользуюсь. Аналогов ему в мире нет. Есть плагины для сред разработки, которые ищут дубликаты для "selected", есть программы, которые сжимают методом Лемпеля-Зива, и несколько минут назад, будто бы, нашел в Google какой-то Klocwork, который будто бы делает что-то похожее на мою программу, но предлагается только трайел, а сколько стоит полная версия, неизвестно.

Nishen · 23.10.2020, 16:53

Что с тобой случится, когда ты про PVS узнаешь... :-D

@Etyuhibosecyu · 23.10.2020, 16:56 **[ТС]**

Nishen, узнал. Эта программа тоже проприетарная.

@Welemir1 · 23.10.2020, 16:57

Сообщение от Etyuhibosecyu

Аналогов ему в мире нет.

вы ошибаетесь, любая современная среда разработки это умеет, например PyCharm не только показывает предупреждение о дубликатах но еще и выделяет их цветом.

Новые блоги и статьи Все статьи Все блоги /
Теория всего 12. ВГК anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .	Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .	Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .
Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .	Теория всего 7. Дерево - это патриархат, грибы - это феминизм anaschu 21.07.2026 Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .	История и социология Терры на примере борьбы микориз за пространство. 1. Глоссарий терры. anaschu 21.07.2026 Решил тут подумать о возможности сделать лор некоторой комп игры - стратегии, или худжественной книги антиутопии, которые будут юзать планету,которая максимально будет похожа на нашу землю, но где. . .

@MrOnlineCoder
	23.10.2020, 15:17
	Не по теме: Nishen, UNO Reverse card :D 0

@Kastaneda 5232 / 3206 / 362 Регистрация: 12.12.2009 Сообщений: 8,143 Записей в блоге: 2
	23.10.2020, 15:29
	Типа как крутые ребята в кино не оборачиваются на взрывы? 0

Nishen 1359 / 857 / 366 Регистрация: 26.02.2015 Сообщений: 3,831
	23.10.2020, 16:53
	Что с тобой случится, когда ты про PVS узнаешь... :-D 0

@Etyuhibosecyu Труд вопреки насмешкам 363 / 181 / 41 Регистрация: 13.07.2017 Сообщений: 4,834 Записей в блоге: 14
	23.10.2020, 16:56 [ТС]
	Nishen, узнал. Эта программа тоже проприетарная. 0