DuplicateFinder Preview 1.2 (Pre-Pre-Alpha 3.1)

@Etyuhibosecyu · Регистрация: 13.07.2017

Студворк — интернет-сервис помощи студентам

Предыдущей версии не хватило одного билда до лидерства по количеству билдов. Теперь она делит первое место с Ares Preview 2.0. Но я решил отказаться от выпуска очередного билда и выпустить версию. Вот основные изменения:
- Теперь части, где отличающихся лексем больше, чем общих, отсекаются. Указывается только "ядро" повтора.
- Теперь, если в одном дубликате после отличия одна закрытая скобка, а в другом две, именно первая из них, а не вторая, причисляется к отличию.
- По множеству просьб похожие участки кода теперь выделяются одинаковым цветом. Из-за ограниченности количества цветов, раздельно воспринимаемых человеком, возможны и даже вероятны коллизии - выделение разных участков одинаковым цветом.

@MrOnlineCoder · 23.10.2020, 14:08

Сообщение от Etyuhibosecyu

не хотите протестировать суть программы - алгоритм поиска дубликатов?

У вас в программе пишет чтобы в текстовое поле вводили исходный код на Си подобном языке. Однако, насколько я понял, у вас не реализован умный алгоритм который анализирует исходный код, строит AST дерево и потом на основе его выделяет дубликаты, т.е. наподобии статический анализатор кода, а идет привязка к неким лексемам, т.е. я могу вставить любой другой код (не Си подобного языка), поскольку программе по сути без разницы что именно там написано? В таком случае, может ли это работать с текстовыми документами?

@Etyuhibosecyu · 23.10.2020, 14:15 **[ТС]**

Сообщение от MrOnlineCoder

В таком случае, может ли это работать с текстовыми документами?

Если там нет каких-нибудь не кодовых символов, таких как № или ©, можете попробовать.

Добавлено через 43 секунды

Сообщение от Катафалк

Стесняюсь спросить, вы эту строку руками набивали? Или все таки каким-нибудь своим кодогенератором, например?

Копипаста + небольшие правки руками.

Добавлено через 58 секунд

Сообщение от Etyuhibosecyu

Копипаста + небольшие правки руками.

Копипасты - 99.5%.

@MrOnlineCoder · 23.10.2020, 14:33

Сообщение от Etyuhibosecyu

можете попробовать.

искусственный тест:

Кликните здесь для просмотра всего текста

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Дубликатов не найдено.

Сообщение от Etyuhibosecyu

№ или ©

Значок копирайта я еще могу понять, его без таблицы символов не вставишь, но ведь символ номера доступен на любой клавиатуре, у меня даже в коде может быть фрагмент по типу printf("Some important thing №%d\n", thing_index);

@Etyuhibosecyu · 23.10.2020, 14:40 **[ТС]**

Сообщение от MrOnlineCoder

Дубликатов не найдено.

Значит, для текстовых документов не работает. Это как вставить бревно вместо досок. То есть явно некорректная эксплуатация. На нормальном коде, где есть строки в кавычках, операторы, разные виды скобок, скорее всего, будет работать. На коде на ассемблере - не знаю.

Сообщение от MrOnlineCoder

даже в коде может быть фрагмент по типу printf("Some important thing №%d\n", thing_index);

Если этот символ в строке, принимает. Если вне строки - игнорирует не только его, но и весь нижеследующий код.

Nishen · 23.10.2020, 15:13

Сообщение от Etyuhibosecyu

как № или ©

Т.е. файлы с C↑ᶜC он не обработает?

@MrOnlineCoder · 23.10.2020, 15:17

Не по теме:

Nishen, UNO Reverse card :D

@Etyuhibosecyu · 23.10.2020, 15:19 **[ТС]**

Сообщение от Nishen

Т.е. файлы с C↑ᶜC он не обработает?

C↑ᶜC уже в прошлом.

@Kastaneda · 23.10.2020, 15:23

Сообщение от Etyuhibosecyu

C↑ᶜC уже в прошлом.

Для тебя это уже пройденный этап? Назад не оглядываешься? Смотришь только вперед?

@Etyuhibosecyu · 23.10.2020, 15:24 **[ТС]**

Сообщение от Kastaneda

Смотришь только вперед?

Вы угадали.

@Kastaneda · 23.10.2020, 15:29

Типа как крутые ребята в кино не оборачиваются на взрывы?

Nishen · 23.10.2020, 15:29

Сообщение от Etyuhibosecyu

C↑ᶜC уже в прошлом

Я такое от тебя уже видел в других темах, что твои проекты уходят в прошлое. Какую аналитику ты проводишь перед тем, как садишься реализовывать свой проект?

@Etyuhibosecyu · 23.10.2020, 15:56 **[ТС]**

Сообщение от Kastaneda

Типа как крутые ребята в кино не оборачиваются на взрывы?

Нечего написать.

Сообщение от Nishen

Я такое от тебя уже видел в других темах, что твои проекты уходят в прошлое.

Это естественный процесс. Проекты, как и люди, как и все технологии, созданные людьми, приходят и уходят. Например, паровые двигатели - это уже прошлое. Бензиновые и дизельные тоже медленно, но верно уходят. Или CD и DVD-диски - не так давно были новыми и актуальными. Сейчас это прошлое. Так же и с моими проектами.
Билд четвертый. Улучшена технология распознавания множества (больше двух) похожих фрагментов. В одном из списков для одного цвета я насчитал 14 (!) элементов, хоть они, по сути, и сливаются в три или четыре.

@Pilarentes · 23.10.2020, 15:57

Сообщение от Nishen

Какую аналитику ты проводишь перед тем, как садишься реализовывать свой проект?

У человека просто кризис 15шнасового возраста, он старается успеть все то, что не успел за предыдущие 14 шансов. Времени мало, а реализовать надо много всего

Nishen · 23.10.2020, 16:17

Сообщение от Etyuhibosecyu

Это естественный процесс. Проекты, как и люди, как и все технологии, созданные людьми, приходят и уходят. Например, паровые двигатели - это уже прошлое. Бензиновые и дизельные тоже медленно, но верно уходят. Или CD и DVD-диски - не так давно были новыми и актуальными. Сейчас это прошлое. Так же и с моими проектами.

Да, но все примеры, которые ты привел, отличаются от твоих одним, но существенным. Те вещи, которые ты перечислил, успели принести пользу человечеству за время своего существования, да и существовали они не пару месяцев. Значит, все же, их придумали не просто так, м?

Croessmah · 23.10.2020, 16:33

Сообщение от Etyuhibosecyu

Так же и с моими проектами.

Только ДВС не выходят каждый день, и не уходят в прошлое за пару месяцев.
Есть особые люди - бешеные принтеры. А ты бешеный версуолог?

@Usaga · 23.10.2020, 16:43

Сообщение от Etyuhibosecyu

ак же и с моими проектами.

Да вот нет. Ваши проекты подыхают ещё не родившись. На стадии зачатия, можно сказать. И начинаются они неизвестно ради чего. Вы же не один свой проект обосновать так и не смогли. А когда CD разрабатывали цели у людей стояли вполне чёткие и конкретные. И результат конечный был, и не один десяток лет диски прожили. А теперь сравните со своими творениями.

Добавлено через 3 минуты
Да же так: ваши проекты - это какие-то костыли призванные как-то компенсировать ваши собственные полупрозрачные знания. Построители окон и новые языки для того, что компенсировать ваши незнания нормальных языков, шифраторы, чтобы компенсировать ваши непонимая всяких HTTPS, и текущая тулза, чтобы своё же говно в коде почистить могли))) Т.е. эти все начинания только вам и нужны, а нормальным разработчикам никуда не впились. Тем более Pro-версии за деньги)

@Etyuhibosecyu · 23.10.2020, 16:46 **[ТС]**

Сообщение от Usaga

Ваши проекты подыхают ещё не родившись.

А что можно считать фактом "рождения"? У моих проектов выходит, как правило, не одна версия. Иногда работоспособная.

Сообщение от Usaga

Вы же не один свой проект обосновать так и не смогли.

Настоящий проект я смог обосновать. И сам им пользуюсь. Аналогов ему в мире нет. Есть плагины для сред разработки, которые ищут дубликаты для "selected", есть программы, которые сжимают методом Лемпеля-Зива, и несколько минут назад, будто бы, нашел в Google какой-то Klocwork, который будто бы делает что-то похожее на мою программу, но предлагается только трайел, а сколько стоит полная версия, неизвестно.

Nishen · 23.10.2020, 16:53

Что с тобой случится, когда ты про PVS узнаешь... :-D

@Etyuhibosecyu · 23.10.2020, 16:56 **[ТС]**

Nishen, узнал. Эта программа тоже проприетарная.

@Welemir1 · 23.10.2020, 16:57

Сообщение от Etyuhibosecyu

Аналогов ему в мире нет.

вы ошибаетесь, любая современная среда разработки это умеет, например PyCharm не только показывает предупреждение о дубликатах но еще и выделяет их цветом.

Новые блоги и статьи Все статьи Все блоги /
Установка нескольких штампов электронной подписи в строго определенных местах файла docx ВладимирСамохин 19.07.2026 (В!) Работа с Электронной подписью - это неотъемлемая часть современного документооборота. Но что делать, если нужно поставить несколько штампов электронной подписи в строго определенных местах. . .	сукцессия 35. Научная статья о проделанной работе anaschu 19.07.2026 Написал в формате латекс и пдф	Вангую, что это не пройдёт модерацию, и на неделе я запущу свой сервер. Hrethgir 19.07.2026 Эта публикация сейчас в песочнице и ждёт приглашения. https:/ / habr. com/ ru/ sandbox/ 295048/ начало и оглавление - Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование. . .	сукцессия 33. открытые вопросы от клауде anaschu 19.07.2026 "Что накопилось за эту часть А — тринадцать правок, из которых шесть пришли из ваших вопросов и каждая оказалась реальной ошибкой, а не калибровкой: односторонний симбиоз, отсутствующий листопад,. . .
32 сукцессия anaschu 19.07.2026 сукцессия 28‑мерное ядро стабилизировано Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не «подкручивает» сходимость —. . .	сукцессия 31: модель микоризы - это модель ещё нескольких явлений, социальных и экономических anaschu 18.07.2026 Теория «Всего»: апдейт v1. 1. 2 — 28‑мерное ядро стабилизировано Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не. . .	сукцессия 30. Массив проверяющих друг друга моделей anaschu 18.07.2026 Архитектура сети взаимопроверяющих моделей микоризной сукцессии (v2. 0) Развитие тензорного ОДУ-ядра и создание кросс-платформенного калибровочного полигона Уважаемые коллеги! В продолжение. . .	Грибы - это женщины, деревья - это мужчины. Анти инь янь для союза мужчины и женщины. anaschu 18.07.2026 ГЛАВНЫЙ НАУЧНО-ФИЛОСОФСКИЙ ВЫВОД: Сексуально-Репродуктивный Капитализм против Государства Моногамии Коллеги, мы вышли на финишную прямую 20-мерного ОДУ-моделирования вековой сукцессии (ветка. . .

@MrOnlineCoder
	23.10.2020, 15:17
	Не по теме: Nishen, UNO Reverse card :D 0

@Kastaneda 5232 / 3206 / 362 Регистрация: 12.12.2009 Сообщений: 8,143 Записей в блоге: 2
	23.10.2020, 15:29
	Типа как крутые ребята в кино не оборачиваются на взрывы? 0

Nishen 1359 / 857 / 366 Регистрация: 26.02.2015 Сообщений: 3,831
	23.10.2020, 16:53
	Что с тобой случится, когда ты про PVS узнаешь... :-D 0

@Etyuhibosecyu Труд вопреки насмешкам 363 / 181 / 41 Регистрация: 13.07.2017 Сообщений: 4,829 Записей в блоге: 14
	23.10.2020, 16:56 [ТС]
	Nishen, узнал. Эта программа тоже проприетарная. 0