@CoolDel

Помогите начинающему Дельфиводу - как распознавать изображения на экране? В частности нужно распознать кнопку на экране и кликнуть по ней.

0

@D1973

Если верить А.П. Чехову, краткость - сестра таланта... Но не в Вашем случае. Поэтому поднапрягитесь и объясните подробнее, что Вы хотите...

0

@AzAtom

CoolDel, вот в этой теме Побитовые операции с памятью искали небольшую картинку внутри большой, поиск по всей большой картинке.

0

Verevkin

Кнопка на экране - это окно какого приложения?

0

@AzAtom

Verevkin, человек хочет пойти сложным путём. Зачем его сбивать?

0

Verevkin

Хочется мне так. Я добрый дядька.

0

@zvygin1964

"ломать капчу делфи"

0

@Иван Ежик

Ох был я там...
Понравилось.
CoolDel, Задача сильно творческая, вариантов решения там штук 5 минимум есть.
1 Точное совпадение, тут Побитовые операции с памятью
Хорошо всё описано,но для начинающего сложновато.(Имею в виду ASM реализацию)
2 Примерное совпадение, тут есть два подварианта минимум.
2.а Искать особые точки (SIFT/SURF)
2.b Поиск стабильных областей на изображении (MSER)
Оба варианта вычислительно интенсивные, и делать их на процессоре имеет смысл только в образовательных целях.
В играх не получится отслеживать быстрые объекты.
...
В общем тут ещё должна быть простыня на 150 строк , но мне лень.
Для каждой конкретной задачи лучше искать своё, творческое решение, к примеру
В вашем случае не самый тяжёлый вариант.
Заскринить кнопку, вычитать с неё массив цветов.
Построить 8-ричное дерево цветов.
Задать предполагаемые размеры кнопки(чтобы можно было искать на нескольких разрешениях экранов)
И далее, при скриншоте экрана пробегать по массиву цветов и учитывать только те что есть в дереве
Далее, скользящее окно(размера кнопки)
Если в окне >= к примеру 0,75 похожих цветов то это кнопка.
Напомню играть параметрами (размер окна,процент совпадения) можно для каждого своего случая индивидуально.
И да я сам это только собираюсь писать ещё
К этому всему добавить пяток проверок на границы и чуть причесать будет сносно работать.
Можно не трогать octree а сделать поиск максимально "частого" цвета в кнопке , тут тогда будет лучше работать не с RGB а с HSL.
Всё, харош, а то я начинаю приблежаться к тем заветным 150 строкам

Добавлено через 12 минут
https://www.3delite.hu/Object%... brary.html
Тут готовая либа.
Потрогать покрутить.Сам не пользовался, но делает примерно то что задумано.
Из интересного работа на видеокарте(пахнет хорошим ускорением)
На деле же 12 ядерный проц в 1,7 раза быстрее чем полупрофессиональная видеокарта T400
В любом случае универсальные средства всегда медленней частных решений.

0

@CoolDel

очень жаль, что простого решения нет. хотелось бы библиотеку вроде opencv или pyautogui как в python

0

@Иван Ежик

Чтобы полноценно с библиотеками работать, было бы очень не плохо понимать алгоритмы изнутри.
Как следствие более точно и правильно выбирать области применения.

0

@krapotkin

когда хочется, идем на гитхаб и ищем OpenCV Delphi
и находим

0

@CoolDel

Короче программисты тут диванные. По делу высказался только один пользователь "Иван Ёжик", за, что ему и спасибо. Остальные - лишь бы ляпнуть языком и написать хоть бы, что.

0

Verevkin

Помогло? Покажи результаты.

0

@Иван Ежик

CoolDel, Я тут самый диванный.
я настолько ленивый что код совсем не пишу
https://youtu.be/to7THc2W4uA
Мои эксперименты двухлетней давности...

Добавлено через 3 часа 45 минут

Ещё немного творчества по распознаванию самым простым методом.
Код взят из сети и головы... доведён до нужной степени приемлемости, это опять старые эксперименты, еле нашёл в закромах.

2

Verevkin

А потом окажется, что пациент хотел найти вот такую кнопку и программно тыкнуть её:

0

@Иван Ежик

Кстати во всяких Телеграмах где движок рисования Qt , там нет хендлов кнопки например.
Ну и тыкать кнопки это не так интересно как ковырятся в алгоритмах.

Ну теперь мой эксперимент сам играет таки в "три в ряд", но это не интересно показывать, отрисовки отключены для ещё большего быстродействия...

0

Verevkin

Да, я в курсе. Но пока автор не колется, что там у него.
Автор, колись!

Вложения

z.zip (2.81 Мб, 113 просмотров)

0

@CoolDel

Я раскололся в самом начале темы. Мне нужно распознать кнопку не по хэндлу, а основываясь лишь на графической составляющей. Я конечно упростил, мне на самом деле не одну кнопку и не только кнопку нужно распознать. Мне необходимо распознавать ряд элементов пользовательского интерфейса служебной базы данных и взаимодействовать с ним по необходимости. Я неопытный программист (и по профессии вовсе не программист), но Delphi мне ближе чем Python. Я наивно полагал, что в Delphi есть компонент или библиотека для распознавания графики. Вот к примеру на Пайтоне распознавание и клик по элементу интерфейса звучит в одну строку вот так:

pyautogui.click(pyautogui.locateOnScreen('pics/test.png', confidence = 0.95))

Для работы этой строки нужны всего две библиотеки: pyautogui и opencv. Если в Delphi необходимо писать много строк кода, то к сожалению мне это не подходит. На пайтоне необходимый код я по сути написал, но для собственного удобства мне необходимо прилепить к программе основное окно и несколько дополнительных для контроля работы программы в процессе исполнения, а по определенным причинам мне это удобнее\привычнее сделать на Delphi. По этому и стал вопрос - будет ли мне быстрее переписать программу на Delphi.

0

Verevkin

Но ты так и не показал нам даже скриншоты того, чо тебе надо распознавать. Поэтому мы сами начали выдвигать гипотезы и включать телепаторы.

0

@Иван Ежик

Если это всё что вам нужно то делается написанием в Delphi трёх функций
1 скриншот .
2 поиск
3 клик.
Один раз. 50 строк мне кажется.
Я бы вообще за 3 минуты из старых исходников собрал...Но у меня нету сейчас делфи на компуктере.
И потом постоянно вызывать их именно таким образом в одну строку.
Ну или подключить OpenCV...
Вообще от кнопки зависит, если она сложная и переливающаяся+ форму меняет то и CV не сможет помочь

0