Как отследить события чужого окна?

Здравствуйте!
Помогите, пожалуйста в решении следующей задачи...
Есть окно цель которого "следить" за неким участком экрана, а точнее за тем, что происходит под ним.. .
Допустим, что окно следит за Paint-ом, браузером или word-ом и пользователь двигает(или скролит) этот самый Paint, word или браузер.
Окно должно двигаться вслед за действиями пользователя.
Т.е. окно должно как бы приклеится к "отслеживаемой поверхности".
Сделать это можно двумя способами:
Первый, отслеживать и анализировать графические изменения на экране.
Теоретически есть и второй способ.... (вероятно, более простой, если знать как это делать)
Определить hWnd отслеживаемого окна(находящегося под следящим окном) и отслеживать его события.
Если, не трудно подскажите, пожалуйста как это делается, а точнее...
Как получить hWnd окна находящегося под следящим окном?
И как отследить события окна по hWnd?
Заранее, Спасибо!

0

Сообщение от nigri_lupus Есть окно цель которого "следить" за неким участком экрана, а точнее за тем, что происходит под ним.. .

Есть куча способов как определить hWnd любого окна. Например FindWindow, по заголовку или GetForegroundWindow - раз с ним работают, значит оно в приоритете, по координатам мыши WindowFromPoint и т.д. и т.п.
По hWnd определяем его координаты на экране. Своё окно двигаем по этим же координатам. Не вижу тут ни каких сложностей.

0

Сообщение от Pro_grammer Не вижу тут ни каких сложностей.

Я понимаю, что задачка не сам тожеая сложная. В принципе, это так же как нарисовать прямоугольник. Если знаешь команду - это элементарно, а вот, если даже не догадываешься, как называется команда, которой прямоугольник рисуется, закачка кажется очень сложной. :-)

Сообщение от Pro_grammer GetForegroundWindow - раз с ним работают

Ну в тот момент, когда надо закрепить окно сканера(следящее окно), активным будет как раз окно сканера, т.к. пользователь должен нажать на кнопку фиксации..

Сообщение от Pro_grammer FindWindow, по заголовку

тоже вряд ли.... Тут скорее надо определение по координатам, а точнее по частичным координатам....Часть одного окна (или окно целиком) находится под другим окном....
Примерно как на этом скриншоте....
После нажатия на кнопку "прикрепить" окно должно "понять", что уровнем ниже находится окно Purebasic, т.е. узнать его hWnd

Миниатюры

 

0

Суть в том, чтобы зафиксировать одно окна над участком другого окна. При этом заголовка окна, за участком которого надо следить заранее(до закрепления мы не знаем). если часть окна за которым идет слежка сдвигается(а это может произойти либо при скроллинге либо при передвижении прослеживаемого окна) следящее окно следует за сдвинутой частью окна.

0

Сообщение от nigri_lupus чтобы зафиксировать одно окна над участком другого окна.

А если там снизу будет 2 или 5 окон?

Сообщение от nigri_lupus мы не знаем

Значит вы должны решить, каким способом вы будете указывать на окно, за которым будете следить. Обычно это 2 способа, или выбор окна из всего списка запущенных окон в данный момент, или прямо указать на нужное окно щёлкнув по заголовку мышкой. Можете придумать свой способ, но решать, за каким окном следить по любому должен юзер.

Сообщение от nigri_lupus если часть окна за которым идет слежка сдвигается

Как может двигаться часть окна? Если у окна поменялись координаты, то это отразится в GetWindowRect, а если внутри окна что то двигается, то какая разница для следящей программы?

0

Pro_grammer, Сейчас проиллюстрирую ответы (буквально) :-)

Сообщение от Pro_grammer Как может двигаться часть окна? Если у окна поменялись координаты, то это отразится в GetWindowRect, а если внутри окна что то двигается, то какая разница для следящей программы?

Окно моей программы следит за изменениями определенной экранной области..
На рисунке 1 это шахматная доска.
На рисунке 2 это стакан тетриса.
Но и доску и стакан рисует на экране другое приложение - НЕ МОЁ. Это может быть браузер или другая программа. (шахматный или тетрисный клиент) :-)
Пользователь при помощи окна сканера говорит машине где находится (на данный момент) на экране стакан тетриса или доска с шахматами. (т.е. расположение и размеры графического объекта за которым надо следить)
После того как пользователь "сказал машине" шахматы\стакан находятся тут и размеры у шахматной доски\стакана такие-то, то есть расположил сканер в нужном месте и придал ему соответствующие размеры, он нажимает кнопку зафиксировать.
После чего сканер приступает к выполнению своих основных функций - слежке за "графическим объектом" и анализом его изменений. (В случае с шахматами, кто куда и как походил, а в случае с тетрисом, как какие фигуры и куда падают)
Но, пользователь может случайно немного (или много :-) проскролить страницу браузера или подвинуть (опять же случайно) приложение, которое отображает эту самую доску или стакан.
В этом случае, окно сканера должно " дико закричать: "эй стакан, стакан ты куда из моего поля зрения убегаешь, я за тобой следить должен! Как я теперь узнаю, кто в тебя там падает!" или "Доска, постой, мне ж видеть надо кто как ходить будет!" и ринуться в погоню за удирающим графическим объектом, чтобы продолжить наблюдать кто-как походил или какая фигура в стакан упала"
Думаю, что обрисовал достаточно наглядно и с юмором...
А если чуток посерьезнее..
Изначально у меня была идея, следить не сдвинулся ли рисунок за которым идет наблюдение(т.е. доска\стакан), но...отследить движение (именно движение, а не просто изменение) графического объекта на экране задачка не простая, да ещё и ресурсоёмкая. (Допустим на шахматной доске передвинули фигуру - это одно дело... как раз за этим программа и должна наблюдать по сути. Это изменение внутри самого объекта наблюдения. Другое дело это когда координаты объекта наблюдения изменились. Т.е. пользователь случайно задел скроллинг браузера - доска съехала с того места на котором находилась. и всё...следить за неё уже как-то проблематично.)
В этом случае сканер должен либо подстроится под доску либо сообщить пользователю, что наблюдение более не возможно, потому как он не видит объекта за которым надо наблюдать...
Потом я подумал вот над чем, ведь любая картинка на экране это какое-то окно или часть какого-то окна. Так почему вместо достаточно сложного графического анализа, которого и так в программе будет много, не следить за событиями окна выводящего на экран картинку доски(стакана) и если в окне за картинкой которого мы следим происходит скроллинг или изменение координат окна, значит картинка тоже сдвинется и надо бы подвинуть в след за ней и окно сканера.
Фух, вроде объяснил....:-)

Сообщение от Pro_grammer А если там снизу будет 2 или 5 окон?

Может, но непосредственно под окном сканера и в момент начала отслеживания только одно... Потому, что в противном случае, онка будут перекрывать графический объект(стакан\доску)....
Я полагаю, что даже самый близорукий и криворукий пользователь (сужу по себе :-) ) вряд ли расположит сканер так, что отслеживаемый графический объект будет перекрыт другими окнами. Даже допустив погрешность в размерах в ширине, высоте и координатах сканера в десятки пикселей, уж его центр точно будет расположен над сканируемой картинкой, а следовательно и над окном эту картинку создающим. :-)

Миниатюры

   

0

Задача ясная, но сложно для исполнения.
Начать с того, что ваша прога универсальная, и может снимать любой участок экрана в любой программе. А вот программы все разные и исполнение интерфейса разное. Где то скролл это стандартный Виндовый, то следить можно, предварительно узнав его Дескриптор
GetScrollPos_(hWnd, #SB_VERT);SB_HORZ

Где то самописный и руками нарисованный? Где то может нужное пространство закроется всплывающим окном с рекламой, а где то стандартной мессагой. Все случаи трудно предусмотреть. Наверно по тому в прогах, снимающих видео экрана, вся ответственность на человеке, который за этим следит?

0

Pro_grammer, Да всего не предусмотришь, например о самописном скроле и всплывающем окне я даже подумал.
Ответственность с пользователя на самом деле никто не снимает... Так тоже окно сканера это на самом деле упрощение задачи Изначально, она была куда сложнее. Окно сканера собственно служит указателем координат и размеров графического объекта. (Т.е. убирает необходимость машине самостоятельно искать шахматную доску по всему экрану и определять её размеры. Первая задумка была именно такой.) Во вторых, окно показывает пользователю, где у компьютера сейчас глаза находятся.
Детектор движения тут выполняет роль подстраховки. (грубо говоря защиты от дурака)
Но, вероятно, реализовывать детектор движения придется всё же при помощи графического анализа.

0

Вы что, про сабклассинг первый раз слышите?
Берёте hwnd нужного окна, дальше GetWindowLongPtr с параметром GWLP_WNDPROC, потом назначаете свою оконную процедуру через SetWindowLongPtr и обрабатываете все сообщения которые надо, не забывая отправлять обратно в старую оконную процедуру.

0

Замабувараев, Для начала нужно узнать какое окно нужное? (Т.е. какому окну принадлежит картинка)

0

Например, через WindowFromPoint.

0

Сабклассинг окна чужого процесса - не такая простая задача. Нужно писать DLL и внедрять в процесс. Более того для каждой разрядности нужно делать свою DLL. Можно обойтись и одним приложением, но нужно хорошо разбираться в ассемблере.
Вообще задача изначально решается неправильно, нужно просто из памяти процесса читать нужные данные и все, без всяких сканеров.

0

Сообщение от The trick нужно просто из памяти процесса читать нужные данные и все, без всяких сканеров.

Как снимать видео или скриншоты читая нужные данные из памяти процесса?
Это же продолжение тем автора Назначение цвета прозрачным, Дырявое окно и т.п.

0

Сообщение от Pro_grammer Как снимать видео или скриншоты читая нужные данные из памяти процесса?

Это вообще лишнее звено. Вот что ТС написал:

Сообщение от nigri_lupus После чего сканер приступает к выполнению своих основных функций - слежке за "графическим объектом" и анализом его изменений. (В случае с шахматами, кто куда и как походил, а в случае с тетрисом, как какие фигуры и куда падают)

Ему нужно следить либо за шахматами, либо за фигурами.

0

Сообщение от The trick Ему нужно следить либо за шахматами, либо за фигурами.

Возможно. Но это очень специфично. Т.е под каждый случай нужно написать свою программу, которая будет из памяти процесса читать нужные данные. Например, есть на Пурике программа, которая жульничает с игрой Сапёр, останавливает таймер как раз читая и меняя данные в памяти процесса Сапёр. Но нужно знать по какому адресу эти данные, иначе ни как.
А распознавание образов с экрана будет более универсально. Просто сверять с некоторым интервалом картинки. Так работают детекторы движения в реальном времени с камеры наблюдения.

0

Сообщение от Pro_grammer А распознавание образов с экрана будет более универсально.

Сообщение от Pro_grammer Но нужно знать по какому адресу эти данные

Это 2 несравнимые задачи. Анализ и распознавание намного более сложная задача чем получение значения из памяти. Насчет универсальности, то тут тоже не все так радужно, т.к. для каждого типа распознавания нужен свой алгоритм. С таким же успехом можно иметь описание адресов которые нужно считывать.

0

Сообщение от The trick Анализ и распознавание намного более сложная задача чем получение значения из памяти.

Ну для кого как

Сообщение от The trick можно иметь описание адресов которые нужно считывать

Каким образом это сделать практически? Сколько займет вычисление адресов для десятка шахматных программ? А ещё учесть, что адреса меняются после выхода обновления. А если движок на сервере, и надо не адреса вычислять, а трафик анализировать?
Вычислить методом сравнения двух изображений, что сделан ход, откуда и куда, разве сложнее?

Добавлено через 5 минут
А для шахмат вообще всё ещё проще. Можно анализировать не сами ходы, а ведение шахматной записи. Обычно все ходы отображаются в текстовом виде.

0

Сообщение от Pro_grammer Каким образом это сделать практически? Сколько займет вычисление адресов для десятка шахматных программ? А ещё учесть, что адреса меняются после выхода обновления.

Это зависит от многих факторов. Сколько займет создание распознавателя для десятка шахматных программ?

Сообщение от Pro_grammer А если движок на сервере, и надо не адреса вычислять, а трафик анализировать?

Ну так в клиент тебе в любом случае данные придут, как минимум чтобы обновить в нужном месте информацию.

Сообщение от Pro_grammer Вычислить методом сравнения двух изображений, что сделан ход, откуда и куда, разве сложнее?

Сложнее. Возьмем те же шахматы. К примеру в одних реализациях может быть анимированный ход, какие-либо всплывающие окна ну и т.п. Если идти таким путем то нужен интеллектуальный распознаватель. Или возьмем тетрис, там на скрине фон сделан шумом Перлина, а вдруг он анимированный? В общем в любом аспекте данный подход сложен, как алгоритмически, так и вычислительно. Там вообще судя по всему JS-код, там вообще просто получить нужные значения.

Добавлено через 1 минуту

Сообщение от Pro_grammer А для шахмат вообще всё ещё проще. Можно анализировать не сами ходы, а ведение шахматной записи. Обычно все ходы отображаются в текстовом виде.

Это другой разговор, да так более правильней. Но и тут стоит учитывать такие вещи как формат вывода и т.п.

0

The trick, Решение через адреса памяти тут ну совсем не подходит. Причин на то много и отчасти они тут уже перечислены Pro_grammer-ом. Программа изначально задумывалась как универсальный графический распознаватель.

Сообщение от The trick Возьмем те же шахматы. К примеру в одних реализациях может быть анимированный ход, какие-либо всплывающие окна ну и т.п

Это не трудно обработать. любая анимация с точки зрения графики - набор скриншотов и имеет начало и конец, т.е. первый кадр - последний кадр. Собственно всплывающие окна можно тоже отсеять как "графический мусор".

Сообщение от The trick Если идти таким путем то нужен интеллектуальный распознаватель

Он то по сути и пишется, а вопрос о окнах, был попыткой немного упростить задачу(как показало время и диалог с Pro_grammer-ом ошибочной попыткой).

Сообщение от The trick Или возьмем тетрис, там на скрине фон сделан шумом Перлина, а вдруг он анимированный? В общем в любом аспекте данный подход сложен, как алгоритмически, так и вычислительно

Ну, тут на самом деле относительно просто решается :-)

Добавлено через 7 минут

Сообщение от Pro_grammer Как снимать видео или скриншоты читая нужные данные из памяти процесса?

Ну, видео тут не потребуется. скорее скришоты, но идею Вы поняли идеально.
Кстати, ( прошу прощения за небольшой офтоп)... Можно ли сделать скрин того, что под окном, не убирая при этом само окно с экрана? Полагаю, что нет, но, вдруг ошибаюсь... это помогло бы.

Добавлено через 7 минут
Замабувараев, А что вернет WindowFromPoint, Если данная точка принадлежит нескольким окнам? (башня из окон :-) Т.е. когда несколько окон проходят через точку... (окно над окном, над окном, над окном) :-)

0

Сообщение от nigri_lupus что вернет WindowFromPoint

Верхнее видимое окно, выше уже писал об этой функции.

0