Программа для управления играми черз вебкамеру

Всем привет
Есть ли код или подскажите можно ли написать как то, для того что бы управлять любой игрой через вебкамеру
пример- парализованные пальцы но руки работают более менее, на правую руку нацепить что то яркое (красного цвета к примеру) на левую синего, через камеру отслеживать положение рук, правая рука в права и лево это поворот машиной в игре в права и лево, левая рука это газ и тормоз вперед и назад соответственно, так же можно на левую завязать ручник в права или лево и т.д
в игре желательно выбиралось что бы как джостик какой нибудь, а не нажатие кнопок на клавиатуре.
так же идеально было, если бы можно бы было с шутерами подобное сделать, правая рука как прицел, (курсор) левая бегать, вперед,назад,лево право.


подскажите есть ли такое? если нет, как сделать?

0

может подскажите где бы я могла спросить форум какой то или сайт?

0

Разве что кинект от иксбокса к компу прикрутить. Продается

0

Сообщение от iSmokeJC Разве что кинект от иксбокса к компу прикрутить. Продается

а там нажимать ничего не нужно? пальцами

0

Я особо не в теме, играл один раз в боулинг у друзей. Еще и пьяный в хлам. Там точно нажимать ничего не надо было.
Но игр под кинект не особо много. На али продается, погугли.

0

Сообщение от iSmokeJC Я особо не в теме, играл один раз в боулинг у друзей. Еще и пьяный в хлам. Там точно нажимать ничего не надо было. Но игр под кинект не особо много. На али продается, погугли.

мало игр это плохо, хотелось бы для любых игр типо форзы или контры)

0

Ну, это уж очень сомнительно

0

nastapanova484, сделать, наверное можно, но из-за обработки, буфферизации и распознавания жеста будет задержка где-то в несколько секунд. Т.е. о динамических играх можно сразу забыть. Даже если задержки чудом не будет, то кликнуть мышью все равно быстрее, чем условно махнуть рукой, чисто физически.

0

Наверняка есть сырцы аналогов бесплатной Camera Mouse, но вам решать стоит ли овчинка выделки. А голосовое управление не варик?

0

Yuri V, "загляни за угол и стрельни тому боту в голову".
Бугаг

1

Сообщение от nastapanova484 хотелось бы для любых игр

Если бы это было так просто давно бы уже написали и продавали, просто это не актуально. Если уж куда капать, то в сторону гонок например: есть куча игр на телефон где управление идет через акселерометр, вот тут уже датчик на какую то выжившую конечность и можно нацепить, слать сигнал через какой ни будь блютуз свисток и обрабатывать, под это чудл и пойдут игры с простым интерфейсом управления.

0

Хотя с той же Camera Mouse вполне можно сыграть в lichess.org или крестики-нолики, а голосом можно управлять в некоторых квестах, стратегиях, "однокнопочных" флаппибёрдсах (оп) и даже гонках (лево-право-газ-стоп-назад), нюанс с альтернативным управлением в том, что кроме требования повышенной концентрации, глаза и голос используется не только для команд и часто идут с задержкой в несколько секунд.

0

Сообщение от Yuri V даже гонках (лево-право-газ-стоп-назад)

спорно, газ - обычно клавиша которая реагирует на зажатие, орать газ в течении 20 секунд и пытаться зайти в поворот, так себе идея.

1

Fudthhh, дак газ ногой как водится. Педалью.

0

0

nastapanova484, Ради учебного проекта, в свое время, разработал игру змейка с управлением через жесты рук. На маломощных ПК обработка с камеры тормозила в результате команды запаздывали, но на среднем ПК обработка с камеры шла быстро и можно было полноценно играть.
Я использовал библиотеку компьютерного зрения Mediapipe, позволяющую распознавать жесты рук, управление можно настроить не только жестами, но и перемещением ладони (например, перемещаем ладонь в верх имитируется нажатие клавиши вверх, перемещаем ладонь влево имитируется нажатие клавиши влево). Для управления компьютером можно использовать библиотеку PyAutoGUI, для управлению мышью или клавиатурой pynput.

Таким образом, можно управлять простыми играми не потребляющими много ресурсов.

https://zen.yandex.ru/media/so... 860c9573?&

0

По идее следят за направлением взгляда и отслеживая эту область и длительность взгляда можно интерпретировать как команду нажатие. eye tracking

Есть маркеры одевают на руки и по триангуляции маркера отслеживают жесты, такое используют для записи анимации актеров для игр в играх погуглите тема трекинга движений

Сообщение от Карян На маломощных ПК обработка с камеры тормозила в результате команды запаздывали

Нутак зависит от языка, алгоритма работы и т.п.

Например прочитать с камеры тройку пикселей и идентифицировав что их цвет не совпадает с прошлым кадром (фоном)никакой библиотеки не надо..хоть 60 FPS темболее для змейки там 4 команды. Это нетак круто как жестами зато бесплатно и очень быстро. Как вариант можно задать в кадре виде наличе даже пальца в каком квадратике классифицировать как нажатие…тогда можно неточто жестами…слегка двигая 1 палец управлять змейкой в реальном времени =).

0

Excalibur921,Игра змейка была взята, как обучающий пример для простоты реализации игры, основная задача была изучение библиотеки Mediapipe. Торможение возникает только в том случае если запускается ресурсоемкая игра. тогда приложение работающее в фоне немного тормозит если не хватает ресурсов на ПК.
Это ветка по Python так, что язык очевиден в данном случае.
А алгоритм работы распознания жестов с игрой в принципе не связан. Это отдельное приложение работающее в фоне.


Библиотека достаточно проста в использовании. Для отслеживания рук, жестов нужна только камера. Вот ссылка на документацию по теме отслеживания рук https://google.github.io/mediapipe/solutions/hands.

Фоновая утилита работает достаточно просто, при запуске подключается камера. С заданной частотой обрабатываются кадры. Когда в кадре появляется рука, программа считывает жест руки в данный момент: возможен один из вариантов вверх, вниз, влево, вправо, пауза, жест не распознан. Соответственно в зависимости от распознанного жеста имитируется соответствующее нажатие клавиши.
При тестировании управление жестами было удобно в игре змейке, тетрис, простых гонках, но при запуске ресурсоемких игр, реакция на жесты была немного запоздалой.

Миниатюры

   

2

Сообщение от Карян реакция на жесты была немного запоздалой

А какже, думаете легко найти руку, найти где кости, классифицировать жест все это прилично кушает темболее на скриптовом питоне.

Я к тому что любая библиотека будет тут в сотни раз вычислительно тяжелей чем прочитать пиксель и сравнить “если то” и работать будет медленней. Темболее если амплитуда движений пальцем ограничена. Можно направить камеру так чтобы только 1 палец был виден в кадре и его движение на пару мм вполне можно классифицировать так как жест такое распознавателем жестов из пальцев просто не снилось и работает проще и

Сообщение от Excalibur921 хоть 60 FPS темболее для змейки там 4 команды

.

0

Excalibur921, так я и не спорю, что найти руку и классифицировать жесты на Python требует много ресурсов.
Конечно, можно маркером поставить на руку точку, и отслеживать изменения положения координат данной точки по, на это уйдет меньше ресурсов, но это менее удобный вариант чем простое управление жестами. Я лишь говорю, что реализовать жестовое управление возможно, но не для всех задач оно применимо. Например управление жестами используется в некоторых читалках (перелистывание страниц осуществляется с помощью жестов), с помощью жестов можно управлять дроном, поставив на него камеру и др.
Если бы все это работало достаточно быстро на любом ПК, то тогда отпала бы необходимость во многих девайсах для игр, элементарно можно было сделать считывание с камеры.
Вопрос не в том что библиотека потребляет много ресурсов, а в том что современные игры с продвинутой графикой потребляют практически весь ресурс ПК, не оставляя мало ресурсов на другие процессы.
А так для простых игр, или при чтении электронных книг, просмотра видео жестовое управление работает без проблем.

Я хочу сказать только, что каждый инструмент надо применять правильно и библиотека Mediapipe дает большие возможности по обработке видео потока, классификации объектов на видео, классификации поз человека, жестов рук, сегментации лица и многого другого. Что дает широкие возможности разработчику.

0