Видеопоток c вебкамеры Java Opencv

Здравствуйте. Подскажите пожалуйста возможно ли получать данные о каждом пикселе в реальный момент времени (уровни r,g,b и координаты пикселя) с видеопотока (640х480), захватываемого с веб камеры , или это в принципе/технически не возможно? Спасибо .
.

0

Сообщение от ktYJlxY получать данные о каждом пикселе в реальный момент времени

Что значит в реальный момент времени? Обработать все пиксели текущего изображения в каждый момент (обновления кадра видеопотока)? Можно, но очень затратно. И только через буфер, иначе у тебя комп взорвется.

1

Да. Т.е есть какой то видеопоток с вебкамеры ( пусть будет однотонный фон) 640х480 (30hz частота кадра), в какой то момент времени появляется объект/фигура на короткий момент времени .Вот хотелось бы получить данные о пикселях

Немного не в тему но.

Сообщение от wizard41 Обработать все пиксели текущего изображения в каждый момент (обновления кадра видеопотока)? Можно, но очень затратно.

т.е метод обработки будет обрабатывать пиксели уже на показываемом кадре в
окне? а можно ли не выводя видеопоток с вебкамеры в окне получать через буфер данные пикселей? Т.е те данные которые приходят на комп с вебки(там ведь содержиться инфа о уровенях r.g.b и положении их в кадре), которые передаются пикселям,а уже они строят кадр . Надеюсь мысль передал.

0

ktYJlxY, я конечно имею кое-какие представления об обработке видео-потоков, сжатия, рендеринга и пр.. (ибо все играли в игрушки). Но, тем не менее, не являюсь специалистом в этой области касательно Java.
Считаю, что ты бы, наверное, быстрее нашел ответ на свой вопрос, на более профильных форумах (ветках этого?).
Конкретно здесь обсуждается, обычно, всякий мусор, типа массивов, строк и т.п.
Вообще, если б я полез в эту тему, то для начала, хотя бы изучил основы наработок в этой области типа FXAA или MXAA у ведущих производителей: GeForce, NVidia... etc... Затрачивается хренова туча денег, вшиваются планки DDR5-6, графические процессоры... А ты тут на JVM собрался в реальном времени отлавливать появление мухи...

1

wizard41, помню у меня друг писал на Opencv (правда на С++) детектор медицинских масок на лице, правда подключал еще и нейросети (есть такой функционал) и все это работало на видео в реальном времени.

1

alecss131, а я разве сказал что это невозможно? ) Конечно можно, да и на любых ЯП.
Но у ТС следующие требования:

Сообщение от ktYJlxY данные о каждом пикселе в реальный момент времени

640 * 480 * 30 = 9 216 000 точек в секунду... Инфо о каждом? Хмм...

Сообщение от alecss131 детектор медицинских масок на лице

Если человек в маске появится в видео лишь на 3-5 кадрах - программа сможет его распознать? Вопрос... Т.е. для анализа все равно требуется некоторое время.

0

wizard41, Ну каждый пиксель да, нужны мощности приличные, но вот найти человека в маске или без маски все работало в реальном времени, может задержка небольшая, но там было что при нахождении человека без маски его фото добавлялось в базу данных, а тут достаточно и 1 кадра. Это было еще во времена ковида и обязательных масок.
И повторюсь обработка нейросетями, они быстрее будут работать. К opencv можно подключить для распознавания натренированную нейросеть, правда количество понимаемых форматов не так много и не самые распространенные.
Если ТСу надо искать предметы в реальном времени то посоветую копнуть в связку opencv и нейросети.
Единственное не уверен что на джаве может не хватить производительности, так как либа используется через jni, а оно ест ресурсы.

1

alecss131, ну так то да, просто я говорю за саму реализацию без нейросетей.
Вообще, на самом деле анализ обычно происходит буферизованных данных, т.к. кадры могут меняться очень быстро и алгоритм просто не успеет обработать все. Да и маска занимает явно не 1 пиксель - это большое пятно, которое не так уж сложно найти.

Сообщение от alecss131 не уверен что на джаве

Вот я тоже сомневаюсь..

0

Вся затея ради экспериментов с комп.зрением +ии для фиксации объектов на экране . Но "посшибав верхушки" в статьях по распознаванию предметов не понравился принцип работы алгоритма , для примера если ищем /находим лицо в камере ,поворачиваем его на 30⁰ и оно перестаёт распознаваться это первое что пришло на ум , ну и сам принцип поиска лица с помощью ч/б прямоугольников (примитивы хаара) и ему подобные по которым идёт распознавание как то ограничивает... наверно я сильно много хочу, но хочется поэкспериментировать . Начал с вебки, копаюсь с пикселями пока .. представления слабые но слышал про то что программы можно запускать через gpu, это как раз подходящий вариант скорей всего

0

Сообщение от ktYJlxY слышал про то что программы можно запускать через gpu

не целиком а их части, причем писать надо на спец языках, и там узкое горло это передача данных на видеокарту
причем вся "мощь" gpu в многопотоке, можно запускать параллельно множество однотипных математических расчетов

0

Сообщение от wizard41 Цитата Сообщение от alecss131 Посмотреть сообщение не уверен что на джаве Вот я тоже сомневаюсь..

C++ ?

0

Сообщение от ktYJlxY C++ ?

как вариант. Он более "низкоуровневый".

0

Хотя люди и на питоне используют opencv, а нейросети так вообще монополия питона, на плюсы фиг что найдешь. Так что стоит попробовать джаву и только если не будет устраивать производительность менять язык.

Сообщение от wizard41 Он более "низкоуровневый".

Я бы не назвал его низкоуровневым, просто он сложнее и опаснее, он не следит за пользователем и позволяет легко "отстрелить себе ногу"

0

Сообщение от alecss131 Я бы не назвал его низкоуровневым

Именно поэтому я обрамил это слово в кавычки, дабы не искать эпитетов. Он более гибкий, так скажем, ну и на самом деле - возможностей манипулирования (с точки зрения ассемблера) в нем больше, чем в любых иных языках. Один только inline чего стоит..

Добавлено через 39 минут
alecss131, немного дополню свое высказывание.
Java и C# развивались практически одновременно с самого начала, причем Java более пародировала шарп, который является прямым наследником C++, и развился этот ЯП именно из него, путем внедрения фреймворков с инструкциями-обертками.
Один только этот факт говорит за то, что C++ более "lowlevel" относительно своего потомка.
Идем дальше: С++ вообще появился из C, который еще более прямолинеен. Но, даже в них иногда встречаются asm-вставки, т.к. разные компиляторы по разному интерпретируют ту или иную конструкцию. По итогу, одна и таже функция, написанная на разных ЯП, а тем более, компилированная разными компиллами - выглядит в памяти по разному, да и с разным объемом.
Методы и скорости доступа тоже могут отличаться в разы.
Java работает вообще из под JVM, которая тоже "висит" в памяти. Т.е. вместо прямого обращения, как это делает тот же C++, мы получим переброс (читай конвертирование) одного участка памяти в другое. Какими бы неслыханными скоростями доступа не обладала некая система, в случае с JVM все равно получается увеличение времени до вывода результата, т.к. проходится более длинный путь.
На сегодняшний день, ничего более оптимального по скорости выполнения кода (на Windows станциях) чем С++/С я не встречал. Да, пишется трудно, косо, с подвывертами... Но интерпретируется в машинный исполняемый код лучше всех.

Добавлено через 10 минут
Этим я не говорю, что Java плох в чем-то. Я говорю о том, что если что-то на Java работает хорошо, то непременно будет работать еще лучше (оптимальнее) на ЯП более низкого уровня (языках прародителей). Конкретно с обработкой видео на Java я не встречался, нет такого опыта. Высказываю лишь некоторые догмы, на основании семантического анализа, так скажем.

0

Сообщение от wizard41 причем Java более пародировала шарп, который является прямым наследником C++

Вот с этим категорически не согласен. Шарп мог быть Java++ и мелкомягкие изначально джаву любили и изза споров с саном (изза кросплатформенности) потом начали создавать свою джаву под названием шарпа с кучей доработок старой джавы. А к плюсам шарп не имеет никакого отношения, он си подобный как и джава, не более. Стоит изучить историю языков.

Сообщение от wizard41 даже в них иногда встречаются asm-вставки

В х64 коде асм вставки запрещены, по крайней мере на msvc и clang компиляторах.
А чистый Си так это вообще по сути ассемблер с человеческим синтаксисом.

Сообщение от wizard41 Да, пишется трудно, косо, с подвывертами...

Как плюсовик с этим не согласен.

Не хочу спорить и начинать холивар.

0

Сообщение от alecss131 Как плюсовик с этим не согласен.

трудно-косо - это я имел в виду для НЕ плюсовиков.

Сообщение от alecss131 А к плюсам шарп не имеет никакого отношения, он си подобный как и джава, не более.

Хмм... Ну нам почему то именно так преподносили в универе.
Ладно, действительно оставим тему.

0