Обработка изображений и ардуино

@Ромуальд_7 · Регистрация: 11.04.2015

Студворк — интернет-сервис помощи студентам

Всем доброго времени суток!
У уважаемых экспертов хочу спросить - можно ли обрабатывать изображения микроконтроллером ардуино? Например, есть микроконтроллер и подключенная к нему модульная видеокамера (матрица с объективом на печатной плате) (кстати, чем, в таком случае, определяется количество кадров, снимаемых камерой, в секунду - ШИМ-сигналом, или у самой камеры тоже есть ограничения? Допустим, мне нужно 150 кадров/с). Мне нужно, чтобы ардуино сличал между собой 2 изображения - текущий и предыдущий кадр - и находил некую величину рассогласования, после чего ставил бы на место предыдущего кадра текущий и получал от камеры новый текущий и так без конца.
Если проще, то вот пример: камера "смотрит" на белое полотно, по которому катится красный мячик. Камера, будучи контролируемой мк ардуино, совмещает центр мячика и центр кадра (даёт "сигнал" шаговому двигателю, поворачивающему камеру - это другая история). Этот "сигнал" - это величина, пропорциональная расстоянию между центрами шарика двух соседних кадров. Таким образом, существует необходимость записать и обработать два кадра (соседних), определив различие в положении одного и того же объекта.
Можно ли и, если да, то как (хоть схематично) осуществить такое на мк ардуино?

@locm · 16.04.2018, 14:48

Сообщение от Ромуальд_7

Можно ли и, если да, то как (хоть схематично) осуществить такое на мк ардуино?

Существует много разновидностей плат Arduino. У вас какая?

Каково разрешение камеры? Подумайте сколько нужно оперативной памяти для хранения двух кадров с тем разрешением что у камеры? Есть ли столько у вашей платы Arduino?

Сообщение от Ромуальд_7

Допустим, мне нужно 150 кадров/с

Подумайте какова должна быть производительность у Arduino чтобы сравнить 150 кадров/с с условием что сравнивать будет по самому примитивному алгоритму - попиксельному?

@Витальич · 16.04.2018, 18:47

Не по теме:

Сообщение от Ромуальд_7

Допустим, мне нужно 150 кадров/с

вот из за таких вопросов я и хожу в ветку "Ардуино" :D

@Ромуальд_7 · 16.04.2018, 23:46 **[ТС]**

Сообщение от locm

Существует много разновидностей плат Arduino. У вас какая?

У меня такая, какая потребуется для решения подобной задачи (к какой придём - такую и куплю, собственно; а вообще, ардуино уно и леонардо имеется).

Сообщение от locm

Каково разрешение камеры? Подумайте сколько нужно оперативной памяти для хранения двух кадров с тем разрешением что у камеры? Есть ли столько у вашей платы Arduino?

разрешение такое, чтобы можно было различить контуры мячика диаметром сантиметров в 10 с расстояния метров в 5 (хватит ли 720р - не знаю); по оперативной памяти - а не может ли камера в обход временного хранилища помещать кадр сразу на SD-карту, соединённую с микроконтроллером?

Сообщение от locm

Подумайте какова должна быть производительность у Arduino чтобы сравнить 150 кадров/с с условием что сравнивать будет по самому примитивному алгоритму - попиксельному?

Если полагать, что эталонный объект занимает едва ли 10% размера кадра (с некоторой областью для сравнения), а микроконтроллер способен сравнивать 16млн (от частоты в 16MHz) пикселей в секунду (в идеальном (и невозможном) случае), то верно ли, что кадр, размером 414720*0,1=41472пикс будет сравнен с таким же кадром за время 41472пикс/16млн пикс/с=0,002592с?

@locm · 16.04.2018, 23:58

Сообщение от Ромуальд_7

У меня такая, какая потребуется для решения подобной задачи

Тогда берите Arduino именуемую малиной или апельсинкой. Только это вовсе не Arduino.

Сообщение от Ромуальд_7

а не может ли камера в обход временного хранилища помещать кадр сразу на SD-карту, соединённую с микроконтроллером?

Сферическая в вакууме пожалуй может.

Сообщение от Ромуальд_7

микроконтроллер способен сравнивать 16млн (от частоты в 16MHz) пикселей в секунду

Думаете что микроконтроллер каждый такт будет сравнивать по пикселю? Смотрите. "Сферическая в вакууме" камера скопировала картинки на флешку. Сколько тактов нужно на чтение данных с флешки и их сравнение? Только не нужно думать что на сравнение пикселя тратится такт. В лучшем случае 10 тактов (без учета чтения с SD карты) а в реальности нужно еще больше времени.

А вообще, попробуйте. Расскажите что получится.

Рыжий Лис · 17.04.2018, 10:02

Возьми Raspberry Pi, к ней любую usb веб-камеру. Для распознавания мячика в кадре - OpenCV.

А раз вопрос задан в разделе ардуино, то подцепляем к малинке ардуинку по usb и управляем сервами.

Только расскажи потом, что получилось, ок? Даже если решишь забросить.

Добавлено через 2 минуты
Для тестов можно обойтись и обычным компьютером (вместо малины). Попробуй начать писать распознавание образов и посылать команды ардуине на поворот камеры.

@Ромуальд_7 · 17.04.2018, 14:01 **[ТС]**

Сообщение от locm

Думаете что микроконтроллер каждый такт будет сравнивать по пикселю?

Нет, я совсем так не думаю

Я и написал - в идеальном случае (то есть, если бы так и было).
А вообще - спасибо; я знал, что возможности ардуины ограничены, но не догадывался, насколько.

Сообщение от Рыжий Лис

подцепляем к малинке ардуинку по usb и управляем сервами.

А вы не могли бы коротенько объяснить что это вы такое написали?

Рыжий Лис · 17.04.2018, 15:10

Легко: с компьютера (или малины, что одно и то же) по serial порту посылаем ардуине команды.

Как я понял, камера будет крепиться на подвижном шарнире с двумя степенями свободы. Одним серво-двигателем (или шаговым) перемещаем её вверх-вниз, вторым - влево-вправо.

Вот и в прошивке в простейшем случае будет реализовано четыре команды:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void loop() {
    //...
    switch (Serial.read()) {
        case 'u':
            //вверх на один шаг/к-л число градусов
            break;
        case 'd':
            //вниз
            break;
        case 'l':
            //влево
            break;
        case 'r':
            //вправо
            break;
        //...
    }     
    //....        
}

@Grey · 17.04.2018, 21:16

Сообщение от Рыжий Лис

Легко: с компьютера (или малины, что одно и то же) по serial порту посылаем ардуине команды.

ну ладно с компа нельзя напрямую управлять сервой.
но зачем к малинке ардуино прицеплять?

Добавлено через 31 минуту

Сообщение от Рыжий Лис

А раз вопрос задан в разделе ардуино

потому, что у ТС нет опыта работы с другими контроллерами.

@Ромуальд_7 · 17.04.2018, 23:22 **[ТС]**

Сообщение от Рыжий Лис

Легко: с компьютера (или малины, что одно и то же) по serial порту посылаем ардуине команды.

Это я понимаю - команда Serial.read() в скетче ардуино и всё такое - но как это автоматизировать? В единственном известном мне и изложенном в интернетах методе такого управления описывается ручной ввод цифир/букв в поле ввода монитора порта с дальнейшим нажатием кнопки "послать"; но это не пойдёт для управления камерой))

Добавлено через 3 минуты

Сообщение от Grey

но зачем к малинке ардуино прицеплять?

ПОстольку, поскольку к малинке нельзя вот так просто подключить, например, двигатель или датчик - нужны переходники/преобразователи; проще - собственно управляемый микроконтроллер, подключение к которому "беспроблемное" (это всё как я смог в этом разобраться

)

@Grey · 17.04.2018, 23:49

Сообщение от Ромуальд_7

поскольку к малинке нельзя вот так просто подключить, например, двигатель

к ардуино вот так просто тоже нельзя подключить двигатель.
а датчики и к малинке подключаются.

Добавлено через 3 минуты
если тебе действительно нужно решить эту задачу, бросай ардуино и изучай Си и более мощные контроллеры.
и OpenCV для обработки изображения.
выше в теме тебе это уже советовали.

Добавлено через 17 минут

Сообщение от Ромуальд_7

камера "смотрит" на белое полотно, по которому катится красный мячик.

если полотно будет однотонное и мячик будет один, то можно попробовать подключить к ардуинке оптическую мышь с поддержкой PS/2.
оптику только переделать придётся.
мышка сама будет определять куда и на сколько покатился мячик.

Рыжий Лис · 18.04.2018, 04:58

Сообщение от Grey

но зачем к малинке ардуино прицеплять?

Предполагается, что в итоге будет встраиваемое устройство. Но можно обойтись обычным компьютером.

Сообщение от Grey

если полотно будет однотонное и мячик будет один, то можно попробовать подключить к ардуинке оптическую мышь с поддержкой PS/2.

Сообщение от Ромуальд_7

разрешение такое, чтобы можно было различить контуры мячика диаметром сантиметров в 10 с расстояния метров в 5 (хватит ли 720р - не знаю);

Мышка не сойдёт.

Сообщение от Ромуальд_7

но как это автоматизировать?

На компьютере открываем нужный com-порт и посылаем данные.

Python
1
2
3
4
import serial
 
with serial.Serial('/dev/ttyUSB0', 19200) as s:
    s.write(b'u')

Распознавание синих мячей (код не очень, лучше переписать с нуля):

Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
#!/usr/bin/env python
import cv2
import numpy as np
 
c = cv2.VideoCapture(0)
while True:
    _, img = c.read()
    img = cv2.flip(img,5)
 
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    lower_color = np.array([110,50,50], dtype=np.uint8)
    upper_color = np.array([130,255,255], dtype=np.uint8)
 
    mask = cv2.inRange(hsv, lower_color, upper_color)
    cv2.imshow('mask',mask)
    res = cv2.bitwise_and(img,img, mask= mask)
 
    imgray = cv2.cvtColor(res,cv2.COLOR_BGR2GRAY)
    ret,thresh = cv2.threshold(imgray,127,255,0)
    contours, hierarchy = cv2.findContours(imgray,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
    for cnt in contours:
        x,y,w,h = cv2.boundingRect(cnt)
        if(w < 60 or h < 60):
            continue
 
        cx,cy = x+w/2, y+h/2
        if 100 < res.item(cy,cx,0) < 120:
             cv2.rectangle(img,(x,y),(x+w,y+h),[255,0,0],2)
        cv2.imshow('img',img)
 
    k = cv2.waitKey(5) & 0xFF
    if k == 27:
        break
 
cv2.destroyAllWindows()

@Ромуальд_7 · 18.04.2018, 22:20 **[ТС]**

Сообщение от Рыжий Лис

На компьютере открываем нужный com-порт и посылаем данные.

Это вы написали код запускаемого (и автономно исполняемого потом) консольного приложения? Просто фраза "открываем и посылаем", пока что (в силу неопытности

), мной воспринимается как "вот взяли и ручками написали, а потом энтером отправили"

Добавлено через 1 минуту

Сообщение от Grey

к ардуино вот так просто тоже нельзя подключить двигатель.

Можна - я подключал и даже управлял))

Рыжий Лис · 19.04.2018, 05:03

Ага, консольный скрипт. Только на windows нужно поменять строку /dev/ttyUSB0 на COM1 или другой, на котором подцеплена ардуина.

Второй скрипт под спойлером считывает изображение с веб-камеры, накладывает синюю маску ("синий цвет" задан диапазоном двух цветов) и вроде бы ищет области.

На ардуине ограничение по току на каждом пине ЕМНИП 40 мА. В отличие от светодиода, напрямую вы не могли двигатель подключить - нужен драйвер (или мощный транзистор - это на любителя) и отдельный блок питания.

@Ромуальд_7 · 20.04.2018, 14:52 **[ТС]**

Рыжий Лис, большое вам спасибо за ваши ответы! Пойду пытаться запрограммировать сие дело)
Осталось купить raspberry pi zero (её, вроде, должно хватить для расчётов)

Новые блоги и статьи Все статьи Все блоги /
Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025

@Ромуальд_7 194 / 29 / 5 Регистрация: 11.04.2015 Сообщений: 735

	Обработка изображений и ардуино 15.04.2018, 19:01. Показов 9512. Ответов 14 Метки нет (Все метки) Всем доброго времени суток! У уважаемых экспертов хочу спросить - можно ли обрабатывать изображения микроконтроллером ардуино? Например, есть микроконтроллер и подключенная к нему модульная видеокамера (матрица с объективом на печатной плате) (кстати, чем, в таком случае, определяется количество кадров, снимаемых камерой, в секунду - ШИМ-сигналом, или у самой камеры тоже есть ограничения? Допустим, мне нужно 150 кадров/с). Мне нужно, чтобы ардуино сличал между собой 2 изображения - текущий и предыдущий кадр - и находил некую величину рассогласования, после чего ставил бы на место предыдущего кадра текущий и получал от камеры новый текущий и так без конца. Если проще, то вот пример: камера "смотрит" на белое полотно, по которому катится красный мячик. Камера, будучи контролируемой мк ардуино, совмещает центр мячика и центр кадра (даёт "сигнал" шаговому двигателю, поворачивающему камеру - это другая история). Этот "сигнал" - это величина, пропорциональная расстоянию между центрами шарика двух соседних кадров. Таким образом, существует необходимость записать и обработать два кадра (соседних), определив различие в положении одного и того же объекта. Можно ли и, если да, то как (хоть схематично) осуществить такое на мк ардуино? 0

Рыжий Лис Просто Лис 5972 / 3734 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	17.04.2018, 10:02
	Возьми Raspberry Pi, к ней любую usb веб-камеру. Для распознавания мячика в кадре - OpenCV. А раз вопрос задан в разделе ардуино, то подцепляем к малинке ардуинку по usb и управляем сервами. Только расскажи потом, что получилось, ок? Даже если решишь забросить. Добавлено через 2 минуты Для тестов можно обойтись и обычным компьютером (вместо малины). Попробуй начать писать распознавание образов и посылать команды ардуине на поворот камеры. 1

Рыжий Лис Просто Лис 5972 / 3734 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	19.04.2018, 05:03
	Сообщение было отмечено Ромуальд_7 как решение Решение Ага, консольный скрипт. Только на windows нужно поменять строку `/dev/ttyUSB0` на `COM1` или другой, на котором подцеплена ардуина. Второй скрипт под спойлером считывает изображение с веб-камеры, накладывает синюю маску ("синий цвет" задан диапазоном двух цветов) и вроде бы ищет области. На ардуине ограничение по току на каждом пине ЕМНИП 40 мА. В отличие от светодиода, напрямую вы не могли двигатель подключить - нужен драйвер (или мощный транзистор - это на любителя) и отдельный блок питания. 1

@Ромуальд_7 194 / 29 / 5 Регистрация: 11.04.2015 Сообщений: 735
	20.04.2018, 14:52 [ТС]
	Рыжий Лис, большое вам спасибо за ваши ответы! Пойду пытаться запрограммировать сие дело) Осталось купить raspberry pi zero (её, вроде, должно хватить для расчётов) 0

Обработка изображений и ардуино

Решение