Трекинг маленьких объектов на изображении с ИК тепловизора

Я отслеживаю цель с БПЛА с помощью тепловизора. Для детекции используется модель YOLOv8n, запускаемая каждые N кадров на NPU, и мне нужно что-то, что позволило бы сохранить траекторию между детекции.

Что я уже пробовал:

• Template matching (NCC)
• MOSSE / CSRT
• NanoTrack / ViTTrack
• Оптический поток Лукаса–Канаде
• Top-hat + CFAR
• Межкадровое вычитание фона
• Всё перечисленное выше на кадрах после предобработки оператором Лапласа
• Локальный центроид интенсивности в небольшом ROI вокруг предсказания фильтра Калмана
• Чистый coast на Калмане без измерений

Каждый из этих методов работает довольно хорошо, когда цель находится на фоне неба, но когда на фоне земля, трекинг начинает сбиваться и терять цель. Я не знаю, что еще попробовать. Надеюсь на помощь знающих людей, может кто-то что подскажет интересное

0

Сообщение от Flipzy Я отслеживаю цель с БПЛА с помощью тепловизора.

А тебе товарищ майор разрешил рассказывать об этом на форуме?

Сообщение от Flipzy Я не знаю, что еще попробовать.

Не использовать трекинг - а детекцию делать каждый кадр.
А если не тянет NPU - то не надо пользоваться чужими готовыми моделями, надо обучать более вычислительно экономные свои, на своём датасете (и/или уметь отрезать от чужих готовых моделей всё избыточное, опять же, файнтюня кастрируемую модель на своём датасете).

0

У меня симулятор. Я инвертирую изображение приближённо к тому, как это выглядит в тепловизоре. Симулятор X-plane 12. Модельку обучал на своём датасете (хотя он не очень большой). Вроде yolov8n и так достаточно легковесная, но нужен запас по производительности.

У меня вроде получилось дотянуть калман до более менее результата, но я так понимаю, что дальше только дообучать модель?

0

Ёлка8 - это 5 или 6 моделей (нано, мини, смолл,... или как их там обозвали?), размеры каждой из которых заданы парой множителей к "длине" и "ширине" (т.е. к числу слоёв и к числу нейронов/карт в слое) относительно некоторого "оригинала" (одной из моделей в этой линейке, принятой за базовую по длине и по ширине).
Понятно, что при таком примитивном управлении размером - в любой модели будут какие-то узкие (влияющие на точность) и избыточные (при этих узких) места. И от задачи к задаче - эти узкие места могут меняться.
Т.е. взятая Ёлка8нано - да, она самая маленькая из исходной номенклатуры моделей 8ой серии. Но её архитектура - это нечто "среднее по больнице", а не подстройка под конкретную задачу и под сопутствующие этой задаче аппаратные требования.

0

То есть мой вариант это лезть в слои и тюнить её под мою задачу? Правильно понял?

0

Если нужен запас по производительности - да.
Иначе можно/надо будет брать более легковесную модель - но эта модель также будет спроектирована под какую-то другую задачу (под ту, на которой её авторы показывали превосходство новой модели над какой-то более ранней).

Ну или можно проанализировать возможности железа. М.б. данные меньшей разрядности там обрабатываются быстрее. Тогда можно обученную модельку попробовать перевести на работу с данными меньшей разрядности (потому, что учить малобитовые веса при малобитовых сигналах трудновато - надо уменьшать битность весов и данных в уже обученной нейронке).

Но всё это я пишу в рамках исходного предложения отказаться от самостоятельной задачи трекинга по всему кадру. Т.е. нейронка выделила объекты - и от кадра к кадру они достаточно мало сдвигаются, поэтому определение того, куда какой объект сдвинулся, может быть решена достаточно простыми алгоритмами/эвристиками. Например, если на двух соседних кадрах есть по объекту одного и того же класса, и их bounding boxes сильно перекрыты - значит, это один и тот же объект.
Т.е. предложение состоит в том, чтобы как можно больше работать со СДВИГОМ найденных объектов от кадра к кадру - а не сопоставлять достаточно далеко (на несколько размеров объекта и более) отдалённые друг от друга объекты, да ещё и на кадрах, м.б. достаточно далеко отстоящих друг от друга по времени.
Хотя, конечно, всё тут будет зависеть от скоростей объектов и/или БПЛА и от частоты кадров.

1

буду пробовать, спасибо

0