Визуализация движений человека unity3d, kinect

@Nextion · Регистрация: 16.11.2015

Студворк — интернет-сервис помощи студентам

В общем задача казалось бы простая, есть кинект, а точнее данные с него в виде csv файла где по очереди идут координаты и кватернионы для каждого сустава, всего 140 столбцов, по 7 координат для 20 точек в виде (x, y, z, QuaternionX, QuaternionY QuaternionZ, QuaternionW), и есть unity3d + рандомная моделька со своим скелетом. Ну и что я думал, возьму трансформы точек скилета из юнити и через Update() буду привязывать к ним соответствующие координаты из файла. Вот только моего персонажа начало выкручивать, перекручивать, ломать ему позвоночник и тд, картина конечно веселая, но грустная ибо я в тупике. Есть идеи?

@Storm23 · 11.05.2018, 16:57

Сообщение от Nextion

Есть идеи?

Выложите модельку и csv файл. Идеи на пустом месте не появляются.

@Nextion · 11.05.2018, 17:18 **[ТС]**

Сообщение от Storm23

Выложите модельку и csv файл. Идеи на пустом месте не появляются.

Вот пример файла, большинство строк пришлось обрезать, т.к. размер превышал допустимый.
Модельку можно взять абсолютно любую у которой есть скелет.

@Storm23 · 11.05.2018, 19:42

Nextion,
Ну во-первых, нельзя взять любую модельку. Потому что кости в кинекте не совпадают со стандартным скелетом в Unity (по кр мере в районе шеи):

Визуализация движений человека unity3d, kinect

Во-вторых, в кинекте - правосторонняя система координат, а в Unity - левосторонняя. Соответственно нужно делать преобразование.

Я делаю преобразование вот так:

Кликните здесь для просмотра всего текста

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
    static Vector3 ParseVector(float[] data, ref int pos)
    {
        var x = data[pos++];
        var y = data[pos++];
        var z = data[pos++];
 
        return new Vector3(x, y, -z);//right -> left hand coord system
    }
 
    static Quaternion ParseQuat(float[] data, ref int pos)
    {
        var x = data[pos++];
        var y = data[pos++];
        var z = data[pos++];
        var w = data[pos++];
 
        return new Quaternion(x, y, -z, -w);//right -> left hand coord system
    }

Но я не уверен в правильности преобразования кватерниона. В вашем примере человек практически неподвижен и трудно понять правильно ли преобразован кватернион. Нужно будет подобрать правильное преобразование кватерниона (пробовать менять местами компоненты и менять знаки для них).
Но в целом моделька выглядит нормально:

Проект целиком:

@Nextion · 11.05.2018, 20:58 **[ТС]**

Storm23, Ого, спасибо большое, моделька почти не двигается, т.к. обрезал большую часть файла из-за размера, то что кости не совпадают в курсе, просто для работы небольшие отклонения мне были не важны, не думаю что в общей картине это сильно все испортило бы, главное было реализовать повороты через кварторионы, не знал что их нужно преобразовывать и как. Попробую в своем проэкте, и отпишусь как все прошло.

@Nextion · 13.05.2018, 14:01 **[ТС]**

Попробовал скрипт на фул данные, вроде все красиво, перенес на модельку, начались те же проблемы что и были. Видео прилагается:

А что если передавать только кватернионы, предварительно выстроив части тела в иерархию, без позишенов, а позишен задавать только при старте?

Добавлено через 13 минут

Сообщение от Nextion

Видео прилагается

https://www.youtube.com/watch?v=uc2xsaCEEY4

@Storm23 · 13.05.2018, 17:25

Nextion,
Так я же уже писал - скелет не подходит. Там не такие как нужно сочленения. Сравните сочленения принятые в kinect, и сочленения в стандартной модели Unity.
Нужно либо делать свой скелет с нужной структурой, либо в стандартном скелете вставить кучу пустышек с нужной ориентацией и в них переносить части стандартного скелета.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .

@Nextion 0 / 0 / 1 Регистрация: 16.11.2015 Сообщений: 14

	Визуализация движений человека unity3d, kinect 11.05.2018, 16:39. Показов 1416. Ответов 6 Метки нет (Все метки) В общем задача казалось бы простая, есть кинект, а точнее данные с него в виде csv файла где по очереди идут координаты и кватернионы для каждого сустава, всего 140 столбцов, по 7 координат для 20 точек в виде (x, y, z, QuaternionX, QuaternionY QuaternionZ, QuaternionW), и есть unity3d + рандомная моделька со своим скелетом. Ну и что я думал, возьму трансформы точек скилета из юнити и через Update() буду привязывать к ним соответствующие координаты из файла. Вот только моего персонажа начало выкручивать, перекручивать, ломать ему позвоночник и тд, картина конечно веселая, но грустная ибо я в тупике. Есть идеи? 0

@Nextion 0 / 0 / 1 Регистрация: 16.11.2015 Сообщений: 14
	11.05.2018, 20:58 [ТС]
	Storm23, Ого, спасибо большое, моделька почти не двигается, т.к. обрезал большую часть файла из-за размера, то что кости не совпадают в курсе, просто для работы небольшие отклонения мне были не важны, не думаю что в общей картине это сильно все испортило бы, главное было реализовать повороты через кварторионы, не знал что их нужно преобразовывать и как. Попробую в своем проэкте, и отпишусь как все прошло. 0

@Storm23 10427 / 5157 / 1825 Регистрация: 11.01.2015 Сообщений: 6,226 Записей в блоге: 34
	13.05.2018, 17:25
	Nextion, Так я же уже писал - скелет не подходит. Там не такие как нужно сочленения. Сравните сочленения принятые в kinect, и сочленения в стандартной модели Unity. Нужно либо делать свой скелет с нужной структурой, либо в стандартном скелете вставить кучу пустышек с нужной ориентацией и в них переносить части стандартного скелета. 0