Реализация кодека EAC3 с поддержкой объектов

Привет всем форумчанам!
Зреет в разработке один проект и нуждаюсь в Вашей помощи.
Суть проекта - принять звук с компьютера в формате Dolby Atmos и разложить его по каналам.
Структура каналов на выходе - 7.1.4
Кодек обработки звука - если правильно понял, то EAC3 с объектами
Есть масса вопросов, на которые хотелось бы найти ответы.
1) Если я правильно понял саму суть технологии Dolby Atmos, то изначально мы имеем связку каналов в схеме 5.1 или 7.1, а объекты просто добавляются к этим каналам и двум дополнительным в реальном времени.
Иными словами, мы просто миксуем к существующим кана объект в нужное время, на нужной громкости и на необходимый промежуток времени.
Между тем, объект может перемещаться с одной колонки в другую.
Собственно отсюда вытекает первый вопрос - как в режиме реального времени миксовать звук?
2) Технология Dolby Atmos предполагает, что звук распространяется в известном объёме и математическим определяет на какую колонку в какой промежуток времени необходимо подать объект.
Второй вопрос - как это может быть реализовано с точки зрения микшера?
3) Какие мощности для этих целей необходимы и на чем было бы можно это реализовать?

Есть документация по кодексу AC3 с упоминанием EAC3
Есть проект на C++, который как заявлено расклвдывает поток Dolby Atmos.

0

А как вот это:

Сообщение от aleksandr_l Есть документация по кодексу AC3 с упоминанием EAC3

и это:

Сообщение от aleksandr_l Есть проект на C++, который как заявлено расклвдывает поток Dolby Atmos.

согласуется с этим:

Сообщение от aleksandr_l как в режиме реального времени миксовать звук?

Или вы хотите готовую реализацию или что? Так в документации разве этого нет?

Сообщение от aleksandr_l Какие мощности для этих целей необходимы и на чем было бы можно это реализовать?

ну как минимум компилятор С++ нужен.

0

Worldmaster, необходимо это реализовать силами микроконтроллера или плис - отсюда и встал вопрос о мощностях.
Необходимо не только принять звук, но в реальном времени микшировать и раскладывать по 12 каналам.

Проект, про который я писал ранее, в виде приложения для Windows и к нему есть масса вопросов.
К примеру: насколько я понял, он не обрабатывает информацию относящуюся к пространственному поведению.

Что касается документации, то там тоже все как-то закручено и и с моим "знанием" английского далеко не уехать.
Так же, в документации, я не нашёл информации по пространственному соотношению и ни слова о данных JOC, в которых и есть основная информация по Dolby Atmos.
Так-же не понятно, как микшировать объекты к каналам.

Документацию, от которой я отталкиваясь могу скинуть вечером.
Сам же проект называется - Cavernize free EAC3 Atmos decoder

0

Вот что есть из документации.

Вложения

	18_Metadata.Guide.pdf (120.1 Кб, 5 просмотров)
	a038_tm1217r37_en300468v1_17_1_-_rev-134_-_si_specification.pdf (4.12 Мб, 11 просмотров)
	A52-201212-17.pdf (1.69 Мб, 3 просмотров)
	Dolby Atmos Home Entertainment Studio Technical Guidelines 2021 05.pdf (314.2 Кб, 3 просмотров)
	ts_102366v010101p.pdf (1.15 Мб, 3 просмотров)
	ts_102366v010401p.pdf (1.75 Мб, 7 просмотров)

0

Сообщение от aleksandr_l необходимо это реализовать силами микроконтроллера или плис - отсюда и встал вопрос о мощностях.

Какой МК, какая плис? Архитектуры то слишком разные. Для плис скорее всего вопрос мощности надо рассчитывать по другому.

Но мне кажется что это слишком амбициозно. Может уже есть готовые контроллеры которые все это реализуют?

0

Worldmaster, в том и проблема, что в целом, найти готового решения не удалось.
Есть один чип CS49834/44 от Cirrus Logic, но документации на него я найти не смог.
Еще есть решение от Analog Devices, но информацию по работе с Dolby Atmos они предоставляют только при наличии лицензии от Dolby. В свою очередь получать лицензию Dolby ради пары устройств смысла нет, да и не дают они ее частным лицам.
Отсюда и встал вопрос на чем можно реализовать возможность декодирования Dolby Atmos.
Что лучше выбрать - микроконтроллер или плис?
Если микроконтроллер, то какой минимально подойдет при условии, что нужно будет работать сразу с 12 каналами звука.
Если плис, то тоже не мешало бы знать как его правильно подобрать под задачу.
Возможно кто-то ранее работал с Dolby Atmos или на основе документации сможет объяснить как в целом идет микширование объектов по каналам.
Тоже, один из вопросов:
Я сейчас смотрю в сторону использования ADV7612 для приема аудио потока с HDMI.
Но не совсем уверен в том, что ADV7612 может передавать сырые данные.

Еще такой документ вчера откопал.
Как понял, это по рендеру объектов и метаданных в потоке.

Вложения

ts_103420v010201p.pdf (598.9 Кб, 7 просмотров)

0

Сообщение от aleksandr_l Отсюда и встал вопрос на чем можно реализовать возможность декодирования Dolby Atmos.

Ну вот вроде у стм есть какие то декодеры. https://www.st.com/en/audio-ic... ducts.html

Мне кажется что задача сложнее будет чем кажется.

Сам поток данных у вас есть?? Если есть пример работы на сях то может попробовать хотя бы что то базовое получить из потока.

Сообщение от aleksandr_l ADV7612 может передавать сырые данные.

Как сырые? У него на входе уже HDMI. В даташите и формат наверное описан.


Сложно даже что то советовать. Тут наверное мало людей кто касался подобных задач.
Попробуйте с малого. Если есть сам поток то начать изучение даташита и попробовать в какой нибудь языке доставать какие нибудь куски из потока. Потихоньку будет приходить понимание что конкретно надо сделать с данными.

Когда будет понятно по пакетам и блокам можно будет смотреть в сторону устройства. В любом случае тут врядли получится взять МК подключить пару либ и чтобы все заработало. Это будет долгая и сложная задача.

0

Как сырые? У него на входе уже HDMI. В даташите и формат наверное описан.

Сырые, в плане потока бит. В Даташите на adv7612 написано, что он на выходе даёт PCM, DSD и ещё что-то, но я не совсем понял что.
Мне же нужен исходный поток бит.
Формат в даташите описан, но как-то очень все разбросано.
Пока потока данных нет - пока так сказать отладочную платку соображаю.
Хорошо было бы получить весь кадр данных с HDMI и полностью его разложить что бы чётко понимать данные относящиеся к звуку, а где данные видео.

Мне кажется что задача сложнее будет чем кажется

Я и не говорил, что задача будет простой и это я знал заранее)

Ну вот вроде у стм есть какие то декодеры. https://www.st.com/en/audio-ic... ducts.html

Там скорее не кодеки, а DSP...
Им на вход уже нужно подавать i2s и более 8 каналов они не выдают.

В целом меня сейчас волнуют несколько основных вопросов:
1) Если использовать Плис в качестве конвертора HDMI - > поток бит, то на что следует ориентироваться при выборе?
Плис должна будет принимать весь поток данных с HDMI, отбрасывать данные относящиеся к видео, формировать кадры данных со звуком и либо отправлять на DSP по i2s для дальнейшей обработки или микшировать и выводить готовые 12 каналов звука.
На первых парах вполне бы устроил вариант с простым отбросом данных относящихся к видео.

2) Как в целом идёт микширование звука с программной точки зрения?
К примеру: есть 2 канала i2s (в одном музыка, а во втором слова) нужно их смешать и получить на выходе 1 канал i2s.
Вот сколько не искал так и не смог найти эту информацию.

0

Сообщение от aleksandr_l Если использовать Плис в качестве конвертора HDMI - > поток бит, то на что следует ориентироваться при выборе?

Да что получится достать. на ксилинксы всякие инфы много но в условиях абсолютной блокады работа будет плачевна. К тому же ядра все платные.
я сейчас для одного проекта пилю на GOWIN. у него инфы тоже мало поскольку новый, но хотя бы ядра бесплатные.
А вообще хдми любой плис скорее всего потянет. там вроде как на уровне ядра определяется работа.
У плис логика работы и разработки совершенно отличается.

Сообщение от aleksandr_l Как в целом идёт микширование звука с программной точки зрения?

Да просто суммируется сигнал да и все. Это ж не обязательно про звук. Посмотрите теорию сигналов.

0