2 / 2 / 0
Регистрация: 27.02.2014
Сообщений: 86
|
|
1 | |
Реализация кодека EAC3 с поддержкой объектов04.10.2023, 23:54. Показов 519. Ответов 8
Метки нет (Все метки)
Привет всем форумчанам!
Зреет в разработке один проект и нуждаюсь в Вашей помощи. Суть проекта - принять звук с компьютера в формате Dolby Atmos и разложить его по каналам. Структура каналов на выходе - 7.1.4 Кодек обработки звука - если правильно понял, то EAC3 с объектами Есть масса вопросов, на которые хотелось бы найти ответы. 1) Если я правильно понял саму суть технологии Dolby Atmos, то изначально мы имеем связку каналов в схеме 5.1 или 7.1, а объекты просто добавляются к этим каналам и двум дополнительным в реальном времени. Иными словами, мы просто миксуем к существующим кана объект в нужное время, на нужной громкости и на необходимый промежуток времени. Между тем, объект может перемещаться с одной колонки в другую. Собственно отсюда вытекает первый вопрос - как в режиме реального времени миксовать звук? 2) Технология Dolby Atmos предполагает, что звук распространяется в известном объёме и математическим определяет на какую колонку в какой промежуток времени необходимо подать объект. Второй вопрос - как это может быть реализовано с точки зрения микшера? 3) Какие мощности для этих целей необходимы и на чем было бы можно это реализовать? Есть документация по кодексу AC3 с упоминанием EAC3 Есть проект на C++, который как заявлено расклвдывает поток Dolby Atmos.
0
|
04.10.2023, 23:54 | |
Ответы с готовыми решениями:
8
Клиент-сервер с поддержкой COM-объектов Подскажите бесплатный хостинг с поддержкой MySQL баз и с поддержкой внешних подключений к базе данных Реализация твердых объектов Реализация объектов в ABC |
315 / 184 / 44
Регистрация: 25.08.2011
Сообщений: 1,220
|
|
05.10.2023, 08:16 | 2 |
А как вот это:
и это: согласуется с этим: Или вы хотите готовую реализацию или что? Так в документации разве этого нет? ну как минимум компилятор С++ нужен.
0
|
2 / 2 / 0
Регистрация: 27.02.2014
Сообщений: 86
|
|
05.10.2023, 10:58 [ТС] | 3 |
Worldmaster, необходимо это реализовать силами микроконтроллера или плис - отсюда и встал вопрос о мощностях.
Необходимо не только принять звук, но в реальном времени микшировать и раскладывать по 12 каналам. Проект, про который я писал ранее, в виде приложения для Windows и к нему есть масса вопросов. К примеру: насколько я понял, он не обрабатывает информацию относящуюся к пространственному поведению. Что касается документации, то там тоже все как-то закручено и и с моим "знанием" английского далеко не уехать. Так же, в документации, я не нашёл информации по пространственному соотношению и ни слова о данных JOC, в которых и есть основная информация по Dolby Atmos. Так-же не понятно, как микшировать объекты к каналам. Документацию, от которой я отталкиваясь могу скинуть вечером. Сам же проект называется - Cavernize free EAC3 Atmos decoder
0
|
2 / 2 / 0
Регистрация: 27.02.2014
Сообщений: 86
|
|
06.10.2023, 01:10 [ТС] | 4 |
Вот что есть из документации.
0
|
315 / 184 / 44
Регистрация: 25.08.2011
Сообщений: 1,220
|
|
06.10.2023, 08:14 | 5 |
Какой МК, какая плис? Архитектуры то слишком разные. Для плис скорее всего вопрос мощности надо рассчитывать по другому.
Но мне кажется что это слишком амбициозно. Может уже есть готовые контроллеры которые все это реализуют?
0
|
2 / 2 / 0
Регистрация: 27.02.2014
Сообщений: 86
|
|
06.10.2023, 18:12 [ТС] | 6 |
Worldmaster, в том и проблема, что в целом, найти готового решения не удалось.
Есть один чип CS49834/44 от Cirrus Logic, но документации на него я найти не смог. Еще есть решение от Analog Devices, но информацию по работе с Dolby Atmos они предоставляют только при наличии лицензии от Dolby. В свою очередь получать лицензию Dolby ради пары устройств смысла нет, да и не дают они ее частным лицам. Отсюда и встал вопрос на чем можно реализовать возможность декодирования Dolby Atmos. Что лучше выбрать - микроконтроллер или плис? Если микроконтроллер, то какой минимально подойдет при условии, что нужно будет работать сразу с 12 каналами звука. Если плис, то тоже не мешало бы знать как его правильно подобрать под задачу. Возможно кто-то ранее работал с Dolby Atmos или на основе документации сможет объяснить как в целом идет микширование объектов по каналам. Тоже, один из вопросов: Я сейчас смотрю в сторону использования ADV7612 для приема аудио потока с HDMI. Но не совсем уверен в том, что ADV7612 может передавать сырые данные. Еще такой документ вчера откопал. Как понял, это по рендеру объектов и метаданных в потоке.
0
|
315 / 184 / 44
Регистрация: 25.08.2011
Сообщений: 1,220
|
|
07.10.2023, 12:27 | 7 |
Ну вот вроде у стм есть какие то декодеры. https://www.st.com/en/audio-ic... ducts.html
Мне кажется что задача сложнее будет чем кажется. Сам поток данных у вас есть?? Если есть пример работы на сях то может попробовать хотя бы что то базовое получить из потока. Как сырые? У него на входе уже HDMI. В даташите и формат наверное описан. Сложно даже что то советовать. Тут наверное мало людей кто касался подобных задач. Попробуйте с малого. Если есть сам поток то начать изучение даташита и попробовать в какой нибудь языке доставать какие нибудь куски из потока. Потихоньку будет приходить понимание что конкретно надо сделать с данными. Когда будет понятно по пакетам и блокам можно будет смотреть в сторону устройства. В любом случае тут врядли получится взять МК подключить пару либ и чтобы все заработало. Это будет долгая и сложная задача.
0
|
2 / 2 / 0
Регистрация: 27.02.2014
Сообщений: 86
|
|
10.10.2023, 09:48 [ТС] | 8 |
Мне же нужен исходный поток бит. Формат в даташите описан, но как-то очень все разбросано. Пока потока данных нет - пока так сказать отладочную платку соображаю. Хорошо было бы получить весь кадр данных с HDMI и полностью его разложить что бы чётко понимать данные относящиеся к звуку, а где данные видео. Им на вход уже нужно подавать i2s и более 8 каналов они не выдают. В целом меня сейчас волнуют несколько основных вопросов: 1) Если использовать Плис в качестве конвертора HDMI - > поток бит, то на что следует ориентироваться при выборе? Плис должна будет принимать весь поток данных с HDMI, отбрасывать данные относящиеся к видео, формировать кадры данных со звуком и либо отправлять на DSP по i2s для дальнейшей обработки или микшировать и выводить готовые 12 каналов звука. На первых парах вполне бы устроил вариант с простым отбросом данных относящихся к видео. 2) Как в целом идёт микширование звука с программной точки зрения? К примеру: есть 2 канала i2s (в одном музыка, а во втором слова) нужно их смешать и получить на выходе 1 канал i2s. Вот сколько не искал так и не смог найти эту информацию.
0
|
315 / 184 / 44
Регистрация: 25.08.2011
Сообщений: 1,220
|
|
10.10.2023, 10:02 | 9 |
Да что получится достать. на ксилинксы всякие инфы много но в условиях абсолютной блокады работа будет плачевна. К тому же ядра все платные.
я сейчас для одного проекта пилю на GOWIN. у него инфы тоже мало поскольку новый, но хотя бы ядра бесплатные. А вообще хдми любой плис скорее всего потянет. там вроде как на уровне ядра определяется работа. У плис логика работы и разработки совершенно отличается. Да просто суммируется сигнал да и все. Это ж не обязательно про звук. Посмотрите теорию сигналов.
0
|
10.10.2023, 10:02 | |
10.10.2023, 10:02 | |
Помогаю со студенческими работами здесь
9
Реализация столкновения объектов Реализация движения объектов на canvas. ООП, реализация стека объектов Реализация двусвязного списка объектов Реализация поиска в списке из объектов Django - реализация поиска объектов Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |