Как одновременно воспроизвести аудио-потоки от разных участников чата?

@Nalik · Регистрация: 30.11.2012

Студворк — интернет-сервис помощи студентам

Пишу аудио-чат конференцию.
Передаю аудио-поток с микрофона клиента на сервер, с сервера отправляю его всем участникам конференции по TCP.
Для записи и воспроизведения звука использую библиотеку Naudio, готов рассмотреть другие реализации.
Когда говорит 1 участник конференции, а другие слушают - всё ок.
Когда говорят одновременно 2 или более участников, начинаются проблемы. Как можно одновременно воспроизвести аудио-потоки от разных участников?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
//...
 //поток для речи собеседника
WaveOut output;
//буфферный поток для передачи через сеть
public static BufferedWaveProvider bufferStream;
output = new WaveOut();
//создаем буфер потока
bufferStream = new BufferedWaveProvider(new WaveFormat(8000, 16, 1));
//привязываем поток входящего звука к буферному потоку
output.Init(bufferStream);
//Воспроизводим аудио-данные из буфера
output.Play();
//...

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#region Прослушивание входящих подключений
        static private void Listening()
        {
            while (connected == true)
            {
                try
                {
                    byte[] buffer = new byte[8196];
                    int bytesRec = serverSocket.Receive(buffer);
                    Array.Resize(ref buffer, bytesRec);
 
                    bufferStream.AddSamples(buffer, 0, bytesRec); //Проблема тут
 
                }
                catch (Exception ex) { log(ex.Message); }
            }
        }
        #endregion

bufferStream.AddSamples(buffer, 0, bytesRec); //Проблема тут
Проблема в том, что буфер забивается аудио-данными от разных участников конференции и эти данные не успевают воспроизводится. В случае когда говорит 1 участник, то данные успевают воспроизводится.

@Nalik · 14.12.2018, 09:46 **[ТС]**

В клиенте проще, там всего 1 принимающий поток

Вот реализация через mixingWaveProvider32. Не знаю насколько стабильно она работать правда будет.
До этого делал через создание нового экземпляра WaveOut и буфера для него, по аналогичному принципу. Проблем с такой реализацией не было, но она наверняка неправильная. Но мне вообще не нравится идея посылать какие-то примечания в массиве с аудиоданными, мне кажется это очень плохо. А на сервере сделать микширование что-то не получается(

P.s. Микширование сделано в клиенте в классе Client, в методе Listening(). Задействован класс с микшированием VoiceMix.

@Nalik · 14.12.2018, 12:38 **[ТС]**

nicolas2008, есть идеи как сделать такое на сервере?)

@nicolas2008 · 15.12.2018, 02:12

Сообщение от Nalik

есть идеи как сделать такое на сервере?)

Сообщение от Nalik

//Полурабочий пример, байты продолжают накапливаться и не успевают воспроизводиться

А это что?

Да, сделал микс на сервере, но по другому. Чтение из буфера со скоростью воспроизведения плюс таймаут на звуковые данные.

client_server_13_12_2018_15_20_fixed.rar

@Nalik · 16.12.2018, 12:41 **[ТС]**

Сообщение от nicolas2008

А это что?

Видимо старый комментарий остался

Сообщение от nicolas2008

Да, сделал микс на сервере, но по другому. Чтение из буфера со скоростью воспроизведения плюс таймаут на звуковые данные.

Работает божественно, спасибо!) Код в целом посмотрел, увидел класс для отправки звуковых данных, увидел временную завязку, но пока не вникал в тонкости, не откажете мне в комментариях когда начну разбираться?)

@nicolas2008 · 16.12.2018, 19:53

Там еще упростить можно (и нужно).
Вместо того что я нагородил с таймаут буфером, просто включить режим циклического буфера в BufferedWaveProvider

@Nalik · 16.12.2018, 20:19 **[ТС]**

nicolas2008, вы же понимаете, что моих знаний библиотеки пока что не хватит для этого)) мне потом ещё с кодеками разбираться нужно будет, чтобы сжимать данные перед отправкой, но это уже другая история)

@nicolas2008 · 16.12.2018, 21:23

Сорри, это я сложно написал.
Реализуется установкой свойства DiscardOnBufferOverflow = true

@Nalik · 16.12.2018, 21:47 **[ТС]**

А какие функции при этом нужно убрать из за неактуальности?

@nicolas2008 · 16.12.2018, 23:19

Убрать класс InputState и все что с ним связано

@Nalik · 17.12.2018, 08:55 **[ТС]**

Понял, спасибо)

Добавлено через 9 часов 34 минуты

Сообщение от nicolas2008

Реализуется установкой свойства DiscardOnBufferOverflow = true

Установил свойства DiscardOnBufferOverflow в true, убрал функции DropTimeoutBytes, UpdateTimeoutBytes, класс InputState, изменил Dictionary<BufferedWaveProvider на List<>. Вроде все работает

Еще раз большое спасибо за помощь!

@nicolas2008 · 18.12.2018, 02:47

Сообщение от Nalik

Установил свойства DiscardOnBufferOverflow в true, убрал функции DropTimeoutBytes, UpdateTimeoutBytes, класс InputState, изменил Dictionary<BufferedWaveProvider на List<>. Вроде все работает Еще раз большое спасибо за помощь!

Был рад помочь

Новые блоги и статьи Все статьи Все блоги /
Расчёт периметра прямоугольника по координатам вершин Maks 18.07.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Вычислить периметр прямоугольника, заданного координатами своих вершин на плоскости. Решение: Создан документ со следующими. . .	Подсчёт частоты трёхбуквенных слов в тексте Maks 18.07.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Выясните, сколько раз в предложенном тексте встречается каждое трехбуквенное слово. Решение: Создан документ с единственным. . .	Сумма и количество положительных элементов в чётных строках массива Maks 18.07.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Вычислить сумму и количество положительных элементов массива, расположенных в четных строках. Решение: Создан документ с. . .	Поиск произведения положительных чётных чисел в последовательности Maks 18.07.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Дана произвольная последовательность целых чисел. Найти произведение положительных четных чисел данной последовательности. . . .
Обработка трёх чисел: утроение и возведение в степень Maks 18.07.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Даны три действительных числа. Утроить те из них, значения которых неотрицательны, и возвести в четвертую степень отрицательные. . . .	Расчёт стоимости яблок по весу Maks 18.07.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Написать программу вычисления стоимости некоторого количества (по весу) яблок. Решение: Создан документ, с табличной частью. . .	сукцессия 30. Фосфорный и азотный замки по "честному" закону лимитирования Либиха anaschu 16.07.2026 Основные достижения за последние дни 1. Механизм отложенного высвобождения фосфора Добавлен специальный пул для медленного разложения меланизированных гиф ЕСМ Реализована разная скорость. . .	Запрет пометки на удаление и отмены проведения Maks 16.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "ПутевойЛист" разработанного в КА2. Задача: запретить помечать на удаление и отменять проведения путевого листа при условии, если он сдан. . .

@Nalik 176 / 124 / 49 Регистрация: 30.11.2012 Сообщений: 1,330
	14.12.2018, 12:38 [ТС]
	nicolas2008, есть идеи как сделать такое на сервере?) 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	16.12.2018, 19:53
	Там еще упростить можно (и нужно). Вместо того что я нагородил с таймаут буфером, просто включить режим циклического буфера в BufferedWaveProvider 0

@Nalik 176 / 124 / 49 Регистрация: 30.11.2012 Сообщений: 1,330
	16.12.2018, 20:19 [ТС]
	nicolas2008, вы же понимаете, что моих знаний библиотеки пока что не хватит для этого)) мне потом ещё с кодеками разбираться нужно будет, чтобы сжимать данные перед отправкой, но это уже другая история) 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	16.12.2018, 21:23
	Сорри, это я сложно написал. Реализуется установкой свойства DiscardOnBufferOverflow = true 0

@Nalik 176 / 124 / 49 Регистрация: 30.11.2012 Сообщений: 1,330
	16.12.2018, 21:47 [ТС]
	А какие функции при этом нужно убрать из за неактуальности? 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	16.12.2018, 23:19
	Убрать класс InputState и все что с ним связано 0

Как одновременно воспроизвести аудио-потоки от разных участников чата?

Решение