DirectShowNet Фильтры для Передачи аудио по сети

@Ozzee · Регистрация: 29.10.2014

Студворк — интернет-сервис помощи студентам

Добрый день, прошу помощи знающих людей.
Пишу аудио фильтры для передачи звука по сети. За основу были взяты фильтры Pure C# DirectShowFilters Максима Картавенкова. В интернете очень мало примеров по звуковым фильтрам, тем более под Net.
В целом я изменил его фильтры для передачи видео по сети для звука, но есть проблема.
На приемнике я слышу что то типа шума(металическое зудение). Выкладываю код фильтров. Помогите понять, что я делаю не так?

За код прошу прощения, рабочий процесс идет, много мусора типа комментарии.

Сервер:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
        [ComVisible(true)]
        [System.Security.SuppressUnmanagedCodeSecurity]
        [Guid("8C2513B1-FE3D-429B-B269-7DE70B4879F4")]
        [InterfaceType(ComInterfaceType.InterfaceIsIUnknown)]
        public interface INetworkConfig
        {
            string IP { get; set; }
            int Port { get; set; }
        }
 
        [ComVisible(true)]
        [Guid("009D8235-BB7D-4B45-8BB0-098C87204B5A")]
        [AMovieSetup(true)]
        //[PropPageSetup(typeof(NetworkForm))]
        public class NetworkAudioServer : BaseRendererFilter, INetworkConfig
        {
            #region Variables
 
            FileStream file = new FileStream("C:\\file.txt", FileMode.Create, System.IO.FileAccess.Write);
            private object m_csLockNetwork = new object();
            private string m_sIP = "224.0.0.1";
            private int m_iPort = 1234;
            private IPEndPoint m_EndPoint = null;
            private Socket m_Socket = null;
            private MemoryStream m_Stream = null;
 
            #endregion
 
            #region Constructor
 
            public NetworkAudioServer()
                : base("Network Audio Server")
            {
            }
 
            ~NetworkAudioServer()
            {
                if (m_Socket != null)
                {
                    m_Socket.Close();
                }
            }
 
            #endregion
 
            #region Overridden Methods
 
            public override int Pause()
            {
                if (m_State == FilterState.Stopped)
                {
                    m_Stream = new MemoryStream();
                    Connect();
                }
                return base.Pause();
            }
 
            public override int Stop()
            {
                int hr = base.Stop();
                if (m_Stream != null)
                {
                    m_Stream.Dispose();
                    m_Stream = null;
                    file.Close();/////////////////
                }
                return hr;
            }
 
            public override int CheckMediaType(AMMediaType pmt)
            {
                if (pmt.majorType != MediaType.Audio)
                {
                    return VFW_E_TYPE_NOT_ACCEPTED;
                }
                if (pmt.subType != MediaSubType.PCM)
                {
                    return VFW_E_TYPE_NOT_ACCEPTED;
                }
                if (pmt.formatType != FormatType.WaveEx)
                {
                    return VFW_E_TYPE_NOT_ACCEPTED;
                }
                if (pmt.formatPtr == IntPtr.Zero)
                {
                    return VFW_E_TYPE_NOT_ACCEPTED;
                }
                return NOERROR;
            }
 
            public override int DoRenderSample(ref IMediaSampleImpl pMediaSample)
            {
                if (m_Stream != null)
                {
                    IntPtr _ptr;
                    pMediaSample.GetPointer(out _ptr);              
                    byte[] managedArray = new byte[pMediaSample.GetActualDataLength()];
                    Marshal.Copy(_ptr, managedArray, 0, pMediaSample.GetActualDataLength());
 
                    lock (m_csLockNetwork)
                    {
                        if (m_EndPoint != null)
                        {
                            //m_Stream.Position = 0;
                            try
                            {
                                m_Socket.SendBufferSize = managedArray.Length;
                                m_Socket.SendTo(managedArray, m_EndPoint);
                            }
                            catch (Exception _exception)
                            {
                                TRACE(_exception.Message);
                                m_EndPoint = null;
                            }
                        }
                    }
                }
                return NOERROR;
            }
 
            #endregion
 
            #region Methods
 
            public void Connect()
            {
                lock (m_csLockNetwork)
                {
                    if (m_Socket != null)
                    {
                        m_Socket.Close();
                        m_Socket = null;
                    }
                    m_EndPoint = null;
                    try
                    {
                        m_Socket = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp);
                        var endPoint = new IPEndPoint(IPAddress.Parse("192.168.3.6"), 1234);
                        m_Socket.Bind(endPoint);
                        m_Socket.MulticastLoopback = true;
                        m_Socket.EnableBroadcast = true;
                        IPAddress _ip = IPAddress.Parse(m_sIP);
                        m_Socket.SetSocketOption(SocketOptionLevel.IP, SocketOptionName.AddMembership, new MulticastOption(_ip));
                        m_Socket.SetSocketOption(SocketOptionLevel.IP, SocketOptionName.MulticastTimeToLive, 5);
                        m_EndPoint = new IPEndPoint(_ip, m_iPort);
                    }
                    catch (Exception _exception)
                    {
                        TRACE(_exception.Message);
                    }
                }
            }
 
            #endregion
 
            #region INetworkConfig Members
 
            public string IP
            {
                get
                {
                    return m_sIP;
                }
                set
                {
                    if (m_sIP != value)
                    {
                        m_sIP = value;
                        if (m_State != FilterState.Stopped)
                        {
                            Connect();
                        }
                    }
                }
            }
 
            public int Port
            {
                get
                {
                    return m_iPort;
                }
                set
                {
                    if (m_iPort != value)
                    {
                        m_iPort = value;
                        if (m_State != FilterState.Stopped)
                        {
                            Connect();
                        }
                    }
                }
            }
 
            #endregion
        }

Клиент:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
        [ComVisible(true)]
        public class NetworkStream : SourceStream
        {
            #region Constructor
 
            public NetworkStream(string _name, NetworkSourceFilter _filter)
                : base(_name, _filter)
            {
            }
 
            #endregion
 
            #region Overridden Methods
 
            public override int GetMediaType(ref AMMediaType pMediaType)
            {
                return (m_Filter as NetworkSourceFilter).GetMediaType(ref pMediaType);
            }
 
            public override int DecideBufferSize(ref IMemAllocatorImpl pAlloc, ref AllocatorProperties prop)
            {
                if (!IsConnected) return VFW_E_NOT_CONNECTED;
                return (m_Filter as NetworkSourceFilter).DecideBufferSize(ref pAlloc, ref prop);
            }
 
            public override int FillBuffer(ref IMediaSampleImpl pSample)
            {
                return (m_Filter as NetworkSourceFilter).FillBuffer(ref pSample);
            }
 
            #endregion
        }
 
        [ComVisible(true)]
        [Guid("5922556D-179A-445F-B9DC-14A5AF8D5476")]
        [AMovieSetup(true)]
        //[PropPageSetup(typeof(NetworkForm))]
        public class NetworkSourceFilter : BaseSourceFilter, INetworkConfig
        {
            #region Variables
 
            private string m_sIP = "224.0.0.1";
            private int m_iPort = 1234;
            protected object m_csLockNetwork = new object();
            protected object locker_socket = new object();
            protected object locker_fillbufer = new object();
            protected long m_nAvgTimePerFrame = UNITS / 20;
            protected long m_lLastSampleTime = 0;
            protected Thread m_ReceiveThread = null;
            protected ManualResetEvent m_evQuit = new ManualResetEvent(false);
            MemoryStream _stream = new MemoryStream();
            FileStream file = new FileStream("C:\\file2.txt", FileMode.Create, System.IO.FileAccess.Write);
 
            #endregion
 
            #region Constructor
 
            public NetworkSourceFilter()
                : base("Network Audio Reciever")
            {
 
            }
 
            ~NetworkSourceFilter()
            {
                
            }
 
            #endregion
 
            #region Overridden Methods
 
            protected override int OnInitializePins()
            {
                AddPin(new NetworkStream("Output", this));
                return NOERROR;
            }
 
            public override int Pause()
            {
                if (m_State == FilterState.Stopped)
                {
                    m_lLastSampleTime = 0;
                }
                return base.Pause();
            }
 
            public override int Stop()
            {
                file.Close();
                return base.Stop();
            }
 
            public override int JoinFilterGraph(IntPtr pGraph, string pName)
            {
                if (pGraph != IntPtr.Zero)
                {
                    StartThread();
                }
                else
                {
                    StopThread();
                }
                return base.JoinFilterGraph(pGraph, pName);
            }
 
            #endregion
 
            #region Methods
 
            public void StartThread()
            {
                if (m_ReceiveThread == null || !m_ReceiveThread.IsAlive)
                {
                    m_evQuit.Reset();
                    m_ReceiveThread = new Thread(new ThreadStart(ReceiveThreadProc));
                    m_ReceiveThread.Start();
 
                }
            }
 
            public void StopThread()
            {
                if (m_ReceiveThread != null)
                {
                    m_evQuit.Set();
                    if (!m_ReceiveThread.Join(1000))
                    {
                        m_ReceiveThread.Abort();
                    }
                    m_ReceiveThread = null;
                }
            }
 
            public void Connect()
            {
                StopThread();
                StartThread();
            }
 
            private void ReceiveThreadProc()
            {
                string _ip = m_sIP;
                int _port = m_iPort;
                Socket _socket = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp);
                _socket.SetSocketOption(SocketOptionLevel.Socket, SocketOptionName.ReuseAddress, true);
                IPEndPoint _EndPoint = new IPEndPoint(IPAddress.Any, _port);
                _socket.Bind(_EndPoint);
                _socket.SetSocketOption(SocketOptionLevel.IP, SocketOptionName.AddMembership, new MulticastOption(IPAddress.Parse(_ip)));
                
 
                try
                {
                    while (!m_evQuit.WaitOne(0, false))
                    {
                        byte[] _data = new byte[4096];
                        EndPoint ep = _EndPoint;
                        int iLength = _socket.ReceiveFrom(_data, SocketFlags.None, ref ep);
                        
                        lock (locker_socket)
                        {
                            _stream.SetLength(0);
                            _stream.Write(_data, 0, _data.Length);
                            _stream.Position = 0;
                        }
 
                    }
                }
                catch (Exception _exception)
                {
                    if (!(_exception is ThreadAbortException))
                    {
                        TRACE(_exception.Message);
                    }
                }
                _socket.Close();
                _socket = null;
                //_stream.Dispose();
            }
 
            public int GetMediaType(ref AMMediaType pMediaType)
            {
                lock (m_csLockNetwork)
                {
 
                    pMediaType.majorType = DirectShow.MediaType.Audio;
                    pMediaType.subType = DirectShow.MediaSubType.PCM;
                    pMediaType.formatType = DirectShow.FormatType.WaveEx;
 
                    WaveFormatEx wavex = new WaveFormatEx();
                    wavex.wFormatTag = 1;
                    wavex.nChannels = 2;
                    wavex.nSamplesPerSec = 48000;
                    wavex.nAvgBytesPerSec = 192000;
                    wavex.nBlockAlign = 4;
                    wavex.wBitsPerSample = 16;
                    wavex.cbSize = 0;
 
                    AMMediaType.SetFormat(ref pMediaType, ref wavex);
                    pMediaType.fixedSizeSamples = true;
                    pMediaType.sampleSize = 24576;
                }
                return NOERROR;
            }
 
            public int DecideBufferSize(ref IMemAllocatorImpl pAlloc, ref AllocatorProperties prop)
            {
                AllocatorProperties _actual = new AllocatorProperties();
                prop.cBuffers = 16;
                prop.cbBuffer = 24576;
                prop.cbAlign = 1;
                prop.cbPrefix = 0;
 
                int hr = pAlloc.SetProperties(prop, _actual);
                return hr;
            }
 
            public int FillBuffer(ref IMediaSampleImpl _sample)
            {
                WaveFormatEx wavex = (WaveFormatEx)Pins[0].CurrentMediaType;
 
                //if (sample_data.Length == 0 || sample_data == null)
                //{
                //    Random rand = new Random();
                //    sample_data = new byte[4096];
                //    for (int i = 0; i < 4096; i++)
                //    {
                //        sample_data[i] = Convert.ToByte(rand.Next(0, 255));
                //    }
 
                //    IntPtr _ptr;
                //    _sample.GetPointer(out _ptr);
                //    _sample.SetActualDataLength(sample_data.Length);
                //    //Marshal.Copy(sample_data, 0, _ptr, sample_data.Length);
 
                //    using (TextWriter writer = File.CreateText("C:\\prop2.txt"))
                //    {
 
 
                //        writer.Write("sample_data.Length - ");
                //        writer.Write(sample_data.Length);
                //        writer.Write(writer.NewLine);
 
                //        writer.Close();
                //    }
                //}
                //else
                //{
                //    IntPtr _ptr;
                //    _sample.GetPointer(out _ptr);
                //    _sample.SetActualDataLength(sample_data.Length);
                //    //Marshal.Copy(sample_data, 0, _ptr, sample_data.Length);
 
                //    using (TextWriter writer = File.CreateText("C:\\prop3.txt"))
                //    {
 
 
                //        writer.Write("sample_data.Length - ");
                //        writer.Write(sample_data.Length);
                //        writer.Write(writer.NewLine);
 
                //        writer.Close();
                //    }
                //}
 
                IntPtr _ptr;
                _sample.GetPointer(out _ptr);
 
                lock (locker_fillbufer)
                {
                    Marshal.Copy(_stream.ToArray(), 0, _ptr, (int)_stream.Length);
                    _sample.SetActualDataLength((int)_stream.Length);
                }
                
 
                _sample.SetSyncPoint(true);
                long _stop = m_lLastSampleTime + m_nAvgTimePerFrame;
                _sample.SetTime((DsLong)m_lLastSampleTime, (DsLong)_stop);
                m_lLastSampleTime = _stop;
 
                return NOERROR;
            }
 
            #endregion
 
            #region INetworkConfig Members
 
            public string IP
            {
                get
                {
                    return m_sIP;
                }
                set
                {
                    if (m_sIP != value)
                    {
                        m_sIP = value;
                        Connect();
                    }
                }
            }
 
            public int Port
            {
                get
                {
                    return m_iPort;
                }
                set
                {
                    if (m_iPort != value)
                    {
                        m_iPort = value;
                        Connect();
                    }
                }
            }
 
            #endregion
        }

@Ozzee · 06.04.2018, 16:14 **[ТС]**

Вот скриншот как собраны графы.

@Storm23 · 07.04.2018, 10:08

Ozzee,
1) А отправка и прием идет в одном и том же формате аудио? В каком?
2) А вы ведь в курсе, что UDP пакеты не сохранят очередность. Как вы решаете эту проблему? Судя по коду, никак?
3) В целях тестирования я бы сначала сделал передачу данных непосредственно с клиента на сервер (без сети, например через файл) - что бы убедиться, что клиент и сервер работают с одним форматом данных. И потом, если это работает - повесил бы поверх этого UDP.

@Ozzee · 07.04.2018, 12:42 **[ТС]**

1) А отправка и прием идет в одном и том же формате аудио? В каком?
2) А вы ведь в курсе, что UDP пакеты не сохранят очередность. Как вы решаете эту проблему? Судя по коду, никак?
3) В целях тестирования я бы сначала сделал передачу данных непосредственно с клиента на сервер (без сети, например через файл) - что бы убедиться, что клиент и сервер работают с одним форматом данных. И потом, если это работает - повесил бы поверх этого UDP.

1) Мои мысли по формату:
Если посмотреть информацию о выходном пине декодера AAC, то он использует Wav контейнер. При отправке я указываю такой же контейнер с такими же настройками как у выходного пина. Приемная часть имеет те же параметры контейнера.
Если вместо моего сервер фильтра сразу подключить аудиорендер, то звук после AAC декодера воспроизводится рендером без каких либо проблем. Насколько я понимаю, мне необходимо обеспечить доставку семпла с моего сервер фильтра на фильтр приемник, ничего не поломав при этом, не изменяя данные семпла.

2) Конечно я знаю об этом. Но логика данных фильтров подразумевает мультикаст вещание, а для этого используется UDP.
В исходном примере фильтров все отлично работает для передачи видео, смею предположить, что для звука это будет работать так же, просто я накосячил где то.

3) Разумная идея. Я вот тоже не уверен в части кода, где создается контейнер звука. Дело в том, что примеров по Net фильтрам можно пересчитать по пальцам, а звуковые фильтры это вообще недостижимое чудо.

Если Вы можете подсказать хорошие ресурсы, литературу, любые примеры по DirectShowNet буду признателен.

@Storm23 · 07.04.2018, 13:54

Сообщение от Ozzee

он использует Wav контейнер

По поводу wav - он какой? Бывает сжатый, бывает без сжатия. Если он сжатый, то конечно вы не можете просто так его порубать на произвольные куски и отправить по сети, потому что он не сможет расжаться. Если он не сжатый - теоретически его можно отправить, но тогда скорость передачи данных будет существенно ниже.
В целом для передачи нужно использовать потоковые форматы, а не тупо отправлять семплы. Например тот-же mp3 подходит под стрим формат. Он состоит из независимых чанков, и каждый чанк можно отправить отдельно в отдельном UDP пакете. При этом чанки сжатые.
Ну в крайнем случае можно отправлять и семплы, но нужно их хотя бы сжимать (так что бы сжатый кусок поместился в 1500 байт (а еще лучше в 508 байт) - максимальный размер UDP пакета, который может быть принят любым хостом).

Сообщение от Ozzee

В исходном примере фильтров все отлично работает для передачи видео, смею предположить, что для звука это будет работать так же, просто я накосячил где то.

А передача видео небось была в потоковом формате? Ну так потоковые форматы специально разработаны так, что бы потеря пакетов и/или перестановка их порядка не сильно влияла на качество раскодировки. А вы же посылаете просто поток семплов. И они наверняка будут сбоить в UDP.
Если уж работать с семплами, то нужно каждый пакет нумеровать на отправителе (в начале пакета отправлять порядковый номер пакета), а на приемнике - создать буфер в виде очереди с приоритетом. Пока декодер играет первый принятый пакет, очередь наполняется новыми принятыми пакетами и сортируются по порядковым номерам. Таким образом, вы обеспечите правильный порядок пакетов (но проблема потери пакетов конечно все равно останется).

Сообщение от Ozzee

Разумная идея. Я вот тоже не уверен в части кода, где создается контейнер звука

Ну так протестируйте сначала. Заодно может и проблему найдете.

Сообщение от Ozzee

Если Вы можете подсказать хорошие ресурсы, литературу, любые примеры по DirectShowNet буду признателен.

Не, с этим туго.

Новые блоги и статьи Все статьи Все блоги /
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Символьное дифференцирование igorrr37 13.02.2026 / * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .

@Ozzee 0 / 0 / 0 Регистрация: 29.10.2014 Сообщений: 35
	06.04.2018, 16:14 [ТС]
	Вот скриншот как собраны графы. Миниатюры 0

@Storm23 10427 / 5157 / 1825 Регистрация: 11.01.2015 Сообщений: 6,226 Записей в блоге: 34
	07.04.2018, 10:08
	Ozzee, 1) А отправка и прием идет в одном и том же формате аудио? В каком? 2) А вы ведь в курсе, что UDP пакеты не сохранят очередность. Как вы решаете эту проблему? Судя по коду, никак? 3) В целях тестирования я бы сначала сделал передачу данных непосредственно с клиента на сервер (без сети, например через файл) - что бы убедиться, что клиент и сервер работают с одним форматом данных. И потом, если это работает - повесил бы поверх этого UDP. 0