Проблемы с менеджером памяти при слишком частом обращении

@An_private · Регистрация: 24.01.2023

Студворк — интернет-сервис помощи студентам

Напоролся на неожиданную проблему.
Пишу программу, в которой захватываются два потока видео (с двух видеокарт).
Захват идёт через API, в котором на прибытие кадра приходит callback.
Соответственно, у меня по прибытию кадра создаётся объект, который запихивается в TThreadList. Потом обрабатывается и удаляется. Так как два потока, то у меня 50 раз в секунду создаётся объект и 50 раз в секунду удаляется обработанный объект. Объектов в очереди относительно немного - порядка 1000.
В чём проблема. Пока объекты только создаются (заполнение очереди) - всё отлично.
Как только объекты начинают удаляться, то через некоторое время выпадает exception вида - access violation.
Судя по стеку в момент exception - проблема возникает в момент создания нового объекта - то есть выглядит так, как будто система не может выделить ему память и всё рушится.
Никакой закономерности найти не смог. Возникает такое ощущение, что если слишком часто создавать и удалять объекты, то менеджер памяти начинает сходить с ума. Никто не сталкивался с таким?

Объекты крошечные, объявлены вот таким образом:

Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
TioAVFrame = class(TOBject)
    VideoData: PByte;
    AudioData: PData16;
    frame_number: Int64;
    start_sample: Int64;
    duration: Int64;
    destructor Destroy; override;
  end;
 
  TTL_outAVframes = TThreadList<TioAVFrame>;
  TL_outAVframes = TList<TioAVFrame>;
 
destructor TioAVFrame.Destroy;
begin
  if Assigned(VideoData) then
    FreeMemory(VideoData);
  if Assigned(AudioData) then
    FreeMemory(AudioData);
 
  VideoData := nil;
  AudioData := nil;
 
  inherited;
end;

В callback'е идёт заполнение:

Delphi
1
2
3
4
5
6
7
8
9
     tmp_frame := TioAVFrame.Create;
 
      tmp_frame.VideoData := nil;
      tmp_frame.AudioData := nil;
      tmp_frame.frame_number := l_frame_number;
      tmp_frame.start_sample := l_sample_number;
      tmp_frame.duration := bufsize;
 
      out_frames.Add(tmp_frame);

Удаление идёт в таймере (пока просто для целей тестирования):

Delphi
1
2
3
4
5
6
7
8
9
10
  tmp_list := Main_in_AVFrames.LockList;
 
  while tmp_list.Count > (10) do
  begin
    tmp_frame := tmp_list.Items[0];
    tmp_list.Delete(0);
 
    if Assigned(tmp_frame) then
      tmp_frame.Free;
  end;

@Иван Ежик · 09.02.2023, 05:52

Сообщение от An_private

создаётся объект, который запихивается в TThreadList. Потом обрабатывается и удаляется

Вот тут поподробнее можно?
Кем удаляется, в какой момент и т.п.
По хорошему лучше конечно минимальный рабочий пример, где воспроизводится ошибка.
Потому как по примерам кода
созданные кадры вы пишете в

Delphi
1
 out_frames.Add(tmp_frame);

А удаляете из

Delphi
1
tmp_list

@AzAtom · 09.02.2023, 09:18

Если callback идёт из драйвера, то эта процедура может работать в другом потоке, и одновременное обращение к одному и тому же объекту вызовет ошибку. Можно попробовать использовать критическую секцию при добавлении и удалении объектов. Только смущает, что добавляется в один список, а удаляется из другого. Как это?

@An_private · 09.02.2023, 09:46 **[ТС]**

Сообщение от AzAtom

Если callback идёт из драйвера, то эта процедура может работать в другом потоке

Бинго. Сам пришёл к этому вчера и вечер интенсивного гугления привёл к интересным результатам. Оказывается, у Delphi два менеджера памяти (или это два режима одного - я не понял, но не суть) - и дефолтный не является потокобезопасным!
Дельфи сам определяет режим - если вы явно запускаете из вашего приложения другие потоки, то он переключается на потокобезопасный менеджер памяти. Но в моём случае использования callback'ов недостаточно для этого и менеджер работал не в потокобезопасном режиме.
Оказывается, есть специальный флажок isMultiThread, который по умолчанию ставится самим дельфи. Но его можно поставить и ручками в FormCreate и тогда менеджер памяти принудительно переводится в потокобезопасный режим. Я это сделал и всё сразу заработало нормально (чьорт побьери, целый день угробил на эту проблему).

Сообщение от AzAtom

одновременное обращение к одному и тому же объекту вызовет ошибку. Можно попробовать использовать критическую секцию при добавлении и удалении объектов

Я поэтому для хранения и использовал TThreadList - там автоматически создаётся критическая секция с момента LockList до UnlockList. И именно поэтому идёт добавление через TThreadList.Add (он там внутри имеет lock/unlock), а вот удалить элемент из листа можно только через временный TList, который отдаётся при LockList.
Поэтому и выглядит, что это разные листы.
Я постоянно использовал подобное решение во многопоточных приложениях. Но никак не ожидал, что дефолтный memory manager является not thread safe

Новые блоги и статьи Все статьи Все блоги /
Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определенном условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .

@AzAtom Модератор 4149 / 2360 / 812 Регистрация: 15.11.2015 Сообщений: 9,462
	09.02.2023, 09:18
	Сообщение было отмечено An_private как решение Решение Если callback идёт из драйвера, то эта процедура может работать в другом потоке, и одновременное обращение к одному и тому же объекту вызовет ошибку. Можно попробовать использовать критическую секцию при добавлении и удалении объектов. Только смущает, что добавляется в один список, а удаляется из другого. Как это? 0

Опции темы

Проблемы с менеджером памяти при слишком частом обращении

Решение