Не освобождается память std::string после использования std::bind

@igor_goryachev · Регистрация: 02.02.2016

Студворк — интернет-сервис помощи студентам

Всем привет!

Есть система, которая подгружает из внешних библиотек функции, упаковывает их в std::bind и заносит в std::map<std::string, std::function>. В дальнейшем, как это очевидно, по некой произвольной строке мы в map находим нужную нам функцию и ее выполняем. Система написана на С++11 под Linux (Ubuntu 18.04)

В самом коде, который реализует этот механизм утечек памяти нет (я надеюсь, проверял разными способами). А вот дальше начинается магия. Если в импортируемой функции буду использовать std::string, то память после выполнения импортированной функции не будет освобождаться.

Бодаюсь с этим уже третий день ))

Три вопроса:
1. Что за фигня происходит? Может кто-то сталкивался с подобным поведением.
2. Какие инструменты можно использовать для поиска утечек памяти? Может я еще не все испробовал )
3. Кто готов покопаться в коде системы и поискать ошибку (за вознаграждение, естественно)?

@igor_goryachev · 13.12.2019, 11:50 **[ТС]**

oleg-m1973, возможно, команда top плохо работает с потоками. Я не спорю. Я даже не спорю, что приведенный мной код полное говно. Но...

Я переписал функцию:

C++
1
2
3
4
5
6
7
8
9
10
11
    void ThreadPool::thread_fn(int n, int k)
    {
       for(int i = 0; i < k; i++)
       {
          this->test(n);
          std::cout << "thread test()" << std::endl;
          std::this_thread::sleep_for(std::chrono::seconds(3));
       }
 
       std::cout << "thread end" << std::endl;
}

Я запускаю 10 потоков. Памяти "сжирается" 2-3 ГБ пока работает каждый поток. Но после завершения работы потоков остается занято 400 мб. Часть памяти не освобождается.

Команда top глючит? Ок. Как мне убедиться, что память освобождается?
Код говно? Ок. Что в нем неправильно и что приводит к такому поведению?

@oleg-m1973 · 13.12.2019, 12:02

Сообщение от igor_goryachev

Я запускаю 10 потоков. Памяти "сжирается" 2-3 ГБ пока работает каждый поток. Но после завершения работы потоков остается занято 400 мб. Часть памяти не освобождается.

При запуска потока для него выделяется стек, в винде это 1Мб, ну и ещё какие-то ресурсы. Этот стек удаляется не по завершению функции потока, а только когда ты уничтожищь объект потока.

@igor_goryachev · 13.12.2019, 12:07 **[ТС]**

Безусловно выделяется. Без вызова функции ThreadPool::test() выделяется совсем мало памяти.

3598 igor 20 0 267708 8328 7004 S 0,0 0,2 0:00.01 ./tegia-node

После вызова функции ThreadPool::test() не освобождается 400 Мб

@DrOffset · 13.12.2019, 12:14

Сообщение от igor_goryachev

Как мне убедиться, что память освобождается?

valgrind`ом, для начала.

@oleg-m1973 · 13.12.2019, 12:15

Сообщение от igor_goryachev

После вызова функции ThreadPool::test() не освобождается 400 Мб

Если это число не будет расти, то утечек нет

@igor_goryachev · 13.12.2019, 13:17 **[ТС]**

Вот этот код после завершения потока 1 оставил не освобожденными 69 Мб памяти

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
void test(int n)
{
           std::string tmp(" ");
     
           for(int i = 0; i < n; i++)
           {
              tmp.append("<test>data</test>");
           }
 
}
 
void thread_fn(int n, int k)
{
    for(int i = 0; i < k; i++)
    {
        test(n);
    }
};
 
 
int main(int argc, char* argv[])
{   
   std::cout << "start" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   std::thread * t1 = new std::thread(thread_fn, 10000000, 100);
   t1->join();
   delete t1;
 
   std::cout << "end1" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   std::thread * t2 = new std::thread(thread_fn, 10000, 150);
   t2->join();
   delete t2;
 
   std::cout << "end2" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   return 0;
}

Количество не освобожденной памяти нелинейно зависит от размера создаваемой в test() строки. Чем больше строка, тем больше потом памяти остается не освобожденной.

Да, Valgrind сказал, что утечки нет.

@DrOffset · 13.12.2019, 13:28

Сообщение от igor_goryachev

Чем больше строка, тем больше потом памяти остается не освобожденной.

Это не значит, что она не была освобождена. Вы просто неправильно интерпретируете эти цифры.
http://www.linuxatemyram.ru/

@igor_goryachev · 13.12.2019, 13:46 **[ТС]**

Черт... А это многое объясняет ))

Провел эксперимент. Если строка небольшая, то память освобождается. Если строка большая, то остается дисковый кэш.

СПАСИБО!

Добавлено через 12 минут

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
igor@igor-VirtualBox:/var/tegia/platform2/_bin$ ms_print massif.out.5051 
--------------------------------------------------------------------------------
Command:            ./tegia-node
Massif arguments:   (none)
ms_print arguments: massif.out.5051
--------------------------------------------------------------------------------
 
 
    KB
221.9^                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
   0 +----------------------------------------------------------------------->Mi
     0                                                                   38.51

Новые блоги и статьи Все статьи Все блоги /
Перемещение выделенных строк ТЧ из одного документа в другой Maks 30.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .	Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .
Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .

@igor_goryachev 0 / 0 / 0 Регистрация: 02.02.2016 Сообщений: 14

	Не освобождается память std::string после использования std::bind 06.12.2019, 13:28. Показов 2916. Ответов 27 Метки нет (Все метки) Всем привет! Есть система, которая подгружает из внешних библиотек функции, упаковывает их в std::bind и заносит в std::map<std::string, std::function>. В дальнейшем, как это очевидно, по некой произвольной строке мы в map находим нужную нам функцию и ее выполняем. Система написана на С++11 под Linux (Ubuntu 18.04) В самом коде, который реализует этот механизм утечек памяти нет (я надеюсь, проверял разными способами). А вот дальше начинается магия. Если в импортируемой функции буду использовать std::string, то память после выполнения импортированной функции не будет освобождаться. Бодаюсь с этим уже третий день )) Три вопроса: 1. Что за фигня происходит? Может кто-то сталкивался с подобным поведением. 2. Какие инструменты можно использовать для поиска утечек памяти? Может я еще не все испробовал ) 3. Кто готов покопаться в коде системы и поискать ошибку (за вознаграждение, естественно)? 0

@igor_goryachev 0 / 0 / 0 Регистрация: 02.02.2016 Сообщений: 14
	13.12.2019, 12:07 [ТС]
	Безусловно выделяется. Без вызова функции ThreadPool::test() выделяется совсем мало памяти. 3598 igor 20 0 267708 8328 7004 S 0,0 0,2 0:00.01 ./tegia-node После вызова функции ThreadPool::test() не освобождается 400 Мб 0