Не освобождается память std::string после использования std::bind

@igor_goryachev · Регистрация: 02.02.2016

Студворк — интернет-сервис помощи студентам

Всем привет!

Есть система, которая подгружает из внешних библиотек функции, упаковывает их в std::bind и заносит в std::map<std::string, std::function>. В дальнейшем, как это очевидно, по некой произвольной строке мы в map находим нужную нам функцию и ее выполняем. Система написана на С++11 под Linux (Ubuntu 18.04)

В самом коде, который реализует этот механизм утечек памяти нет (я надеюсь, проверял разными способами). А вот дальше начинается магия. Если в импортируемой функции буду использовать std::string, то память после выполнения импортированной функции не будет освобождаться.

Бодаюсь с этим уже третий день ))

Три вопроса:
1. Что за фигня происходит? Может кто-то сталкивался с подобным поведением.
2. Какие инструменты можно использовать для поиска утечек памяти? Может я еще не все испробовал )
3. Кто готов покопаться в коде системы и поискать ошибку (за вознаграждение, естественно)?

@igor_goryachev · 13.12.2019, 11:50 **[ТС]**

oleg-m1973, возможно, команда top плохо работает с потоками. Я не спорю. Я даже не спорю, что приведенный мной код полное говно. Но...

Я переписал функцию:

C++
1
2
3
4
5
6
7
8
9
10
11
    void ThreadPool::thread_fn(int n, int k)
    {
       for(int i = 0; i < k; i++)
       {
          this->test(n);
          std::cout << "thread test()" << std::endl;
          std::this_thread::sleep_for(std::chrono::seconds(3));
       }
 
       std::cout << "thread end" << std::endl;
}

Я запускаю 10 потоков. Памяти "сжирается" 2-3 ГБ пока работает каждый поток. Но после завершения работы потоков остается занято 400 мб. Часть памяти не освобождается.

Команда top глючит? Ок. Как мне убедиться, что память освобождается?
Код говно? Ок. Что в нем неправильно и что приводит к такому поведению?

@oleg-m1973 · 13.12.2019, 12:02

Сообщение от igor_goryachev

Я запускаю 10 потоков. Памяти "сжирается" 2-3 ГБ пока работает каждый поток. Но после завершения работы потоков остается занято 400 мб. Часть памяти не освобождается.

При запуска потока для него выделяется стек, в винде это 1Мб, ну и ещё какие-то ресурсы. Этот стек удаляется не по завершению функции потока, а только когда ты уничтожищь объект потока.

@igor_goryachev · 13.12.2019, 12:07 **[ТС]**

Безусловно выделяется. Без вызова функции ThreadPool::test() выделяется совсем мало памяти.

3598 igor 20 0 267708 8328 7004 S 0,0 0,2 0:00.01 ./tegia-node

После вызова функции ThreadPool::test() не освобождается 400 Мб

@DrOffset · 13.12.2019, 12:14

Сообщение от igor_goryachev

Как мне убедиться, что память освобождается?

valgrind`ом, для начала.

@oleg-m1973 · 13.12.2019, 12:15

Сообщение от igor_goryachev

После вызова функции ThreadPool::test() не освобождается 400 Мб

Если это число не будет расти, то утечек нет

@igor_goryachev · 13.12.2019, 13:17 **[ТС]**

Вот этот код после завершения потока 1 оставил не освобожденными 69 Мб памяти

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
void test(int n)
{
           std::string tmp(" ");
     
           for(int i = 0; i < n; i++)
           {
              tmp.append("<test>data</test>");
           }
 
}
 
void thread_fn(int n, int k)
{
    for(int i = 0; i < k; i++)
    {
        test(n);
    }
};
 
 
int main(int argc, char* argv[])
{   
   std::cout << "start" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   std::thread * t1 = new std::thread(thread_fn, 10000000, 100);
   t1->join();
   delete t1;
 
   std::cout << "end1" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   std::thread * t2 = new std::thread(thread_fn, 10000, 150);
   t2->join();
   delete t2;
 
   std::cout << "end2" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   return 0;
}

Количество не освобожденной памяти нелинейно зависит от размера создаваемой в test() строки. Чем больше строка, тем больше потом памяти остается не освобожденной.

Да, Valgrind сказал, что утечки нет.

@DrOffset · 13.12.2019, 13:28

Сообщение от igor_goryachev

Чем больше строка, тем больше потом памяти остается не освобожденной.

Это не значит, что она не была освобождена. Вы просто неправильно интерпретируете эти цифры.
http://www.linuxatemyram.ru/

@igor_goryachev · 13.12.2019, 13:46 **[ТС]**

Черт... А это многое объясняет ))

Провел эксперимент. Если строка небольшая, то память освобождается. Если строка большая, то остается дисковый кэш.

СПАСИБО!

Добавлено через 12 минут

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
igor@igor-VirtualBox:/var/tegia/platform2/_bin$ ms_print massif.out.5051 
--------------------------------------------------------------------------------
Command:            ./tegia-node
Massif arguments:   (none)
ms_print arguments: massif.out.5051
--------------------------------------------------------------------------------
 
 
    KB
221.9^                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
   0 +----------------------------------------------------------------------->Mi
     0                                                                   38.51

Новые блоги и статьи Все статьи Все блоги /
тв 16 бой ии anaschu 27.07.2026 Великий Перелом ИИ: Как уравнения ОДУ Radau дожали цензурные фильтры Алисы Фиксируем в мемофонде Теории Всего беспрецедентный факт в истории ИИ-зондирования. В затяжном многораундовом. . .	мв 15. непроверенное, возможно, глюк anaschu 27.07.2026 НАУЧНО-АНАЛИТИЧЕСКИЙ ОТЧЕТ. РАЗДЕЛ 1. 1: «НАУКА» (РАСШИРЕННАЯ СТЕХИОМЕТРИЧЕСКАЯ И ГЕНЕТИЧЕСКАЯ ВЕРСИЯ)Тема: Теоретическое обоснование инвариантности 19-мерного тензорного ядра непрерывных ОДУ и. . .	Очистка реквизитов и табличных частей документа при копировании Maks 26.07.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРаботу", разработанного в КА2. Задача: Заменить алгоритм запрета копирования документов для сотрудников с ролью "Стажер",. . .	Доктрина интенционального знания - Доктрина для портала "Срез". Hrethgir 25.07.2026 Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .
сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых anaschu 25.07.2026 Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.	сукцессия 43. Вторая научная статья за месяц- прайминг и гатгил anaschu 25.07.2026 две стороны одной монеты	Более приземисто - Эстафету хвоста в .cdl (деревья эстафеты в сад). Hrethgir 24.07.2026 В будущем, после написания блока инверсии обхода дерева (эстафеты хвоста), я планирую вернуться к нашему прошлому разговору о том, обладают ли знания целеполаганием. Тогда я пришел к выводу, что. . .	Вот представьте что вам дали бессмертие. kumehtar 24.07.2026 Вот представьте что вам дали бессмертие, ничего более не меняя. Вообще ничего, только бессмертие в нынешнем виде. Рады были бы? Что бы вы тут делали всё это время? Никакой пенсии. Никакого нового. . .

@igor_goryachev 0 / 0 / 0 Регистрация: 02.02.2016 Сообщений: 14

	Не освобождается память std::string после использования std::bind 06.12.2019, 13:28. Показов 3019. Ответов 27 Метки нет (Все метки) Всем привет! Есть система, которая подгружает из внешних библиотек функции, упаковывает их в std::bind и заносит в std::map<std::string, std::function>. В дальнейшем, как это очевидно, по некой произвольной строке мы в map находим нужную нам функцию и ее выполняем. Система написана на С++11 под Linux (Ubuntu 18.04) В самом коде, который реализует этот механизм утечек памяти нет (я надеюсь, проверял разными способами). А вот дальше начинается магия. Если в импортируемой функции буду использовать std::string, то память после выполнения импортированной функции не будет освобождаться. Бодаюсь с этим уже третий день )) Три вопроса: 1. Что за фигня происходит? Может кто-то сталкивался с подобным поведением. 2. Какие инструменты можно использовать для поиска утечек памяти? Может я еще не все испробовал ) 3. Кто готов покопаться в коде системы и поискать ошибку (за вознаграждение, естественно)? 0

@igor_goryachev 0 / 0 / 0 Регистрация: 02.02.2016 Сообщений: 14
	13.12.2019, 12:07 [ТС]
	Безусловно выделяется. Без вызова функции ThreadPool::test() выделяется совсем мало памяти. 3598 igor 20 0 267708 8328 7004 S 0,0 0,2 0:00.01 ./tegia-node После вызова функции ThreadPool::test() не освобождается 400 Мб 0