Не освобождается память std::string после использования std::bind

@igor_goryachev · Регистрация: 02.02.2016

Студворк — интернет-сервис помощи студентам

Всем привет!

Есть система, которая подгружает из внешних библиотек функции, упаковывает их в std::bind и заносит в std::map<std::string, std::function>. В дальнейшем, как это очевидно, по некой произвольной строке мы в map находим нужную нам функцию и ее выполняем. Система написана на С++11 под Linux (Ubuntu 18.04)

В самом коде, который реализует этот механизм утечек памяти нет (я надеюсь, проверял разными способами). А вот дальше начинается магия. Если в импортируемой функции буду использовать std::string, то память после выполнения импортированной функции не будет освобождаться.

Бодаюсь с этим уже третий день ))

Три вопроса:
1. Что за фигня происходит? Может кто-то сталкивался с подобным поведением.
2. Какие инструменты можно использовать для поиска утечек памяти? Может я еще не все испробовал )
3. Кто готов покопаться в коде системы и поискать ошибку (за вознаграждение, естественно)?

@igor_goryachev · 13.12.2019, 11:50 **[ТС]**

oleg-m1973, возможно, команда top плохо работает с потоками. Я не спорю. Я даже не спорю, что приведенный мной код полное говно. Но...

Я переписал функцию:

C++
1
2
3
4
5
6
7
8
9
10
11
    void ThreadPool::thread_fn(int n, int k)
    {
       for(int i = 0; i < k; i++)
       {
          this->test(n);
          std::cout << "thread test()" << std::endl;
          std::this_thread::sleep_for(std::chrono::seconds(3));
       }
 
       std::cout << "thread end" << std::endl;
}

Я запускаю 10 потоков. Памяти "сжирается" 2-3 ГБ пока работает каждый поток. Но после завершения работы потоков остается занято 400 мб. Часть памяти не освобождается.

Команда top глючит? Ок. Как мне убедиться, что память освобождается?
Код говно? Ок. Что в нем неправильно и что приводит к такому поведению?

@oleg-m1973 · 13.12.2019, 12:02

Сообщение от igor_goryachev

Я запускаю 10 потоков. Памяти "сжирается" 2-3 ГБ пока работает каждый поток. Но после завершения работы потоков остается занято 400 мб. Часть памяти не освобождается.

При запуска потока для него выделяется стек, в винде это 1Мб, ну и ещё какие-то ресурсы. Этот стек удаляется не по завершению функции потока, а только когда ты уничтожищь объект потока.

@igor_goryachev · 13.12.2019, 12:07 **[ТС]**

Безусловно выделяется. Без вызова функции ThreadPool::test() выделяется совсем мало памяти.

3598 igor 20 0 267708 8328 7004 S 0,0 0,2 0:00.01 ./tegia-node

После вызова функции ThreadPool::test() не освобождается 400 Мб

@DrOffset · 13.12.2019, 12:14

Сообщение от igor_goryachev

Как мне убедиться, что память освобождается?

valgrind`ом, для начала.

@oleg-m1973 · 13.12.2019, 12:15

Сообщение от igor_goryachev

После вызова функции ThreadPool::test() не освобождается 400 Мб

Если это число не будет расти, то утечек нет

@igor_goryachev · 13.12.2019, 13:17 **[ТС]**

Вот этот код после завершения потока 1 оставил не освобожденными 69 Мб памяти

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
void test(int n)
{
           std::string tmp(" ");
     
           for(int i = 0; i < n; i++)
           {
              tmp.append("<test>data</test>");
           }
 
}
 
void thread_fn(int n, int k)
{
    for(int i = 0; i < k; i++)
    {
        test(n);
    }
};
 
 
int main(int argc, char* argv[])
{   
   std::cout << "start" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   std::thread * t1 = new std::thread(thread_fn, 10000000, 100);
   t1->join();
   delete t1;
 
   std::cout << "end1" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   std::thread * t2 = new std::thread(thread_fn, 10000, 150);
   t2->join();
   delete t2;
 
   std::cout << "end2" << std::endl;
   std::this_thread::sleep_for(std::chrono::seconds(10));
 
   return 0;
}

Количество не освобожденной памяти нелинейно зависит от размера создаваемой в test() строки. Чем больше строка, тем больше потом памяти остается не освобожденной.

Да, Valgrind сказал, что утечки нет.

@DrOffset · 13.12.2019, 13:28

Сообщение от igor_goryachev

Чем больше строка, тем больше потом памяти остается не освобожденной.

Это не значит, что она не была освобождена. Вы просто неправильно интерпретируете эти цифры.
http://www.linuxatemyram.ru/

@igor_goryachev · 13.12.2019, 13:46 **[ТС]**

Черт... А это многое объясняет ))

Провел эксперимент. Если строка небольшая, то память освобождается. Если строка большая, то остается дисковый кэш.

СПАСИБО!

Добавлено через 12 минут

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
igor@igor-VirtualBox:/var/tegia/platform2/_bin$ ms_print massif.out.5051 
--------------------------------------------------------------------------------
Command:            ./tegia-node
Massif arguments:   (none)
ms_print arguments: massif.out.5051
--------------------------------------------------------------------------------
 
 
    KB
221.9^                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::                   
     |                                      #::@   @:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
     |                                      #::@:::@:@::@::@:@:@:@:@:::@:::@::
   0 +----------------------------------------------------------------------->Mi
     0                                                                   38.51

Новые блоги и статьи Все статьи Все блоги /
Локальный http сервер Argus19 17.10.2026 Локальный http сервер На работе, на двух локальных компьютерах круглосуточно работают программы опроса приборов с записью в книги Excel,которые раз в сутки записываются на сервер компании. Т. к. . . .	Копировать Windows на новый диск на UEFI damix 17.10.2026 https:/ / uriesk. wordpress. com/ 2016/ 11/ 01/ move-window-10-to-ssd-on-a-uefi-dualboot-system-with-basic-linux-tools/ TL DR Вставляем диск, а старый подключаем через переходник, грузимся с лайва. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .
Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .

@igor_goryachev 0 / 0 / 0 Регистрация: 02.02.2016 Сообщений: 14

	Не освобождается память std::string после использования std::bind 06.12.2019, 13:28. Показов 3132. Ответов 27 Метки нет (Все метки) Всем привет! Есть система, которая подгружает из внешних библиотек функции, упаковывает их в std::bind и заносит в std::map<std::string, std::function>. В дальнейшем, как это очевидно, по некой произвольной строке мы в map находим нужную нам функцию и ее выполняем. Система написана на С++11 под Linux (Ubuntu 18.04) В самом коде, который реализует этот механизм утечек памяти нет (я надеюсь, проверял разными способами). А вот дальше начинается магия. Если в импортируемой функции буду использовать std::string, то память после выполнения импортированной функции не будет освобождаться. Бодаюсь с этим уже третий день )) Три вопроса: 1. Что за фигня происходит? Может кто-то сталкивался с подобным поведением. 2. Какие инструменты можно использовать для поиска утечек памяти? Может я еще не все испробовал ) 3. Кто готов покопаться в коде системы и поискать ошибку (за вознаграждение, естественно)? 0

@igor_goryachev 0 / 0 / 0 Регистрация: 02.02.2016 Сообщений: 14
	13.12.2019, 12:07 [ТС]
	Безусловно выделяется. Без вызова функции ThreadPool::test() выделяется совсем мало памяти. 3598 igor 20 0 267708 8328 7004 S 0,0 0,2 0:00.01 ./tegia-node После вызова функции ThreadPool::test() не освобождается 400 Мб 0