|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|||||||||||
new выделяет больше памяти чем положено17.12.2019, 03:31. Показов 5177. Ответов 22
Метки нет (Все метки)
Здравствуйте дамы и господа! Как гении программирования, так и начинающие!
Я являюсь программистом с 10 летним стажем, но сегодня моя челюсть выпала в пол! Сегодня я столкнулся с непонятны поведением оператора new. Непонятным в плане потребления оперативной памяти, как на Windows, так и на Linux. Следующий код работает как и положено, и вопросов не вызывает. Все логично и предсказуемо:
А вот дальше начинаются чудеса:
Это приводит к тому, что односвязный список потребляет кратно больше памяти, чем последовательный контейнер с таким же количеством элементов. Кто-нибудь может объяснит эту проблему? Почему такой расход памяти? Как с этим бороться?
0
|
|||||||||||
| 17.12.2019, 03:31 | |
|
Ответы с готовыми решениями:
22
new выделяет больше памяти, чем задано New выделяет больше памяти, чем необходимо
|
|
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
|
||
| 17.12.2019, 04:41 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
||||||
| 17.12.2019, 12:59 [ТС] | ||||||
|
Добавлено через 7 минут
Ну не в 30 же раз! И выравнивание учитывается функцией sizeof:
0
|
||||||
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
||||||||
| 17.12.2019, 13:44 | ||||||||
|
sizeof - Это информация времени компиляции, а malloc (который обычно внутри new) всегда возвращает наиболее ровный адрес из возможных. Т.е. если вы, например, попросите malloc выделить для вас 1 байт памяти, то выделит она вам минимум 16 байт (на 64-битной платформе). Вот вам программка для тестов: https://rextester.com/MUCV44429 Кликните здесь для просмотра всего текста
Добавлено через 11 минут Таких решений очень много. Загуглите "small object allocator".
2
|
||||||||
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|||||||
| 17.12.2019, 15:30 [ТС] | |||||||
То что стандартный аллокатор мне не подайдет, я уже понял, проблему давно решил. Меня интересует природа сего феномена. Её кто то может внятно объяснить. Я думаю никто не будет спорить, что short занимает в памяти 2 байта. 1 миллиард short-ов - 2 Гб. Откуда 64 Гб? Получается что стандартный std::list крайне не эффективен. Добавлено через 2 минуты Да, в релизе.
0
|
|||||||
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
|||
| 17.12.2019, 15:33 | |||
|
Добавлено через 1 минуту Я написал, что malloc пофигу на sizeof для определения выравнивания. Даже для объекта в один байт (sizeof == 1) он все равно выделит 16.
0
|
|||
|
Неэпический
|
|||
| 17.12.2019, 15:36 | |||
malloc(1), new char и т.д.
0
|
|||
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
|
| 17.12.2019, 15:38 | |
|
На самом деле, конечно, malloc не обязан ничего не знать про выравнивание в соответствии с размером. Т.е. уж для однобайтных-то объектов может быть сделана такая оптимизация. Какой-нибудь jemalloc наверняка умеет это сразу или позволяет настроить. Но в общем случае он все равно не знает, то ли это массив однобайтных элементов из 5 байт, то ли это один большой объект в 5 байт. У них разные выравнивания, но malloc этой информацией не владеет. Поэтому выравнивает, в общем случае, всегда по максимуму.
0
|
|
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|||||||
| 17.12.2019, 16:02 [ТС] | |||||||
Все таки дело в компиляторе или в логике malloc?
0
|
|||||||
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
||
| 17.12.2019, 16:05 | ||
|
Однако компиляция в дебаге может еще больше увеличить этот размер, потому что потребуется место под отладочную информацию для динамической памяти. Тогда можно сказать, что и в "компиляторе" тоже (точнее в компиляции). malloc, естественно, у каждого компилятора может быть свой - потому что своя библиотека CRT. Но это неприниципиальный момент. Какая-то версия стандартного аллокатора может чуть меньше завышать, какая-то - чуть больше. Суть не меняется. Завышают они из-за выравнивания. Еще завышение может быть из-за внутреннего устройства самого аллокатора. Вроде минимального размера блока для выделения памяти.
0
|
||
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|
| 17.12.2019, 16:19 [ТС] | |
|
Если sizeof не канает, то можно ли как-то по другому точно узнать сколько памяти выделяет стандартный new для short?
0
|
|
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
|
| 17.12.2019, 16:27 | |
|
hydro2020, в моем примере есть это (для Linux). Вы его не смотрели?
0
|
|
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|
| 17.12.2019, 17:15 [ТС] | |
|
Правильно я понимаю, что аналог malloc_usable_size для windows - _msize?
Добавлено через 21 минуту _msize говорит, что new short - 2 байта. Нестыковочка. Ответ Croessmah ближе к истине.
0
|
|
|
"C with Classes"
|
|
| 17.12.2019, 17:18 | |
|
hydro2020, посмотри, вроде отзывы хорошие, может что найдешь полезного.
0
|
|
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|
| 17.12.2019, 17:37 [ТС] | |
|
Все нашел!
Вот тут: https://qarchive.ru/488024_s__... peremennyh 16 байт служебной информации + 2 байта шорт = 18 байт. Далее идет выравнивание до кратности 16 байтам. в Итоге new short жрет 32 байта. Цифры сошлись. Всем спасибо. Вопрос закрыт.
0
|
|
|
Неэпический
|
||||||||
| 17.12.2019, 18:01 | ||||||||
Добавлено через 1 минуту ![]() Добавлено через 4 минуты Прикольно, если выделить больше 8 байт, то выделяется более килобайта.
0
|
||||||||
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
|
| 17.12.2019, 18:47 | |
|
0
|
|
|
0 / 0 / 0
Регистрация: 17.12.2019
Сообщений: 9
|
|
| 17.12.2019, 18:52 [ТС] | |
|
Нет, он говорит о заголовках со служебной информацией, вы об этом не сказали ни слова.
0
|
|
|
19491 / 10097 / 2460
Регистрация: 30.01.2014
Сообщений: 17,805
|
||
| 17.12.2019, 19:06 | ||
|
К тому же, он называл заголовком весь объем добавляемой информации, хотя из 32 байт - 16 - это выравнивание. Так что таки об одном и том же, просто с разных сторон.
0
|
||
| 17.12.2019, 19:06 | |
|
Помогаю со студенческими работами здесь
20
Засунуть в ноут больше чем положено! Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/
O1rJuneU_ls
https:/ / vkvideo. ru/ video-115721503_456239114
|
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ВВЕДЕНИЕ
Введу сокращения:
аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
|
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi
ветка по-частям.
коммит Create переделка под биомассу. txt
вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
|
Расчёт токов в цепи постоянного тока
igorrr37 05.01.2026
/ *
Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях.
Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её.
Последовательность действий:. . .
|
|
Новый CodeBlocs. Версия 25.03
palva 04.01.2026
Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .
|
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение.
И на уровне агентов добавится между грибами или бактериями взаимодействий.
До того я пробовал подход через многомерные массивы,. . .
|
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Налог на собак: https:/ / **********/ gallery/ V06K53e
Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf
Пост отсюда. . .
|
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop?
Ниже её машинный перевод.
После долгих разбирательств я наконец-то вернула себе. . .
|