Изменение размера вектора векторов занимает много времени при первом запуске ОС

@Georgy van Ral · Регистрация: 13.03.2024

Студворк — интернет-сервис помощи студентам

Здравствуйте. Для представления последовательности изображений я использую вектор объектов своего класса, одним из атрибутов которых является другой вектор. По сути - вектор векторов.
При первом запуске программы изменение размерности каждого элемента вектора (изменение количества пикселей в каждом изображении) занимает много времени. Однако, при последующих запусках программы времени на это уходит гораздо меньше и так будет вплоть до перезапуска ОС.
Использую Ubuntu 20.04, Qt, пробовал изменение размера через resize, застолбить память через reserve и добавлять элементы через emplace_back, ничего не помогло.
В чём может быть проблема?

@Aledveu · 18.03.2024, 23:56

а может нормально ручками выделить память - в программе запросить у ОС большой блок и далее линейным аллокатором нарезать на нужные блоки

@Georgy van Ral · 19.03.2024, 14:10 **[ТС]**

Сообщение от Дмитрий_1982

Посмотрите через диспетчер задач.

Первая картинка - первое изменение размера вектора, заняло около 15 секунд. Вторая картинка - все последующие ресайзы, происходит за 1-2 секунды. Третья картинка - когда вектор уничтожен.

@Georgy van Ral · 19.03.2024, 14:14 **[ТС]**

Сообщение от SmallEvil

Georgy van Ral, кеширование есть во всех современных ОС.

Сомневаюсь, что дело в этом, иначе почему такое большое количество времени уходит только при первом запуске в текущем сеансе работы ОС?

Добавлено через 2 минуты

Сообщение от alecss131

А если с помощью ffmpeg кадры руками складывать в какой нибудь контейнер?

По множеству причин мне это не подходит

Сообщение от Aledveu

а может нормально ручками выделить память - в программе запросить у ОС большой блок и далее линейным аллокатором нарезать на нужные блоки

Так я пробовал запрашивать кусок памяти для вектора с помощью reserve, это не помогло. Память предоставляется практически мгновенно, а вот новые элементы добавляются долго

@SmallEvil · 19.03.2024, 15:04

Сообщение от Georgy van Ral

Сомневаюсь, что дело в этом, иначе почему такое большое количество времени уходит только при первом запуске в текущем сеансе работы ОС?

Вот именно поэтому, часть файлов уже закеширована и нет нужды опять загружать их с камеры.

Сообщение от Georgy van Ral

а вот новые элементы добавляются долго

Вот не думал что придется тыкать носом.
Скорость загрузки такого объема с камеры сколько займет ???

@lemegeton · 19.03.2024, 15:41

Сообщение от Georgy van Ral

Первая картинка - первое изменение размера вектора, заняло около 15 секунд. Вторая картинка - все последующие ресайзы, происходит за 1-2 секунды. Третья картинка - когда вектор уничтожен.

Есть стойкое подозрение, что так в первый раз резервируется место в свопе.
Покажете, как настроен файл подкачки? Можно попробовать его убрать или настроить статический размер.

@Дмитрий_1982 · 19.03.2024, 19:28

Сообщение от Georgy van Ral

Первая картинка - первое изменение размера вектора, заняло около 15 секунд. Вторая картинка - все последующие ресайзы, происходит за 1-2 секунды. Третья картинка - когда вектор уничтожен.

Немного не то пальто. У вас достаточно физической памяти, поэтому процент использования файла подкачки на нуле. Нужно смотреть либо ошибки страниц, либо процент использования жесткого диска.

Алексей1153 · 19.03.2024, 19:34

Сообщение от Georgy van Ral

так как линукс на виртуальной машине.

а не в этом ли дело? ВМ, наверное, может память от хоста сразу реально и не занимать. При первом обращении ВМ присваивает память (это и занимает время), а гость потом свободно гоняет туды-сюды

@Georgy van Ral · 25.03.2024, 22:46 **[ТС]**

Сообщение от Алексей1153

а не в этом ли дело? ВМ, наверное, может память от хоста сразу реально и не занимать. При первом обращении ВМ присваивает память (это и занимает время), а гость потом свободно гоняет туды-сюды

Судя по всему вы правы. В документации на VMWare Workstation нашёл следующие строки:
"Параметр зарезервированной памяти определяет максимальный объем оперативной памяти хоста, который Workstation Pro может зарезервировать для всех работающих виртуальных машин. Зарезервированная память не выделяется заранее."
Однако, так как невиртуальной Ubunta у меня нет, был бы признателен, если бы кто-то прогнал на реальной убунте следующий пример, и сказал, были ли у него схожие проблемы:

C++
1
std::vector<char> v(0x8p30);//8 гиг

Благодарю всех за советы!

@alecss131 · 25.03.2024, 22:49

Можно попробовать wsl

@SmallEvil · 25.03.2024, 22:59

Сообщение от Georgy van Ral

Судя по всему вы правы.

Вам подобное уже несколько раз сказали, но вам доходит толтько в лоб.
Не быть вам программистом.

Добавлено через 56 секунд

Сообщение от Georgy van Ral

на реальной убунте

Да, тут полно лохов.

Добавлено через 4 минуты

Сообщение от Georgy van Ral

Использую Ubuntu 20.04, Qt, пробовал изменение размера через resize, застолбить память через reserve и добавлять элементы через emplace_back, ничего не помогло.
В чём может быть проблема?

И да, где в вопросе инфа про виртуальную машину ???
~~Идите и повесьтесь.~~

@vxg · 26.03.2024, 07:23

Georgy van Ral, можно запихать дистрибутив на флешку и стартовать с нее в режиме "мне только посмотреть" и на такой "реальной" системе проверить

Новые блоги и статьи Все статьи Все блоги /
Учебный мини "цифровой двойник" = (Сервер = Java + Flask_питон )+(3D = Гугловскаая 4T nvideo + google colab) +( WMS = Odoo на Docker) anaschu 07.07.2026 Увидел в требованиях к вакансии создателя имитационных моделей связку (REst + Api + WMS + Anylogic + питон + 3D Nvideo), и решил посмотреть, что это такое. Из этого всего я работал более менее. . .	Море в объективе kumehtar 06.07.2026 Хотел написать много проникновенных слов, но передумал. Оно само - говорит. Кто слышит тот слышит.	Doom для терминала без стрельбы и монстров. 3D Raycasting на ascii. dcc0 05.07.2026 Попросил нейронную сеть deepai. org написать рейкастинг 3D с библиотекой ncurses для Linux. Чтобы можно было ходить на стрелочки. Чтобы стены были отрисованы символами. Справилась. Первый вариант. . .	Установка статуса документа по условию Maks 05.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "НарядПутевка" разработанного в КА2. Задача: в табличной части "Материалы" документа при записи автоматически устанавливать статус. . .
Сезонность и суточность закисления почв anaschu 04.07.2026 200 часов это все равно моловато. Есть ситуации, но нестандартные, когда смена происходит за 5 лет. Но обычно это 50 лет и более. Наверное, закисление почвы происходит сезонно в средней. . .	В чем ценность человеческого опыта в глобальном смысле? kumehtar 03.07.2026 Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .	интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .

@Georgy van Ral 0 / 0 / 0 Регистрация: 13.03.2024 Сообщений: 11

	Изменение размера вектора векторов занимает много времени при первом запуске ОС 18.03.2024, 02:23. Показов 4231. Ответов 30 Метки linux, memory, std::vector (Все метки) Здравствуйте. Для представления последовательности изображений я использую вектор объектов своего класса, одним из атрибутов которых является другой вектор. По сути - вектор векторов. При первом запуске программы изменение размерности каждого элемента вектора (изменение количества пикселей в каждом изображении) занимает много времени. Однако, при последующих запусках программы времени на это уходит гораздо меньше и так будет вплоть до перезапуска ОС. Использую Ubuntu 20.04, Qt, пробовал изменение размера через resize, застолбить память через reserve и добавлять элементы через emplace_back, ничего не помогло. В чём может быть проблема? 0

@Aledveu 270 / 202 / 30 Регистрация: 26.11.2022 Сообщений: 879
	18.03.2024, 23:56
	а может нормально ручками выделить память - в программе запросить у ОС большой блок и далее линейным аллокатором нарезать на нужные блоки 0

@alecss131 Модератор 2894 / 1400 / 412 Регистрация: 11.08.2017 Сообщений: 4,482 Записей в блоге: 2
	25.03.2024, 22:49
	Можно попробовать wsl 0

@vxg Модератор 3410 / 2182 / 354 Регистрация: 13.01.2012 Сообщений: 8,469
	26.03.2024, 07:23
	Georgy van Ral, можно запихать дистрибутив на флешку и стартовать с нее в режиме "мне только посмотреть" и на такой "реальной" системе проверить 0

Изменение размера вектора векторов занимает много времени при первом запуске ОС

Решение