Нехватка памяти при передаче библиотеке OpenCV большого количества изображений

@Letis · Регистрация: 24.04.2015

Студворк — интернет-сервис помощи студентам

Здравствуйте.
Я не совсем уверен что в правильном разделе создаю тему ибо не понимаю даже в какой стороне искать решение проблемы, но склоняюсь что всё таки это что-то скорее связанное с ОС.
В общем балуюсь я тут библиотечкой OpenCV, а в частности такой классной штукой как распознавание образов. Для этого необходимо подготовить каскады с помощью идущей в комплекте утилитки opencv_traincascade. Суть в том что ей передаёшь набор картинок и она учит классификатор (видимо нейронные сети). Ну так вот у меня это утилитка не хочет работать на домашнем компе и вылетает с ошибкой что не может выделить ~800 Мб в памяти. Но у меня 16 ГБ оперативы и загружена она 15-20%. Почему он там 800 Мб не находит? Это если ему передать 900 картинок. Пробовал передавать 100 - тогда работает ибо естественно и памяти надо меньше. Я бы так и смирился, но старенький ноут на работе с 2 Гб прекрасно справляется с 900 картинками. Я даже залез в исходники этой утилитки и там самый обыкновенный malloc. Возвращаемый им указатель проверяется на нулёвость и если ноль то выводится как раз моя ошибка. Такое ощущение что есть какое-то ограничение и его можно где-то отключить.
Т.к. не уверен в какой области проблема, то не знаю какие нужны данные поэтому если что-то нужно уточнить - отвечу. На всякий случай скрин с самыми основными данными приложил.

@like-nix · 27.03.2016, 01:58

Я почему то подумал что для 64 разрдной оси нужно использовать 64 версию программы. Ну это я так просто подумал если что.

@Letis · 27.03.2016, 03:15 **[ТС]**

Ну я в принципе тоже так думал и на рабочем компе кажись 32 (в понедельник уточню). Но всё равно нет ведь другого варианта утилитки OpenCV-шной. Не верится мне как-то что они решили 64-оси не поддерживать. Получается должна она работать у меня.

@tezaurismosis · 28.03.2016, 12:39

Сообщение от Letis

Ну так вот у меня это утилитка не хочет работать на домашнем компе и вылетает с ошибкой что не может выделить ~800 Мб в памяти

Вот здесь поподробнее. Можно увидеть точный текст ошибки или скрин?
И ещё одно - когда утилите запущена - найдите её в Диспетчере задач и посмотрите, есть ли в конце "*32".

@Letis · 28.03.2016, 21:10 **[ТС]**

Сообщение от tezaurismosis

Вот здесь поподробнее. Можно увидеть точный текст ошибки или скрин?
И ещё одно - когда утилите запущена - найдите её в Диспетчере задач и посмотрите, есть ли в конце "*32".

Ну да. Стоило сразу такой скрин кинуть...
Проверил на работе 32 и там тоже самое. Просто я почему-то думал что дело в количестве положительных образцов а дело в сумме образцов с объектом и без (что логично). Пока эксперименты говорят о том что навернуться может где-то на 1000 картинок в общем, хотя в гайдах пишут что для приемлемого распознавания например лиц ему передают ~ по 2000 обоих типов.
Как я и говорил, в тот самый alloc.cpp на 52-ую строку я проходил и находил там следующее:

C++
1
2
3
4
5
static void* OutOfMemoryError(size_t size)
{
    CV_Error_(CV_StsNoMem, ("Failed to allocate %lu bytes", (unsigned long)size));
    return 0;
}

Функция просто выводящая сообщение и в любом случае возвращающая 0. Вызывается она там же рядышком:

C++
1
2
3
4
5
6
7
8
9
void* fastMalloc( size_t size )
{
    uchar* udata = (uchar*)malloc(size + sizeof(void*) + CV_MALLOC_ALIGN);
    if(!udata)
        return OutOfMemoryError(size);
    uchar** adata = alignPtr((uchar**)udata + 1, CV_MALLOC_ALIGN);
    adata[-1] = udata;
    return adata;
}

Т.е. udata получается NULL... Немного смущает меня этот CV_MALLOC_ALIGN, но если бы он как-то сильно ломал malloc тогда и с 100 картинок не работало бы ведь?

@Letis · 28.03.2016, 21:13 **[ТС]**

Сообщение от tezaurismosis

Вот здесь поподробнее. Можно увидеть точный текст ошибки или скрин?
И ещё одно - когда утилите запущена - найдите её в Диспетчере задач и посмотрите, есть ли в конце "*32".

И чуть не забыл. Да на домашней 64-ой в диспетчере дописано *32. Это плохо? И по наблюдениям он успевает пожрать памяти по более чем, как потом утверждает, не может выделить, когда загибается.

@tezaurismosis · 28.03.2016, 22:11

Сообщение от Letis

Немного смущает меня этот CV_MALLOC_ALIGN

Он наверняка где-то описан рядом в коде, возможно просто как директива препроцессора, типа

C++
1
#define CV_MALLOC_ALIGN 1024

хотя может быть и по-иному.

Сообщение от Letis

Да на домашней 64-ой в диспетчере дописано *32. Это плохо?

Это означает, что приложение скомпилировано как 32-битное и ему выделяется 4 Гб виртуального адресного пространства, из которых только 2 Гб находятся в распоряжении приложения. Так как память выделяется и до этого, вполне возможно, что она заканчивается и эти ~800 Mb не помещаются.
Если у вас есть исходный код, можно попробовать перекомпилировать приложение для 64-битной архитектуры или поискать готовую 64-битную версию. Но на 32-битной системе оно работать не будет.
Можете сами проанализировать используемую память: VMMap и статью в руки и - вперёд!

@vavun · 28.03.2016, 22:30

Не по теме:

tezaurismosis, забирай себе.
Похоже windows тут не при делах

@tezaurismosis · 28.03.2016, 23:16

Не по теме:

vavun, угу.

Letis, одной из причин большого потребления памяти может быть большой .vec-файл.
Можно попробовать запустить процесс с -w и -h поменьше.
Есть очень подробная статья: http://note.sonots.com/SciSoft... ining.html, автор использует размеры 20х20.

@Letis · 31.03.2016, 21:38 **[ТС]**

Благодарю за статейки. Познавательно. Есть вопрос по поводу "перекомпилировать приложение для 64-битной архитектуры". Как?
Я "дитя IDE" (и я этим не горжусь), я обычно нажимаю кнопочку "Build" и оппа! готово. Сборка этой OpenCV у меня заняла около 3х суток. :-) Я настраивал CMake на тот MinGW что идёт в комплекте с QtCreator и там каждый второй фаил или папка содержат в названии цифру 32. На оф-сайте про 64-версию тоже что-то ни чего не попалось. Я так понял MinGW в принципе не умеет под 64 собирать? А что за штука такая MinGW-w64 мне попалась? Вроде и MinGW а вроде и к обычному MinGW отношения не имеет... Если я сделаю всё то-же что и в прошлый раз с MinGW но с MinGW-w64 у меня получится 64-битная версия?

@tezaurismosis · 01.04.2016, 10:34

Сообщение от Letis

На оф-сайте про 64-версию тоже что-то ни чего не попалось.

Если разработчики не сделали версию для 64-битной архитектуры (в т.ч. сборочных утилит), то просто так пересобрать вряд ли получится, ибо проект огромный.

Сообщение от Letis

Я так понял MinGW в принципе не умеет под 64 собирать?

Обычный MinGW вроде только под 32 бита, для 64 битов создано ответвление - MinGW-w64. Это разные проекты, но содержат они одни и те же утилиты, только для разных архитектур.

@Letis · 03.04.2016, 16:19 **[ТС]**

Ну проблема решена. Помогла сборка под 64 с помощью MinGW-w64. Около 2000 картинок переваривает. Наблюдаю в диспетчере до 3,5 Гб отеденной памяти и 100% загрузку всех 8 ядер (и времени тратит столько же сколько 32 переваривала 200 картинок). 64 рулит вобщем. Правда теперь иногда выдаёт другие ошибки :-) , но это явно уже как-то связанно с самими картинками.

ЗЫ:

Сообщение от tezaurismosis

Если разработчики не сделали версию для 64-битной архитектуры (в т.ч. сборочных утилит), то просто так пересобрать вряд ли получится, ибо проект огромный.

Имелся ввиду сайт MinGW :-)

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Letis 0 / 0 / 0 Регистрация: 24.04.2015 Сообщений: 14

	Нехватка памяти при передаче библиотеке OpenCV большого количества изображений 26.03.2016, 16:14. Показов 1292. Ответов 11 Метки нет (Все метки) Здравствуйте. Я не совсем уверен что в правильном разделе создаю тему ибо не понимаю даже в какой стороне искать решение проблемы, но склоняюсь что всё таки это что-то скорее связанное с ОС. В общем балуюсь я тут библиотечкой OpenCV, а в частности такой классной штукой как распознавание образов. Для этого необходимо подготовить каскады с помощью идущей в комплекте утилитки opencv_traincascade. Суть в том что ей передаёшь набор картинок и она учит классификатор (видимо нейронные сети). Ну так вот у меня это утилитка не хочет работать на домашнем компе и вылетает с ошибкой что не может выделить ~800 Мб в памяти. Но у меня 16 ГБ оперативы и загружена она 15-20%. Почему он там 800 Мб не находит? Это если ему передать 900 картинок. Пробовал передавать 100 - тогда работает ибо естественно и памяти надо меньше. Я бы так и смирился, но старенький ноут на работе с 2 Гб прекрасно справляется с 900 картинками. Я даже залез в исходники этой утилитки и там самый обыкновенный malloc. Возвращаемый им указатель проверяется на нулёвость и если ноль то выводится как раз моя ошибка. Такое ощущение что есть какое-то ограничение и его можно где-то отключить. Т.к. не уверен в какой области проблема, то не знаю какие нужны данные поэтому если что-то нужно уточнить - отвечу. На всякий случай скрин с самыми основными данными приложил. Миниатюры 0

@like-nix 353 / 34 / 7 Регистрация: 02.07.2008 Сообщений: 311
	27.03.2016, 01:58
	Я почему то подумал что для 64 разрдной оси нужно использовать 64 версию программы. Ну это я так просто подумал если что. 0

@Letis 0 / 0 / 0 Регистрация: 24.04.2015 Сообщений: 14
	27.03.2016, 03:15 [ТС]
	Ну я в принципе тоже так думал и на рабочем компе кажись 32 (в понедельник уточню). Но всё равно нет ведь другого варианта утилитки OpenCV-шной. Не верится мне как-то что они решили 64-оси не поддерживать. Получается должна она работать у меня. 0

@vavun
	28.03.2016, 22:30
	Не по теме: tezaurismosis, забирай себе. Похоже windows тут не при делах 0

@tezaurismosis Администратор 9673 / 4825 / 763 Регистрация: 17.04.2012 Сообщений: 9,664 Записей в блоге: 14
	28.03.2016, 23:16
	Не по теме: vavun, угу. Letis, одной из причин большого потребления памяти может быть большой .vec-файл. Можно попробовать запустить процесс с -w и -h поменьше. Есть очень подробная статья: http://note.sonots.com/SciSoft... ining.html, автор использует размеры 20х20. 0

@Letis 0 / 0 / 0 Регистрация: 24.04.2015 Сообщений: 14
	31.03.2016, 21:38 [ТС]
	Благодарю за статейки. Познавательно. Есть вопрос по поводу "перекомпилировать приложение для 64-битной архитектуры". Как? Я "дитя IDE" (и я этим не горжусь), я обычно нажимаю кнопочку "Build" и оппа! готово. Сборка этой OpenCV у меня заняла около 3х суток. :-) Я настраивал CMake на тот MinGW что идёт в комплекте с QtCreator и там каждый второй фаил или папка содержат в названии цифру 32. На оф-сайте про 64-версию тоже что-то ни чего не попалось. Я так понял MinGW в принципе не умеет под 64 собирать? А что за штука такая MinGW-w64 мне попалась? Вроде и MinGW а вроде и к обычному MinGW отношения не имеет... Если я сделаю всё то-же что и в прошлый раз с MinGW но с MinGW-w64 у меня получится 64-битная версия? 0