Форум программистов, компьютерный форум CyberForum.ru

Повреждение кучи при создании нейросети с количеством слоев больше 51 - C++

Восстановить пароль Регистрация
 
Iss_Windr
0 / 0 / 0
Регистрация: 16.01.2013
Сообщений: 4
03.06.2014, 16:04     Повреждение кучи при создании нейросети с количеством слоев больше 51 #1
Добрый день.
Я знаю, таких тем уже много, я их прочитала, но ни в одной не нашла решения моей проблемы.
Проблема. Есть нейронная сеть (без обучения, это даже настоящей НС нельзя назвать, если честно). Задание - создать сеть большого размера и проверить время выполнения.
При создании сети с количеством слоев больше 51 возникает ошибка - повреждение кучи. Если 51 слой или меньше - все в порядке.
Вероятно, причина ошибки глупая и очевидная, но я ее найти не могу. Помогите, пожалуйста.
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
#include "stdafx.h"
#include <stdlib.h>
#include <stdio.h>
#include <ctime>
#include <clocale>
#include <iostream>
#include <iomanip>
#include <random>
 
clock_t begin, end;
 
struct Neuron
{
    double* inputWeights;
    int inputsAmount;
    double sum;
    double functionResult;  
};
 
struct NeuronArray
{
    struct Neuron* array;
    int neuronAmount;
    double* inputSignals;
    double* outputSignals;
    struct NeuronArray* next;
    struct NeuronArray* prev;
};
 
struct NeuronArray* head;
 
void initializeNeuron(struct Neuron* tempNeuron, int amount)
{       
    tempNeuron->inputWeights = new double[amount];
    for(int i = 0; i < amount; i++)
    {
        tempNeuron->inputWeights[i] = 0.01*(-100 + rand()%100);
    }
    tempNeuron->inputsAmount = amount;
    tempNeuron->sum = 0;
    tempNeuron->functionResult = 0;
}
 
struct NeuronArray* initializeNeuronArray(int arraySize, int inputAmount)
{
    struct NeuronArray* tmp = new NeuronArray[arraySize];
    tmp->array = new Neuron[arraySize];
    for(int i = 0; i < arraySize; i++)
    {
        initializeNeuron(&tmp->array[i], inputAmount);
    }
    tmp->neuronAmount = arraySize;
    tmp->inputSignals = new double[inputAmount];
    tmp->outputSignals = new double[inputAmount];
    return tmp;
}
 
void setNeuronNet(struct NeuronArray* tempNeuron, int size)
{
    struct NeuronArray* current = new struct NeuronArray;
    struct NeuronArray* temp = new struct NeuronArray;
    current = head;
    if(current == NULL)
    {
        current = tempNeuron;
        head = current;
        head->next = NULL;
        head->prev = NULL;
    }
    else
    {
        while (current->next != NULL)
        {
            current = current->next;
        }
        temp = current;
        current = current->next;
        current = tempNeuron;
        current->next = NULL;
        current->prev = temp;
        temp->next = current;
 
    }
 
}
 
void neuronFunction(struct Neuron* tempNeuron, double* inputSig)
{
    double tmp;
 
    for(int i = 0; i < tempNeuron->inputsAmount; i++)
    {
        tmp = tempNeuron->inputWeights[i]*inputSig[i];
        tempNeuron->sum = tempNeuron->sum + tmp;
    }
    if(tempNeuron->sum < 0)
    {
        tmp = (-1)*tempNeuron->sum;
    }
    else
        tmp = tempNeuron->sum;
    tempNeuron->functionResult = tempNeuron->sum/(tmp + 1);
}
 
void netFunction(double* inputSigs)
{
    begin = clock();
    struct NeuronArray* current = new NeuronArray();
    current = head;
    while(current != NULL)
    {       
        if(current == head)
        {
            for(int j = 0; j < current->neuronAmount; j++)
            {
                current->inputSignals[j] = inputSigs[j];
            }
        }
        else
        {
            for(int j = 0; j < current->array->inputsAmount; j++)
            {
                current->inputSignals[j] = current->prev->outputSignals[j];
            }
        }               
        current = current->next;
    }
    end = clock();
}
 
int _tmain(int argc, _TCHAR* argv[])
{
    setlocale(LC_ALL,"Rus");
    srand(time(NULL)|clock());  
    int count = 0;
    int Number;
    Number = 52;
    double* inSigs = new double[Number];
    for(int i = 0; i < Number; i++)
    {
        int inp_am, neu_am;
        struct NeuronArray* tmp = new NeuronArray;
        if(i == 0)
        {
                inp_am = 1;
                neu_am = Number;
        }
        else
        {       
            neu_am = Number - 1;
            if(i == 1)
                    inp_am = Number;
            else
                    
                inp_am = Number - 1;
        }
        tmp = initializeNeuronArray(neu_am, inp_am);
        setNeuronNet(tmp, neu_am);
    }
    for(int i = 0; i < Number; i++)
    {
        inSigs[i] = 0.01*(-100 + rand()%100);
    }
 
    netFunction(inSigs);    
    int calcTime = (end - begin)/CLOCKS_PER_SEC;
    getchar();
    getchar();
    return 0;
}
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
03.06.2014, 16:04     Повреждение кучи при создании нейросети с количеством слоев больше 51
Посмотрите здесь:

МНК, повреждение кучи C++
C++ Ошибка о повреждение кучи
C++ Повреждение кучи
Повреждение кучи C++
C++ Повреждение кучи
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Kuzia domovenok
 Аватар для Kuzia domovenok
1882 / 1737 / 116
Регистрация: 25.03.2012
Сообщений: 5,907
Записей в блоге: 1
03.06.2014, 16:28     Повреждение кучи при создании нейросети с количеством слоев больше 51 #2
столько new везде без всякой обёртки в классы, что голова кругом!
Зато ни одного delete нету!
Iss_Windr
0 / 0 / 0
Регистрация: 16.01.2013
Сообщений: 4
03.06.2014, 16:28  [ТС]     Повреждение кучи при создании нейросети с количеством слоев больше 51 #3
Прошу прощения за беспокойство, проблема решена.
VTsaregorodtsev
297 / 277 / 35
Регистрация: 19.02.2010
Сообщений: 1,210
08.06.2014, 23:41     Повреждение кучи при создании нейросети с количеством слоев больше 51 #4
Цитата Сообщение от Iss_Windr Посмотреть сообщение
При создании сети с количеством слоев больше 51
Нафига столько?
Щас у ведущих собаководов - если и набирается десяток слоёв, то обычно из сильно разнотипных слоёв (в свёрточных сетках, например).
У гугловско-стэнфордской нейросетки, которая 2 года назад сама научилась на картинках выделять котиков (новость обсуждалась в инетах) - было 9 или 12 слоёв (лень глядеть в ту статью).
Грубая сила в виде десятков слоёв - бесполезна, вы такую сетку не научите (имеется в виду обучение чем-то вроде бэкпропа - а не схема расщепления в виде первоначального предобучения каждого отдельного слоя в DBM и уже только затем - дообучения-тюнинга всей сети).
Yandex
Объявления
08.06.2014, 23:41     Повреждение кучи при создании нейросети с количеством слоев больше 51
Ответ Создать тему
Опции темы

Текущее время: 21:15. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2016, vBulletin Solutions, Inc.
Рейтинг@Mail.ru