Форум программистов, компьютерный форум CyberForum.ru
Наши страницы

С++ для начинающих

Войти
Регистрация
Восстановить пароль
 
YuliLa
4 / 4 / 0
Регистрация: 15.10.2010
Сообщений: 71
#1

Рекуроентные нейронные сети. РНС Элмана - C++

01.06.2012, 00:10. Просмотров 821. Ответов 0
Метки нет (Все метки)

Пишу рекуррентную сеть для распознавания хаотического (детерменированного) временного ряда (к примеру ряд Энонна), но это не так важно. Проблем в том, что уже переписываю третий раз, а видимо делаю какие-то ошибки в самом алгоритме обучения или распространения образа и обратного распространения ошибки. Использую метод скользящего окна, модифицирую по методу градиентного спуска и обучаю по алгоритму обратного распространения ошибки, но сеть совершенно не обучается. Пробую обучить на элементарной синусоиде и не выходит. Помогите, пожалуйста, если не вы, то мне уже никто не поможет. Заранее спасибо!
Простите за ужасный код.
Вот код моей НС для синусоиды:
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
#include <stdio.h>
#include <math.h>
#include <windows.h>
#include <time.h>
#include <conio.h>
#include <io.h>
#include <stdlib.h>
#include <vector>
#include <fstream>
 
 
#define Nin     7                //количество входов ИНС
#define Nhide       5                //количество скрытых слоев
#define Nznach      30              //количество значений
#define Nprognoz    15              // прогнозируемые
 
double fsyg(double x)                    //сигмоидная функция
{return 1/(1+exp(-x));}
 
 
 double wji[Nin][Nhide]={0};                  //весовые коэфициенты скрытого слоя
 double Vij[Nhide]={0};                       //весовые коэфициенты вых. слоя
 double Ti [Nhide]={0};                       //пороговые значения
 double sum_kon[2][Nhide]={0}; // значения скрытого слоя: 0 - при (t-1) и 1-при t
 double sum[Nhide]={0};
 double wki[Nhide][Nhide]={0}; //вес. коэф. контекстного слоя
 double gammaj[Nhide]={0};                       //ошибка
 double mem_sumout[Nznach]={0};    //массив для хранения выходной активности сети
double prognoz[Nprognoz]={0};       //прогнозируемые значения
 double Tj=0,E=0,sumout=0,gammas=0,gammasf=0;
 double Es = 0.001;
 double alpha=0.1;
 int i=0,j=0,size=0;
 int Niter = 0; //количество итераций
 char s;
 using namespace std;
//vector <double> etalon; //если из файла брать эталоны, то этот вектор используется, если нет то этот ->
 double etalon[Nznach + Nprognoz]={0};        //эталонные значения
 
/*----------------------------------------------------------------*/
 
//////////////////////////////////////////////////////////
//В З Я Т И Е   З Н А Ч Е Н И Й   И З   Ф А Й Л А //
////////////////////////////////////////////////////////
 Get (char* way)
{
     double buf;
    std::ifstream F(way);
    if (!F) {
        printf( "Error open file!!\n");
    return 1;
    } 
    else{
        while (!F.eof()){
            F >> buf;
      etalon.push_back(buf);
        }
    
    printf("File open!\n");
            }
    return 0;
 }
/*----------------------------------------------*/
 
////////////////////////////////////////////////////
//////Н Е Й Р О Н Н А Я     С Е Т Ь ////////////////
///////////////////////////////////////////////////
int NS(int Nvub)
{ 
int k=0;
//инициализация в.к. и пороговых значений
for (j=0;j<Nhide;j++) 
{    
    for (i=0;i<Nin;i++) 
        wji[i][j]=(double)rand()/RAND_MAX; 
    for (int n=0;n<Nhide;n++) 
        wki[n][j]=((double)rand())/RAND_MAX;
    Vij[j]=((double)rand())/RAND_MAX;
        Ti[j]=((double)rand())/RAND_MAX;
}
Tj=(double)rand()/RAND_MAX;
do
{
    for (k=0;k<Nvub;k++)  {
      sumout=0;                
      for (i=0;i<Nhide;i++)    //подсчитываем входной слой
      {
          sum[i]=0;
            for (j=0;j<Nin;j++)
                sum[i] += wji[j][i]*etalon[k+j];
            for (int n=0;n<Nhide;n++)
                sum[i] += wki[n][i]*sum_kon[0][i]; //sum_kon = p(t-1)!!!!!!!!!!! Переделать на Элмана!
            sum[i] -= Ti[i];
      }
         for (i=0;i<Nhide;i++)    //заполняем контекстный слой
      {
          sum[i]=fsyg(sum[i]); //выход скрытого слоя
            sumout+=sum[i]*Vij[i]; //подсчитываем выходной слой
            sum_kon[1][i]=sum[i];
            sum_kon[0][i]=sum_kon[1][i];
         }
      sumout=sumout-Tj; //выходная активность сети
        
        /*модификация весовых коэффициентов и пороговых значений в соответствии с АОРО*/
        for (i=0;i<Nhide;i++)
      {
        for (j=0;j<Nin;j++)                   //для входного слоя
                wji[j][i]-=alpha*(sumout-etalon[k +Nin])*Vij[i]*sum[i]*(1-sum[i])*etalon[Nin+k];
                Ti[i]+=alpha*(sumout-etalon[k +Nin])*Vij[i]*sum[i]*(1-sum[i]);
      }
      for (i=0;i<Nhide;i++)                  //для скрытого слоя
         Vij[i]-=alpha*(sumout-etalon[k+Nin])*sum[i];
      Tj+=alpha*(sumout-etalon[k+Nin]);
        for (i=0;i<Nhide;i++)                  //для контекстного слоя
            for (int n=0;n<Nhide;n++)
                wki[n][i]-=alpha*(sumout-etalon[k+Nin])*Vij[i]*sum[i]*(1-sum[i])*sum_kon[0][i];
}
 E=0;
//обнуляем контекстные нейроны
for (i=0; i<Nhide; i++ ){
    sum_kon[0][i]=0;
    sum_kon[1][i]=0;
}
for (k=0;k<Nvub;k++)  {
    sumout=0;                
    for (i=0;i<Nhide;i++)    //подсчитываем входной слой
    {
        sum[i]=0;
        for (j=0;j<Nin;j++)
        sum[i]+=wji[j][i]*etalon[k+j];
    }
    for (i=0;i<Nhide;i++)    //прибавляем контекстный слой
    {
        for (int n=0;n<Nhide;n++)
            sum[i] += wki[n][i]*sum_kon[0][i]; //sum_kon = p(t-1)
        sum[i]=fsyg(sum[i]-Ti[i]); //взвешенная сумма скрытого слоя
        sumout+=sum[i]*Vij[i]; //подсчитываем выходной слой 
        //запоминаем контекстный слой
        sum_kon[0][i]=sum_kon[1][i];
        sum_kon[1][i]=sum[i];
    }
    sumout=sumout-Tj;   //выходная активность сети
    mem_sumout[k]=sumout;
    E+=0.5*pow(sumout-etalon[k+Nin],2);//суммарная квадратичная ошибка.
}
Niter++;
printf("E=%f\n",E);
}
 while (E>=Es);
  //*результаты обучения
    printf("End study!\n");
    printf("Count iteration (E=%f): %d\n",Es,Niter);
    printf("Results of study:\n");
    printf("Polychenue             Standart             Delta\n");
    for (k=0;k<Nvub;k++)
     printf("%f             %f             %f                \n",mem_sumout[k],etalon[k+Nin],fabs(mem_sumout[k]-etalon[k+Nin]));
    printf("E=%f\n",E);
    printf("Number of iteration:%d\n",Niter);
 //результаты прогнозирование
    printf("Results of forecasting:\n");
    printf("Polychinue             Standart             Delta\n");
    for (int g=0; g<Nin; g++)
        prognoz[g]=etalon[Nvub-Nin+g ];
    for (int f=0;f<Nprognoz;f++)
    {
        sumout=0;                
      for (i=0;i<Nhide;i++)    //подсчитываем входной слой
      {
          sum[i]=0;
          for (j=0;j<Nin;j++)
            sum[i]+=wji[j][i]*etalon[Nvub-Nin+j];
      }
        for (i=0;i<Nhide;i++)    //прибавляем контекстный слой
        {
            for (int n=0;n<Nhide;n++)
            sum[i] += wki[n][i]*sum_kon[0][i]; //sum_kon = p(t-1)
          sum[i]=fsyg(sum[i]-Ti[i]); //взвешенная сумма скрытого слоя 
            sum_kon[0][i]=sum_kon[1][i];
            sum_kon[1][i]=sum[i];
            sumout+=sum[i]*Vij[i]; //подсчитываем выходной слой
        }
        prognoz[Nin+f]=sumout-Tj;
        printf("%f             %f             %f                \n",prognoz[f+Nin],etalon[Nvub+f],fabs(prognoz[f+Nin]-etalon[Nvub+f]));
    }
 return 0;
}
/*-----------------------------------------------------------------------*/
 
int main()
{
/*загрузка значений эталона из файла
    char* way =(char*) malloc (25); //путь к файлу с хаотической выборкой
int iter =0; 
    int nov=0;
    printf("Enter way for open the file: ");
    scanf("%s",way);
    Get(way);
    /*/
 
double a,b,c,d;
//моя синусоида
a =0.1;b=0.5;c=0.09;d=0.5;
 //находим эталонное значение
 for (i=0;i<Nznach+Nprognoz;i++)            
     etalon[i]=a*cos(i*b)+c*sin(i*d);
     //*/
 srand(time(NULL));
 NS(Nznach);
 printf("Press enter...\n");
 s=getchar();
 return 0;
}
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
01.06.2012, 00:10
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Рекуроентные нейронные сети. РНС Элмана (C++):

нейронные сети (адаптивные сети) - C++
нужен исходник 3д или 2д адаптивной сетки для небольшого использования в своей работе (растягивалась что бы на какуюнить фигуру на...

Нейронные сети - C++
Недавно открыл для себя тему нейросетей, и хотел бы спросить ресурс где бы я смог довольствоваться достаточным количеством практики. Тобишь...

Нейронные сети - C++
Добрый вечер! Можете подсказать где есть много примеров по нейронным сетям...? Хотелось бы посмотреть и изучить! Покидайте прог)...

Книги по С++ и нейронные сети - C++
Уважаемые форумчане, может кто посоветовать книги (или статьи в интернете) по созданию нейронных сетей на С++. Просто моих навыков и опыта...

Нейронные сети(персептрон) - C++
Привет всем. Недавно начал изучать нейронные сети. Понравилось, очень интересно. Хочу реализовать для начала однослойный персептрон....

Как создать нейронные сети? - C++
Всем привет! Меня зовут Айзада. Учусь на инженера-программиста. Сейчас пишу диплом. Пожалуйста, помогите создать программу дипломной...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
01.06.2012, 00:10
Привет! Вот еще темы с ответами:

Нейронные сети и распознавание картинок - C++
Недавно увлекся нейронными сетями, очень интересно стало. Написал их уже несколько, в том числе и для распознавания цифр, нарисованных на...

Нейронные сети обратного распространения - C++
Здравствуйте. Пытаюсь обучить сеть таблице умножения. Обучает до 1*3, а дальше не получается у него. Подскажите в чем беда. class...

Нейронные сети визуализация процессов обучения - C++
Всем доброго времени суток. Вопрос скорее не по программированию, а по теории, но т.к. пишу на плюсах, то и спрашивать думаю лучше тут....

Алгоритм обратного распространения ошибки. Нейронные сети - C++
Прошу помощи с реализацией алгоритма обратного распространения ошибки. Написал программу реализующую многослойный персептрон. Но никак не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru