Форум программистов, компьютерный форум CyberForum.ru

Рекуроентные нейронные сети. РНС Элмана - C++

Восстановить пароль Регистрация
 
YuliLa
 Аватар для YuliLa
4 / 4 / 0
Регистрация: 15.10.2010
Сообщений: 65
01.06.2012, 00:10     Рекуроентные нейронные сети. РНС Элмана #1
Пишу рекуррентную сеть для распознавания хаотического (детерменированного) временного ряда (к примеру ряд Энонна), но это не так важно. Проблем в том, что уже переписываю третий раз, а видимо делаю какие-то ошибки в самом алгоритме обучения или распространения образа и обратного распространения ошибки. Использую метод скользящего окна, модифицирую по методу градиентного спуска и обучаю по алгоритму обратного распространения ошибки, но сеть совершенно не обучается. Пробую обучить на элементарной синусоиде и не выходит. Помогите, пожалуйста, если не вы, то мне уже никто не поможет. Заранее спасибо!
Простите за ужасный код.
Вот код моей НС для синусоиды:
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
#include <stdio.h>
#include <math.h>
#include <windows.h>
#include <time.h>
#include <conio.h>
#include <io.h>
#include <stdlib.h>
#include <vector>
#include <fstream>
 
 
#define Nin     7                //количество входов ИНС
#define Nhide       5                //количество скрытых слоев
#define Nznach      30              //количество значений
#define Nprognoz    15              // прогнозируемые
 
double fsyg(double x)                    //сигмоидная функция
{return 1/(1+exp(-x));}
 
 
 double wji[Nin][Nhide]={0};                  //весовые коэфициенты скрытого слоя
 double Vij[Nhide]={0};                       //весовые коэфициенты вых. слоя
 double Ti [Nhide]={0};                       //пороговые значения
 double sum_kon[2][Nhide]={0}; // значения скрытого слоя: 0 - при (t-1) и 1-при t
 double sum[Nhide]={0};
 double wki[Nhide][Nhide]={0}; //вес. коэф. контекстного слоя
 double gammaj[Nhide]={0};                       //ошибка
 double mem_sumout[Nznach]={0};    //массив для хранения выходной активности сети
double prognoz[Nprognoz]={0};       //прогнозируемые значения
 double Tj=0,E=0,sumout=0,gammas=0,gammasf=0;
 double Es = 0.001;
 double alpha=0.1;
 int i=0,j=0,size=0;
 int Niter = 0; //количество итераций
 char s;
 using namespace std;
//vector <double> etalon; //если из файла брать эталоны, то этот вектор используется, если нет то этот ->
 double etalon[Nznach + Nprognoz]={0};        //эталонные значения
 
/*----------------------------------------------------------------*/
 
//////////////////////////////////////////////////////////
//В З Я Т И Е   З Н А Ч Е Н И Й   И З   Ф А Й Л А //
////////////////////////////////////////////////////////
 Get (char* way)
{
     double buf;
    std::ifstream F(way);
    if (!F) {
        printf( "Error open file!!\n");
    return 1;
    } 
    else{
        while (!F.eof()){
            F >> buf;
      etalon.push_back(buf);
        }
    
    printf("File open!\n");
            }
    return 0;
 }
/*----------------------------------------------*/
 
////////////////////////////////////////////////////
//////Н Е Й Р О Н Н А Я     С Е Т Ь ////////////////
///////////////////////////////////////////////////
int NS(int Nvub)
{ 
int k=0;
//инициализация в.к. и пороговых значений
for (j=0;j<Nhide;j++) 
{    
    for (i=0;i<Nin;i++) 
        wji[i][j]=(double)rand()/RAND_MAX; 
    for (int n=0;n<Nhide;n++) 
        wki[n][j]=((double)rand())/RAND_MAX;
    Vij[j]=((double)rand())/RAND_MAX;
        Ti[j]=((double)rand())/RAND_MAX;
}
Tj=(double)rand()/RAND_MAX;
do
{
    for (k=0;k<Nvub;k++)  {
      sumout=0;                
      for (i=0;i<Nhide;i++)    //подсчитываем входной слой
      {
          sum[i]=0;
            for (j=0;j<Nin;j++)
                sum[i] += wji[j][i]*etalon[k+j];
            for (int n=0;n<Nhide;n++)
                sum[i] += wki[n][i]*sum_kon[0][i]; //sum_kon = p(t-1)!!!!!!!!!!! Переделать на Элмана!
            sum[i] -= Ti[i];
      }
         for (i=0;i<Nhide;i++)    //заполняем контекстный слой
      {
          sum[i]=fsyg(sum[i]); //выход скрытого слоя
            sumout+=sum[i]*Vij[i]; //подсчитываем выходной слой
            sum_kon[1][i]=sum[i];
            sum_kon[0][i]=sum_kon[1][i];
         }
      sumout=sumout-Tj; //выходная активность сети
        
        /*модификация весовых коэффициентов и пороговых значений в соответствии с АОРО*/
        for (i=0;i<Nhide;i++)
      {
        for (j=0;j<Nin;j++)                   //для входного слоя
                wji[j][i]-=alpha*(sumout-etalon[k +Nin])*Vij[i]*sum[i]*(1-sum[i])*etalon[Nin+k];
                Ti[i]+=alpha*(sumout-etalon[k +Nin])*Vij[i]*sum[i]*(1-sum[i]);
      }
      for (i=0;i<Nhide;i++)                  //для скрытого слоя
         Vij[i]-=alpha*(sumout-etalon[k+Nin])*sum[i];
      Tj+=alpha*(sumout-etalon[k+Nin]);
        for (i=0;i<Nhide;i++)                  //для контекстного слоя
            for (int n=0;n<Nhide;n++)
                wki[n][i]-=alpha*(sumout-etalon[k+Nin])*Vij[i]*sum[i]*(1-sum[i])*sum_kon[0][i];
}
 E=0;
//обнуляем контекстные нейроны
for (i=0; i<Nhide; i++ ){
    sum_kon[0][i]=0;
    sum_kon[1][i]=0;
}
for (k=0;k<Nvub;k++)  {
    sumout=0;                
    for (i=0;i<Nhide;i++)    //подсчитываем входной слой
    {
        sum[i]=0;
        for (j=0;j<Nin;j++)
        sum[i]+=wji[j][i]*etalon[k+j];
    }
    for (i=0;i<Nhide;i++)    //прибавляем контекстный слой
    {
        for (int n=0;n<Nhide;n++)
            sum[i] += wki[n][i]*sum_kon[0][i]; //sum_kon = p(t-1)
        sum[i]=fsyg(sum[i]-Ti[i]); //взвешенная сумма скрытого слоя
        sumout+=sum[i]*Vij[i]; //подсчитываем выходной слой 
        //запоминаем контекстный слой
        sum_kon[0][i]=sum_kon[1][i];
        sum_kon[1][i]=sum[i];
    }
    sumout=sumout-Tj;   //выходная активность сети
    mem_sumout[k]=sumout;
    E+=0.5*pow(sumout-etalon[k+Nin],2);//суммарная квадратичная ошибка.
}
Niter++;
printf("E=%f\n",E);
}
 while (E>=Es);
  //*результаты обучения
    printf("End study!\n");
    printf("Count iteration (E=%f): %d\n",Es,Niter);
    printf("Results of study:\n");
    printf("Polychenue             Standart             Delta\n");
    for (k=0;k<Nvub;k++)
     printf("%f             %f             %f                \n",mem_sumout[k],etalon[k+Nin],fabs(mem_sumout[k]-etalon[k+Nin]));
    printf("E=%f\n",E);
    printf("Number of iteration:%d\n",Niter);
 //результаты прогнозирование
    printf("Results of forecasting:\n");
    printf("Polychinue             Standart             Delta\n");
    for (int g=0; g<Nin; g++)
        prognoz[g]=etalon[Nvub-Nin+g ];
    for (int f=0;f<Nprognoz;f++)
    {
        sumout=0;                
      for (i=0;i<Nhide;i++)    //подсчитываем входной слой
      {
          sum[i]=0;
          for (j=0;j<Nin;j++)
            sum[i]+=wji[j][i]*etalon[Nvub-Nin+j];
      }
        for (i=0;i<Nhide;i++)    //прибавляем контекстный слой
        {
            for (int n=0;n<Nhide;n++)
            sum[i] += wki[n][i]*sum_kon[0][i]; //sum_kon = p(t-1)
          sum[i]=fsyg(sum[i]-Ti[i]); //взвешенная сумма скрытого слоя 
            sum_kon[0][i]=sum_kon[1][i];
            sum_kon[1][i]=sum[i];
            sumout+=sum[i]*Vij[i]; //подсчитываем выходной слой
        }
        prognoz[Nin+f]=sumout-Tj;
        printf("%f             %f             %f                \n",prognoz[f+Nin],etalon[Nvub+f],fabs(prognoz[f+Nin]-etalon[Nvub+f]));
    }
 return 0;
}
/*-----------------------------------------------------------------------*/
 
int main()
{
/*загрузка значений эталона из файла
    char* way =(char*) malloc (25); //путь к файлу с хаотической выборкой
int iter =0; 
    int nov=0;
    printf("Enter way for open the file: ");
    scanf("%s",way);
    Get(way);
    /*/
 
double a,b,c,d;
//моя синусоида
a =0.1;b=0.5;c=0.09;d=0.5;
 //находим эталонное значение
 for (i=0;i<Nznach+Nprognoz;i++)            
     etalon[i]=a*cos(i*b)+c*sin(i*d);
     //*/
 srand(time(NULL));
 NS(Nznach);
 printf("Press enter...\n");
 s=getchar();
 return 0;
}
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
01.06.2012, 00:10     Рекуроентные нейронные сети. РНС Элмана
Посмотрите здесь:

C++ Как создать нейронные сети?
C++ Нейронные сети
нейронные сети (адаптивные сети) C++
Алгоритм обратного распространения ошибки. Нейронные сети C++
Дана матрица соединений некоторой сети из n узлов; получить матрицу связей этой сети C++
C++ Нейронные сети обратного распространения
C++ Нейронные сети. Написать перцептрон, который распознает введеную букву
Нейронные сети визуализация процессов обучения C++

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Ответ Создать тему
Опции темы

Текущее время: 14:01. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2016, vBulletin Solutions, Inc.
Рейтинг@Mail.ru