Форум программистов, компьютерный форум, киберфорум
Наши страницы
Konst2016
Войти
Регистрация
Восстановить пароль
Оценить эту запись

Нейросети-этот мудренный backprop,новая версия кода

Запись от Konst2016 размещена 08.10.2019 в 18:47
Обновил(-а) Konst2016 08.10.2019 в 19:00 (Замеч.)

Здравствуйте!В этом новым посте я исправляю код backpropa,а именно в дифференциале последнего нейрона ,а он также градиент должно быть умножение на сигналы,потому
что при дифференцировании функции потери по весам нейрона там появляется перемножение с сигналами.
Т.е. должен быть такой код:
Python
1
2
 grads_out_nn=delta_out*self.nonlin(self.e2,deriv=True)*\
 self.e2 # Вот этого не было,ошибка иногда росла,иногда уменьшалась
Еще получше инициализировал веса.
Итак у нас такая сеть,как здесь:
http://www.cyberforum.ru/blogs/763551/blog5790.html
Код:
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
import matplotlib.pyplot as plt
 
from math import sqrt
 
# Зерно для генератора
np.random.seed(150) 
class NN:
 
  def nonlin(self,sygnals,deriv=False):
  
     if deriv:
           return sygnals*(1-sygnals)
 
     return 1 / (1+np.exp(-sygnals))
   
  def __init__(self):
 
     self.e1=None # Взвешенная сумма сигналов на первой прослойке
     self.e2=None # Взвешенная сумма сигналов на второй прослойке 
   
     self.hidden1=None # активированное состояние нейронов на первой прослойке
     self.hidden2=None # активированное состояние нейронов на второй прослойке
 
     self.learning_rate=0.001
  
     self.init_net()
  
  def  init_net(self):
    
     """
       Трехслойный перпецетрон
       1слой-2 нейрона.
       2слой-4 нейрона.
       3слой-1 нейрон.
 
 
               o
 
        ->  o  o
                   o->
        ->  o  o
 
               o
  
     """
   
     #self.in_layer1=np.random.normal(0,1,(4,2)) 
     #self.in_layer2=np.random.normal(0,1,(1,4))
     # Говорят так лучше инициализировать веса,под дробью параметр-количество
     # дендритов-сигналов
     self.in_layer1=np.random.randn(4,2)*sqrt(2.0/2)
     self.in_layer2=np.random.randn(1,4)*sqrt(2.0/4)
     
    
  def direct_motion(self,_vector:list):
 
      
     self.e1=np.dot(self.in_layer1,_vector.T)
     self.hidden1=self.nonlin(self.e1)
     
     self.e2=np.dot(self.in_layer2,self.hidden1)
     self.hidden2=self.nonlin(self.e2)
 
     return self.hidden2
 
  
  def calculate_minimal_square_error(self,val):
 
     return np.mean(np.square(val))
   
 
  def back_propagate(self,vector:list, target:list):
  
      """
         Прямой проход
      """
      out_NN=self.direct_motion(vector)
 
      """
           Расчет ошибки 
      """
      delta_out=abs(target.T-out_NN)
      grads_out_nn=delta_out*self.nonlin(self.e2,deriv=True)*\
      self.e2 # Вот этого не было,ошибка иногда росла,иногда уменьшалась  
 
      # Взвешиваем ошибку
 
      grads_on_lay2=np.dot(grads_out_nn.T,self.in_layer2)*self.nonlin(self.e1.T,deriv=True)
 
      grads_on_lay1=np.dot(grads_on_lay2,self.in_layer1)
 
      """
         Коррекция ошибки
      """
     
      self.in_layer1+=( vector*grads_on_lay1*self.learning_rate)
     
      self.in_layer2+=(self.e1.T*grads_on_lay2*self.learning_rate)
 
      return self.calculate_minimal_square_error(delta_out)
    
  def plot_graphic_by_x_and_y(self,x,y):
      plt.plot(x,y)
      plt.show()    
 
  def learn(self,epocha:int,etta:float,train_set:list):
    
     error=0.0
 
     iteration:int=0
     n_epochs=[]
     n_mse=[]
     while(iteration< epocha):
      
       for vector,target in train_set:
            """
              Переберет все случаи train set-а, затем начнется новая эпоха
            """
            assert (isinstance((vector,target),tuple))
            assert (isinstance(vector,list))
            assert (isinstance(target,list))
 
 
            error=self.back_propagate(np.array(vector),np.array(target))
       if iteration % 1==0:
 
          print(error)
          n_epochs.append(iteration)
          n_mse.append(error)
           
 
       iteration+=1
     self.plot_graphic_by_x_and_y(n_epochs,n_mse)
     
 
def create_nn()->NN:
 
  return NN()     
def test():
 
   NN=create_nn()
   train_set=[([[0,0]],[[0]]),([[1,1]],[[1]]),([[0,1]],[[1]]),([[1,0]],[[1]])]
 
   NN.learn(100,0.07,train_set)  
 
if __name__=='__main__':
   test()
График:
Нажмите на изображение для увеличения
Название: right_mse_new.png
Просмотров: 2474
Размер:	18.7 Кб
ID:	5609
Посмотрел прошлый пост здесь линия приняла плавную изогнутость)
Спасибо!Всего хорошего!
Размещено в Без категории
Просмотров 168 Комментарии 4
Всего комментариев 4
Комментарии
  1. Старый комментарий
    Аватар для Welemir1
    Python
    1
    
    self.e2 # Вот этого не было,ошибка иногда росла,иногда уменьшалась
    расскажи пожалуйста, что именно на твой взгляд произошло полезного в этой строке? Я код конечно пробежал по диагонали, но как мне кажется ты просто запросил атрибут объекта, ничему его не присвоив, то есть произвел пустое и не нужное действие, просто потратив пару тактов процессора. Если бы это был вызов некого метода, то еще понятно, а пока -загадка.
    Запись от Welemir1 размещена 09.10.2019 в 06:16 Welemir1 на форуме
  2. Старый комментарий
    e1 и e2 это свойства класса они не могут быть пустыми,там взвешиваются сигналы.Но я внимательней посмотрел учебники при backprop этот компонент не нужен.
    Запись от Konst2016 размещена 09.10.2019 в 19:48 Konst2016 вне форума
  3. Старый комментарий
    Аватар для Welemir1
    попробую еще раз) Это действие по факту ничего не делает, зачем вы это сделали? Что по вашему происходит в строке self.e2
    Запись от Welemir1 размещена 10.10.2019 в 09:02 Welemir1 на форуме
  4. Старый комментарий
    в цикле вызывается back_propagate, он вызывает direct_motion,а в direct_motion идет self.e2=np.dot(self.in_layer2,self.hidden1),естественно self.e2 - это свойство класса и он доступен любому методу,опять же backprop у.
    Запись от Konst2016 размещена 10.10.2019 в 11:23 Konst2016 вне форума
 
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.