Простейшая нейронная сеть для аппроксимации параболы

function y = ynet(x, w) % ф-ция вычисляет выход сети
for i = 1:numel(x)
  y(i,1) = forward(x(i), w);
end
end
 
function f = forward(x, w)
% y = w5*f(xw1+w3)+w6*f(xw2+w4)
f1 = smd(x*w(1)+w(3));
f2 = smd(x*w(2)+w(4));
f = w(5)*f1 + w(6)*f2;
end
 
function f = smd(x)
f = 1./(1+exp(-x)); % логический сигмойд
end
 
function df = dsm(x)
f = smd(x); df = f.*(1-f); % производная сигмойда
end

function full_x(w, x, y)
a = 0.1;
for i = 1:100
  dE = dE_analytic(w, x, y);
  w1 = w - a*dE;
  er1 = sumerr(x, y, w);
  er2 = sumerr(x, y, w1);
  if er1 < er2
    disp('err')
  else
    w = w1;
  end
end
end
 
function dE = dE_analytic(w, x, y) % ф-ция вычисляет градиент Е по весам w
y1 = ynet(x, w); d = y1 - y;
for i = 1:numel(x)
  de1(i) = d(i)*x(i)*dsm(x(i)*w(1)+w(3));
  de2(i) = d(i)*x(i)*dsm(x(i)*w(2)+w(4));
  de3(i) = d(i)*dsm(x(i)*w(1)+w(3));
  de4(i) = d(i)*dsm(x(i)*w(2)+w(4));
  de5(i) = d(i)*smd(x(i)*w(1)+w(3));
  de6(i) = d(i)*smd(x(i)*w(2)+w(4));
end
dE1 = w(5)*sum(de1);
dE2 = w(6)*sum(de2);
dE3 = w(5)*sum(de3);
dE4 = w(6)*sum(de4);
dE5 = sum(de5);
dE6 = sum(de6);
dE = [dE1 dE2 dE3 dE4 dE5 dE6]';
end
 
function err = sumerr(x, y, w)
temp = [];
for i = 1:numel(x)
  y1 = forward(x(i), w);
  d = y1 - y(i);
  temp = [temp; d*d];
end
err = sum(temp);
end

function backprop(w, x, y)
a = 0.1;
for i = 1:40
  for j = 1:9
    y1 = ynet(x(j), w); d = y1 - y(j);
    d1 = d*w(5); d2 = d*w(6);
    df1 = dsm(x(j)*w(1)+w(3));
    df2 = dsm(x(j)*w(2)+w(4));
    w(1) = w(1)+d1*df1*x(j)*a;
    w(2) = w(2)+d2*df2*x(j)*a;
    w(3) = w(3)+d1*df1*a;
    w(4) = w(4)+d2*df2*a;
    f1 = smd(x(j)*w(1)+w(3));
    w(5) = w(5)+d1*f1*a;
    f2 = smd(x(j)*w(2)+w(4));
    w(6) = w(6)+d2*f2*a;
  end
end
end

function err = sumerr(x, y, w)
y1 = ynet(x, w);
d = y1 - y; 
err = sum(d.*d);
end

function targ_forforum2
x = [0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9]';
y = (2*x - 1).^2 + 0.1;
pot(x,y); % график целевой ф-ции (синяя линия параболы)
w = rand(6,1)-0.5; % инициализация весов
y1 = ynet(x, w); % значения ф-ции для этих весов
plot(x,y1,'-c') % график полученных значений ф-ции для инициализированных весов w (голубая линия)
w = backprop(w, x, y); % после обучения получаю новые веса w
y1 = ynet(x, w); plot(x,y1,'-g') % график  ф-ции y1, которая должна аппроксимировать y (зеленая линия)
end
 
function w = backprop(w, x, y)
a = 0.1;
err = sumerr(x, y, w); % ошибка сети по всем точкам х до начала тренировки сети
for i = 1:100
  for j = 1:9
    y1 = ynet(x(j), w);
    [f1 df1] = sigmoid(x(j)*w(1)+w(3));
    [f2 df2] = sigmoid(x(j)*w(2)+w(4));
 
    d = y(j) - y1; % ошибка сети для точки x(j)
    d1 = d*w(5); d2 = d*w(6); % ошибки для 1-го и 2-го нейронов
    
    w(1) = w(1)+d1*df1*x(j)*a;
    w(2) = w(2)+d2*df2*x(j)*a;
    w(3) = w(3)+d1*df1*a;
    w(4) = w(4)+d2*df2*a;
    w(5) = w(5)+d*f1*a; % здесь была ошибка, было так: w(5) = w(5)+d1*f1*a;
    w(6) = w(6)+d*f2*a; % здесь была ошибка, было так: w(6) = w(6)+d2*f2*a;
  end
  temp = sumerr(x, y, w); % ошибка сети по всем точкам после обновления весов
  err = [err; temp];
end
pot(err,'err');
end
 
function y = ynet(x, w)
for i = 1:numel(x)
  y(i,1) = forward(x(i), w);
end
end
function f = forward(x, w)
% y = w5*f(xw1+w3)+w6*f(xw2+w4)
f1 = smd(x*w(1)+w(3));
f2 = smd(x*w(2)+w(4));
f = w(5)*f1 + w(6)*f2;
end
function f = smd(x)
f = 1./(1+exp(-x));
end
 
function err = sumerr(x, y, w)
y1 = ynet(x, w);
d = y1 - y; 
err = sum(d.*d);
end
 
function [f df] = sigmoid(x)
f = smd(x); df = f.*(1-f);
end

function w = backprop(w, x, y)
a = 0.1;
err = sumerr(x, y, w); % ошибка сети по всем точкам до обновления весов
for i = 1:400
  for j = 1:9
    y1 = ynet(x(j), w);
    [f1 df1] = sigmoid(x(j)*w(1)+w(3));
    [f2 df2] = sigmoid(x(j)*w(2)+w(4));
 
    d = y(j) - y1; % ошибка сети для точки x(j)
    d1 = d*w(5); d2 = d*w(6); % ошибки для 1-го и 2-го нейронов
    
    w(1) = w(1)+d1*df1*x(j)*a;
    w(2) = w(2)+d2*df2*x(j)*a;
    w(3) = w(3)+d1*df1*a;
    w(4) = w(4)+d2*df2*a;
    w(5) = w(5)+d*f1*a;
    w(6) = w(6)+d*f2*a;
  end
  temp = sumerr(x, y, w); % ошибка сети по всем точкам после одноразового обновления весов
  err = [err; temp];
end
pot(err(20:end),'err'); % график суммарной ошибки сети от циклов ее обучения
% первые 20 значений из err выбросил, т.к. они почти всегда велики
end
function err = sumerr(x, y, w)
y1 = ynet(x, w);
d = y1 - y; 
err = sum(d.*d);
end

function w = set_w
w = [-6.99726765214874;
    6.15378604620148;
    -0.706020764786656;
    -6.94667658999838;
    3.82547246074093;
    3.74796757802260];
% w = [-7.16783748613252;
%     5.57357262994007;
%     -0.736715986578244;
%     -6.45552180852616;
%     3.95475980102287;
%     3.74692447355159];
% w = [-5.39884648397204;
%     1.92842534261234;
%     -1.29739500762928;
%     -3.71570108496981;
%     3.60754619348936;
%     3.92327065385747];
end

function targ_one_neuron
% аппроксимация линии сигмойдом
% одним нейроном y1 = f(x*w1+w2);
x = [0.1 0.5 0.9]';
y = 0.5*x + 0.2; pot(x,y);
set(gcf,'position',[1680 950 560 420])
axis([0 1 0 1]); a = 1; dd = [];
w = 5*rand(1,2)-2.5; ww = w;
y1 = smd(x*w(1)+w(2));
h = plot(x,y1,'-w');
for i = 1:200
  d = sumerr1(x, y, w); dd = [dd; d];
  [e1 e2] = dif_E(x, y, w);
  w(1) = w(1) - e1*a;
  w(2) = w(2) - e2*a;
  ww = [ww; w];
  y1 = smd(x*w(1)+w(2));
  delete(h); h = plot(x,y1,'-w');
end
y1 = smd(x*w(1)+w(2)); plot(x,y1,'-r')
disp(dd(end))
pot; plot(ww(:,1)); plot(ww(:,2),'-c');
end
function [e1 e2] = dif_E(x, y, w)
y1 = smd(x*w(1)+w(2));
e1 = (y1(1)-y(1))*x(1) + (y1(2)-y(2))*x(2);
e2 = y1(1)-y(1) + y1(2)-y(2);
end
function err = sumerr1(x, y, w)
y1 = smd(x*w(1)+w(2));
d = y1 - y; err = sum(d.*d);
end