Форум программистов, компьютерный форум, киберфорум
C++: ИИ, нейросети, ML, агенты
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.82/11: Рейтинг темы: голосов - 11, средняя оценка - 4.82
0 / 0 / 0
Регистрация: 17.01.2024
Сообщений: 3

Написал простую нейронную сеть 3-9-3. Работает. Но есть проблема

17.01.2024, 18:58. Показов 9581. Ответов 5

Студворк — интернет-сервис помощи студентам
Здравствуйте. Сейчас так много говорят о нейронных сетях, что я тоже решил тряхнуть стариной и написать свою маленькую нейронную сеть на си++ "с учителем".
Так как в высшей математике я не силен, то как инструкцию использовал следующее видео:
https://yandex.ru/video/previe... 0644155777
"Учимся обучать нейронные сети, за 30 минут от теории до практики"
К сожалению Глеб Бочкарев на самом интересном месте сказал, "что остальное и так понятно", так что кое-что мне пришлось домысливать самому.
Нейронную сеть из 3 входных, 9 внутренних и 3 выходных нейронов я написал, и она корректно обучается инвентирует поданные на вход двоичные сигналы от 000 до 111 в 111 до 000.
(например при цели 0 1 0, она генерирует 0.07308, 0.9757 и 0.0645 после двух тысяч итераций)
К сожалению, при попытке обучить на более сложных примерах, т.е когда я пытаюсь задать на выходе совершенно случайные значения, нейронная сеть перестает сходиться
float arr_out[8][3]={{0,1,1},{0,1,0},{1,1,1},{1,0,0},{0,1,1 },{1,1,0},{0,0,1},{0,1,0}}; // выходные значения (случайные)
Может я неправильно понимаю алгоритм обучения и неправильно его запрограммировал, может в программе логическая ошибка,
Посмотрите пожалуйста, может сможете подсказать что-нибудь полезное.
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
#include <cmath>
#include <iostream>
// y=1/(1+pow(e,-x));сигмоида
const float e=2.718281828;
//простая нейронная сеть 3-9-3
// на вход подается набор от 000 до 111 , на выходе необходимо получить инвертированные значения
 
const int n_input=3; // кол-во входных нейронов
const int n_vnut=9; // кол-во внутренних нейронов (1 слой)
const int n_out=3; // кол-во выходных нейронов
const int var_comb=pow(2,n_input); /// war_comb=8 при n_input=3// war_comb=32 при n_input=5
 
using namespace std;
 
int main()
{
    float target[n_out]={0};
    float ar_data[8][3]={{0,0,0},{0,0,1},{0,1,0},{0,1,1},{1,0,0},{1,0,1},{1,1,0},{1,1,1}}; // входные значения
    //float arr_out[8][3]={{0,1,1},{0,1,0},{1,1,1},{1,0,0},{0,1,1},{1,1,0},{0,0,1},{0,1,0}}; // выходные значения (случайные)
    float arr_out[8][3]={{1,1,1},{1,1,0},{1,0,1},{1,0,0},{0,1,1},{0,1,0},{0,0,1},{0,0,0}}; // выходные значения (инвертирование)
    float N_inp[n_input] = {0}; // содержимое входных нейронов
    // 3 строки, 9 столбцов, столбцы количество внутренних нейронов
    float W_inp[n_vnut][n_input]={{0.3, 0.55, 0.4},{0.22, 0.4, 0.33},{0.33, 0.25, 0.18},{0.11, 0.35, 0.2},
    {0.13, 0.38, 0.25},{0.09, 0.31, 0.261},{0.19, 0.24, 0.15},{0.24, 0.17, 0.32},{0.41, 0.15, 0.16}};
 
    float N_vn[n_vnut]={0}; //значения 9 внутренних нейронов обнуляем.
 
    // 3 столбца по 9 строк, 9 внутренних нейронов 27 весов
    float W_out[n_out][n_vnut]={{0.23, 0.32, 0.2, 0.21, 0.2, 0.32, 0.15, 0.24, 0.22},
    {0.33, 0.12, 0.2, 0.21, 0.4, 0.31, 0.16, 0.23, 0.22}, {0.235, 0.3, 0.24, 0.26, 0.19, 0.28, 0.10, 0.25, 0.21}};
    float N_out[n_out]={0}; // содержимое 3 выходных нейронов
 
    float weight_delta[n_out]={0};
    float weight_deltaNvn[n_vnut]={0};
    float error_Nvn[n_vnut]={0};
    float error_out[n_out]={0};
    float sigmx_dxN[n_out]={0}; // производная сиг функции
    float sigmx_dxNvn[n_vnut]={0}; // производная сиг функции внутр нейронов
    float learning_rate=0.1;
 
    float counti=2000;
 
    for (int i = 0; i <counti; i++)
    {
    cout << "++++++++++counti= " << i<<endl;
// цикл опроса входных значений
    for (int var = 0; var <var_comb; var++) // var_comb=8
    {
        N_inp[0]=ar_data [var][0]+0.1;
        N_inp[1]=ar_data [var][1]+0.1;
        N_inp[2]=ar_data [var][2]+0.1;
            target[0]=arr_out [var][0];
            target[1]=arr_out [var][1];
            target[2]=arr_out [var][2];
//////        cout << "N_inp[0]= " << N_inp[0]<<endl;
//////        cout << "N_inp[1]= " << N_inp[1]<<endl;
//////        cout << "N_inp[2]= " << N_inp[2]<<endl;
        cout << "target 0= " << target[0]<<endl;
        cout << "target 1= " << target[1]<<endl;
        cout << "target 2= " << target[2]<<endl;
 
 
    // прямое вычисление 9 внутренних нейронов
    for (int i = 0; i <n_vnut; i++)
    {
    N_vn[i]=0; // попробовать откл и усложнить вых данные
    for (int j = 0; j <n_input; j++)
 
        {
            N_vn[i]=N_vn[i]+N_inp[j]*W_inp[i][j];
        }
///        cout <<"N_vn["<< i <<"]= " << N_vn[i]<<endl; //
    }
 
    // вычисление сигмоиды внутренних нейронов
    for (int i = 0; i <n_vnut; i++)
    {
        N_vn[i]=1/(1+exp(-N_vn[i]));
 
///        cout <<"N_vnSigm["<<i<<"]= " << N_vn[i]<<endl; //
    }
 
    // прямое вычисление 3 выходных нейронов при 9 внутренних нейронов
     for (int j = 0; j <n_out; j++)
           {
            N_out[j]=0;
                        for (int i = 0; i <n_vnut; i++)
                    {
                        N_out[j]=N_out[j]+N_vn[i]*W_out[j][i];
                    }
///        cout << "N_out["<<j<<"]= " <<N_out[j]<<endl;
           }
 
    // вычисление сигмоиды выходных нейронов
    for (int i = 0; i <n_out; i++)
    {
        N_out[i]=1/(1+pow(e,-N_out[i]));
        cout << "Sigm Nout["<<i<<"]= " << N_out[i]<<endl;
    }
    cout << "var= " << var<<endl;
 
    // Начало вычислений и обратного распространения ошибок
    // для обучения
 
                      // цикл вычисления ошибок, сигмоиды и weight_delta выходных нейронов
            for (int i = 0; i <n_out; i++)
                  {
            // вычисление ошибок выходных нейронов
            error_out[i]=N_out[i]-target[i];
///         cout << "error_out[i]= " << error_out[i]<<endl; //
 
            // вычисление производной сигмоиды выходного нейрона
            sigmx_dxN[i]=N_out[i]*(1-N_out[i]);
///         cout << "sigmx_dxN["<<i<<"]= " << sigmx_dxN[i]<<endl; //
            // вычисление производной weight_delta
            weight_delta[i]=error_out[i]*sigmx_dxN[i];
//////            cout << "weight_delta["<<i<<"]= " << weight_delta[i]<<endl; //
                  }
 
            // перерасчет выходных весов для любого количества выходных нейронов
            for (int j = 0; j <n_out; j++)
            {
                        for (int i = 0; i <n_vnut; i++)
                {
///        cout << "W_out[i]["<<i<<"]= " << W_out[0][i]<<endl; //
        W_out[j][i]=W_out[j][i]-(N_vn[i]*weight_delta[j]*learning_rate);
 
/// cout << "W_out_new["<<j<<"]["<<i<<"]= " << W_out[j][i]<<endl; //
                }
            // cout << "W_out_new["<<j<<"]["<<i<<"]= " << W_out[j][i]<<endl; //
            }
 
            // нахождение ошибок для каждого внутреннего нейрона
            for (int i = 0; i <n_vnut; i++)
                {
                error_Nvn[i]=0;
                        for (int j = 0; j <n_out; j++)
                        {
                        error_Nvn[i]=error_Nvn[i]+W_out[j][i]*weight_delta[j];
///        cout << "error_vnN["<<i<<"]= " << error_vnN[i]<<endl; //
                        }
                }
 
                    /// нахождение нового значения для каждого внутреннего нейрона с учетом ошибки
            for (int i = 0; i <n_vnut; i++)
                    {
        N_vn[i]= N_vn[i]-error_Nvn[i];
 ///       cout << "N_vn_new["<<i<<"]= " << N_vn[i]<<endl;
                    }
 
                        for (int i = 0; i <n_vnut; i++)
                {
 
             // вычисление производной сигмоиды и weight_delta для внутренних нейронов
        sigmx_dxNvn[i]=N_vn[i]*(1-N_vn[i]);
///            cout << "sigmx_dxN["<<i<<"]= " << sigmx_dxNvn[i]<<endl; //
        weight_deltaNvn[i]=error_Nvn[i]*sigmx_dxNvn[i];
///            cout << "weight_delta["<<i<<"]= " << weight_delta[i]<<endl; //
                  }
 
 
                         // перерасчет 9 массивов входных весов из 3 нейронов (3 слойный пирог 9 кусочков)
            for (int j = 0; j <n_input; j++)
                {
                    for (int i = 0; i <n_vnut; i++)
                    {
        W_inp[i][j]=W_inp[i][j]-N_inp[j]*weight_deltaNvn[i]*learning_rate;
                    }
 
                }
        } // окончание цикла задания значений N_inp
        } // окончание цикла counti
 
                         // 5. Вывести массив W_inp[i][j] для проверки
  cout << endl << "W_inp[i][j]:" << endl;
  for (int i = 0; i < n_vnut; i++)
  {
    for (int j = 0; j < n_input; j++)
      cout << W_inp[i][j] << '\t';
    cout << endl;
  }
cout << "warcomb= " << var_comb<<endl; //
 
 
   return 0;
}
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
17.01.2024, 18:58
Ответы с готовыми решениями:

Создать самую простую нейронную сеть для распознавания цвета
Создать самую простую нейронную сеть для распознавания цвета Добавлено через 1 минуту На языке python

Построить простую нейронную сеть с одним скрытым слоем на языке Python на основе пакета Pytorch, обучить, и использовать
Построить простую нейронную сеть с одним скрытым слоем на языке Python на основе пакета Pytorch, обучить, и использовать ее для...

Написал код на оружие, под геймпад Xbox360. Но есть проблема
Написал простенький код на оружие. Но при нажатии на правый триггер геймпада, скрипт постоянно проигрывается до тех пор пока не отпущу...

5
2622 / 1633 / 266
Регистрация: 19.02.2010
Сообщений: 4,334
17.01.2024, 20:23
Строки 144-149 - полный бред.
Выше них, кстати, тоже одна логически-математическая ошибка присутствует.
0
0 / 0 / 0
Регистрация: 17.01.2024
Сообщений: 3
17.01.2024, 20:39  [ТС]
Почему бред и какая ошибка?
0
0 / 0 / 0
Регистрация: 17.01.2024
Сообщений: 3
18.01.2024, 18:05  [ТС]
Так что за ошибки, подскажите пожалуйста.
0
53 / 54 / 2
Регистрация: 10.06.2023
Сообщений: 766
02.02.2025, 15:55
Попробовал на VS, сборку прошла. Но комментарии странные. Сигмоид закомментирован, я бы отказался от физиологической терминологии, лучше, по простому, узлы, слои, ребра и т.д. Разобраться с лету не смог.
1
53 / 54 / 2
Регистрация: 10.06.2023
Сообщений: 766
03.02.2025, 09:43
Я, пожалуй, поторопился, пример достаточно интересный. Решение этапа обучения или оптимизации можно написать сразу:
веса перехода к скрытому слою w[i,j]=1 при i=j и 0 при неравных, прибавок при этом, как обычно, нет, Переход к выходу w[i,j]=-1 при равных и 0 при неравных индексах, прибавки b[i,j]=1 при равных и 0 неравных.
Такое решение объясняет отключение сигмоида, хотя известно решение проблемы XOR обычным способом с использованием сигмоидного преобразования.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
03.02.2025, 09:43
Помогаю со студенческими работами здесь

Поправте нейронную сеть)))
Я программу вродь как написал, хотел попросить посмотреть, правильно ли я вобще делаю))) А то предмет новый... вот условие: Найти...

Обучить нейронную сеть
Здравствуйте! Подскажите, пожалуйста заданием: дан конус, он вписан в куб со стороной 2, куб сам лежит от -1 до 1. Нужно обучить...

Создать нейронную сеть
сможете мне создать нс

Организовать нейронную сеть...
Пожайлуста, помогите решить задание по Matlab :gcray: Очень надеюсь на Вашу помощь.

Создать нейронную сеть
Доброе время суток! Нейрон - это класс? Типо это нейронная сеть или нет class Neuron { public: int a, b, c; int...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение/ Перевод https:/ / **********/ gallery/ thinkpad-x220-tablet-porn-gzoEAjs . . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru