Почему нейросеть не обучается на векторе, состоящем из единиц?

@Кровавая Рука · Регистрация: 08.09.2012

Студворк — интернет-сервис помощи студентам

Добрый вечер.
Написал программку, чтобы попробовать реализовать маленькую нейросеть, которая, как я сам себе внушаю, должна обучаться на простые логические операции. Там есть некоторые нелады с XOR, но я вычитал несколько способов решить это сетью с одним скрытым слоем. Самым простым мне показался вариант, где в скрытом 3 нейрона и 1 в выходном слое. Получилось так.

Почему нейросеть не обучается на векторе, состоящем из единиц?

Программка выводит веса, для наглядности.
В данной ситуации выходит, что обучающие выборки и контрольные - одни и те же. Вроде дико просто.
Но данная структура обучаться корректно не хочет. Очевидно где-то ошибка. Код проверял много раз, ошибок не вижу. Там всё очень просто, но когда в обучающей выборке встречается вектор {1, 1}, обучение зацикливается. Если учить на остальные вектора, то всё обучается.
Отсюда вопрос. Почему всё работает до тех пор, пока в обучающей выборке не появляется вектор {1, 1}?
Если интересен код, то вот.

Класс нейрона:

ActionScript 3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
package  {
    
    import flash.display.MovieClip;
    
    
    public class NeuOne extends MovieClip {
    
    private var wNumber: uint; // количество весов
    private var bias: Number; // порог
    private var wNew: Array = new Array; // массив исправленных при обучении весов
    private var wOld: Array = new Array; // массив весов данного нейрона
    private var xInput: Array = new Array; // входной вектор
    private var exhaustOld: Array = new Array; // массив выходов данного нейрона 
    private var alph: Number; // значение альфа функции активации
    private var n: uint; // количество входов
    private var ex: uint; // количество выходов
    private var exi:Boolean; // если тру - выходной нейрон, иначе скрытый
    private var ownDelta: Number; // значение дельта данного нейрона
    private var inDeltas: Array = new Array; // значения дельта, полученные от следующего слоя
    private var outDeltas: Array = new Array; // значения дельта, передаваемые предыдущему слою
    private var eta: Number; // эта - скорость обучения 0..1
    
        public function NeuOne(_n:uint = 0, _e:uint = 0, _a:Number = 1, _eta:Number = 0.5, _exit:Boolean = false) { 
        // создание нейрона (кол-во входов, кол-во выходов, знач-е альфа, скорость обучения, нейрон выходного слоя или нет)
            var temperature: Number;
            bias = 0.5; // порог. он так просто
            n = _n;
            ex = _e;
            alph = _a;
            eta = _eta;
            exi = _exit;
            for (var i:uint = 0; i<n; i++) { 
                temperature = Math.random();
                if (temperature < 0.5) {
                    wOld[i] = Math.random() * -1;
                } else {
                    wOld[i] = Math.random();
                }
                xInput[i] = 0;
            }
        }
        private function fuSum(): Number { 
            var su:Number = 0;
            for (var i:uint = 0; i<n; i++) {
                su += xInput[i]*wOld[i];
            }
            return su;
        }
        private function fuActivation(nu:Number):Number { 
            return 1/(1 + Math.exp(-1*alph*nu));
        }
        private function fuDelta():void { 
            ownDelta = 0;
            if (exi == true) {
                ownDelta = inDeltas[0] - exhaustOld[0];
            } else {
                for (var i:uint = 0; i<ex; i++) {
                    ownDelta += inDeltas[i];
                }
            }
            for (var j:uint = 0; j<n; j++) {
                outDeltas[j] = ownDelta * wOld[j];
            }
        }
        private function fuStudy():void {  
            for (var i:uint = 0; i<n; i++) {
                if (exi == true) {
                    wNew[i] = wOld[i]+(eta*ownDelta*(fuActivation(xInput[i])*(1-fuActivation(xInput[i]))));
                } else {
                    wNew[i] = wOld[i]+(eta*ownDelta*(fuActivation(xInput[i])*(1-fuActivation(xInput[i])))*xInput[i]);
                }
                if (wNew[i] > 10 || wNew[i] < -10) {wNew[i] *= 0.1;} 
                wOld[i] = wNew[i];
            }
        }
        public function runForward():void { 
            for (var i:uint = 0; i<ex; i++) {
                exhaustOld[i] = fuActivation(fuSum());
            }
        }
        public function runBackward(someThing:Array):void { 
            for (var i:uint = 0; i<ex; i++) {
                inDeltas[i] = someThing[i];
            }
            fuDelta(); 
            fuStudy(); 
        }
        
        public function setWeight(nu:uint, we:Number):void { 
            wOld[nu] = we;
        }
        public function getWeight(nu:uint):Number { 
            return wOld[nu];
        }
        public function setX(nu:uint, ix:Number):void {
            xInput[nu] = ix;
        }
        public function getY(nu:uint):Number { 
            if (exhaustOld[nu] > bias) {return 1;}
            else {return 0;}
            //return exhaustOld[nu];
        }
        public function getExitNumber():Number { 
            return ex;
        }
        public function getDelta(nu:uint):Number { 
            return outDeltas[nu];
        }
    }
    
}

Класс сети:

ActionScript 3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
package  {
    
    import flash.display.MovieClip;
    import flash.events.MouseEvent;
    
    
    public class NeuTest extends MovieClip {
        
        private var layFi: Array = new Array; // массив первого слоя нейронов
        private var laySe: Array = new Array; // массив второго слоя нейронов
        private var perc: Array; // массив слоёв нейрона
        private var fiNumber: uint; // количество нейронов в первом слое
        private var seNumber: uint; // количество нейронов во втором слое
        private var nFi:uint; // число входов нейрона первого слоя
        private var nSe:uint; // число входов нейрона второго слоя
        private var eFi:uint; // число выходов нейрона первого слоя
        private var eSe:uint; // число выходов нейрона второго слоя
        private var textForward:NeuTextField; // текстовые поля..
        private var textX1:NeuTextField; 
        private var textX2:NeuTextField;
        private var textY:NeuTextField;
        private var textYresult:NeuTextField;
        private var studyBackward:NeuTextField;
        private var studyX1:NeuTextField;
        private var studyX2:NeuTextField;
        private var studyX3:NeuTextField;
        private var studyX4:NeuTextField;
        private var studyX5:NeuTextField;
        private var studyX6:NeuTextField;
        private var studyX7:NeuTextField;
        private var studyX8:NeuTextField;
        private var studyY1:NeuTextField;
        private var studyY2:NeuTextField;
        private var studyY3:NeuTextField;
        private var studyY4:NeuTextField;
        private var studyComplete:NeuTextField;
        private var weightW11:NeuTextField;
        private var weightW12:NeuTextField;
        private var weightW13:NeuTextField;
        private var weightW21:NeuTextField;
        private var weightW22:NeuTextField;
        private var weightW23:NeuTextField;
        private var weightW14:NeuTextField;
        private var weightW24:NeuTextField;
        private var weightW34:NeuTextField;
        // ..кончились текстовые поля
        
        public function NeuTest() {
            
        fiNumber = 3;
            seNumber = 1;
            nFi = 2;
            eFi = 1;
            nSe = 3;
            eSe = 1;
            for (var i:uint = 0; i<fiNumber; i++) {
                layFi[i] = new NeuOne(nFi, eFi, 1, 30, false);
            }
            for (var j:uint = 0; j<seNumber; j++) {
                laySe[j] = new NeuOne(nSe, eSe, 1, 30, true);
            }
            perc = new Array(layFi, laySe);
            
            textForward = new NeuTextField(10,10, "Прям.", false);
            textX1 = new NeuTextField(10,40, "X1:", true);
            textX2 = new NeuTextField(10,65, "X2:", true);
            textY = new NeuTextField(10,90, "Y:", false);
            textYresult = new NeuTextField(60,90, "", false);
            addChild(textForward);
            addChild(textX1);
            addChild(textX2);
            addChild(textY);
            addChild(textYresult);
            textForward.addEventListener(MouseEvent.CLICK, goForward);
            
            studyBackward = new NeuTextField(300,10, "Обуч.", false);
            studyX1 = new NeuTextField(300,40, "X11:", true);
            studyX2 = new NeuTextField(300,65, "X12:", true);
            studyX3 = new NeuTextField(300,120, "X21:", true);
            studyX4 = new NeuTextField(300,145, "X22:", true);
            studyX5 = new NeuTextField(300,200, "X31:", true);
            studyX6 = new NeuTextField(300,225, "X32:", true);
            studyX7 = new NeuTextField(300,280, "X41:", true);
            studyX8 = new NeuTextField(300,305, "X42:", true);
            studyY1 = new NeuTextField(300,90, "Y1:", true);
            studyY2 = new NeuTextField(300,170, "Y2:", true);
            studyY3 = new NeuTextField(300,250, "Y3:", true);
            studyY4 = new NeuTextField(300,330, "Y4:", true);
            studyComplete = new NeuTextField(300,360, "", false);
            addChild(studyBackward);
            addChild(studyX1);
            addChild(studyX2);
            addChild(studyX3);
            addChild(studyX4);
            addChild(studyX5);
            addChild(studyX6);
            addChild(studyX7);
            addChild(studyX8);
            addChild(studyY1);
            addChild(studyY2);
            addChild(studyY3);
            addChild(studyY4);
            addChild(studyComplete);
            studyBackward.addEventListener(MouseEvent.CLICK, goBackward);
            
            weightW11 = new NeuTextField(615,62, "", false);
            weightW12 = new NeuTextField(615,106, "", false);
            weightW13 = new NeuTextField(615,146, "", false);
            weightW21 = new NeuTextField(615,205, "", false);
            weightW22 = new NeuTextField(615,266, "", false);
            weightW23 = new NeuTextField(615,316, "", false);
            weightW14 = new NeuTextField(765,107, "", false);
            weightW24 = new NeuTextField(750,170, "", false);
            weightW34 = new NeuTextField(765,224, "", false);
            addChild(weightW11);
            addChild(weightW12);
            addChild(weightW13);
            addChild(weightW21);
            addChild(weightW22);
            addChild(weightW23);
            addChild(weightW14);
            addChild(weightW24);
            addChild(weightW34);
            weightW11.addText(String(perc[0][0].getWeight(0)));
            weightW12.addText(String(perc[0][0].getWeight(1)));
            weightW13.addText(String(perc[0][1].getWeight(0)));
            weightW21.addText(String(perc[0][1].getWeight(1)));
            weightW22.addText(String(perc[0][2].getWeight(0)));
            weightW23.addText(String(perc[0][2].getWeight(1)));
            weightW14.addText(String(perc[1][0].getWeight(0)));
            weightW24.addText(String(perc[1][0].getWeight(1)));
            weightW34.addText(String(perc[1][0].getWeight(2)));
        }
        //------------------------------------------------------------------------------------------------
        private function goForward(e:MouseEvent):void {
            textYresult.addText(String(doForward(Number(textX1.innerText()), Number(textX2.innerText()))));
        }
        private function goBackward(e:MouseEvent):void {
            studyComplete.clearText();
            var ix1:Array = new Array;
            var ix2:Array = new Array;
            var iZ:Array = new Array;
            var iY:Array = new Array;
            var compl:Boolean = false;
            // тут пока фигня, надо переделать потом
            ix1[0] = Number(studyX1.innerText());
            ix1[1] = Number(studyX3.innerText());
            ix1[2] = Number(studyX5.innerText());
            ix1[3] = Number(studyX7.innerText());
            ix2[0] = Number(studyX2.innerText());
            ix2[1] = Number(studyX4.innerText());
            ix2[2] = Number(studyX6.innerText());
            ix2[3] = Number(studyX8.innerText());
            iZ[0] = Number(studyY1.innerText());
            iZ[1] = Number(studyY2.innerText());
            iZ[2] = Number(studyY3.innerText());
            iZ[3] = Number(studyY4.innerText());
            for (var g:uint = 0; g<4; g++) {
                iY[g] = Number(doForward(ix1[g], ix2[g]));
            }
            // кончилась фигня
            var exMas:Array = new Array;
            var k:uint = 4;
            var it:uint = 0; // количество итераций
            while (compl == false && it < 10000) {
                it++;
                
                weightW11.clearText();
                weightW12.clearText();
                weightW13.clearText();
                weightW21.clearText();
                weightW21.clearText();
                weightW23.clearText();
                weightW14.clearText();
                weightW24.clearText();
                weightW34.clearText();
                weightW11.addText(String(perc[0][0].getWeight(0)));
                weightW12.addText(String(perc[0][0].getWeight(1)));
                weightW13.addText(String(perc[0][1].getWeight(0)));
                weightW21.addText(String(perc[0][1].getWeight(1)));
                weightW22.addText(String(perc[0][2].getWeight(0)));
                weightW23.addText(String(perc[0][2].getWeight(1)));
                weightW14.addText(String(perc[1][0].getWeight(0)));
                weightW24.addText(String(perc[1][0].getWeight(1)));
                weightW34.addText(String(perc[1][0].getWeight(2)));
                
                if (((Math.pow((iY[0]-iZ[0]), 2) + Math.pow((iY[1]-iZ[1]), 2) + Math.pow((iY[2]-iZ[2]), 2) + Math.pow((iY[3]-iZ[3]), 2))) < 0.1) {
                    compl = true;
                    studyComplete.addText("Обучен");
                } else {
                    if (k == 4) {
                        k = 0;
                    }
                    if (iZ[k] != iY[k]) {
                        exMas[0] = iZ[k];
                        perc[1][0].runBackward(exMas);
                        exMas = [];
                        for (var i:uint = 0; i<fiNumber; i++) {
                            exMas[0] = perc[1][0].getDelta(i);
                            perc[0][i].runBackward(exMas);
                            exMas = [];
                        }
                    }
                    k ++;
                }
                iY = [];
            }
        }
        private function doForward(xx1:Number, xx2:Number):Number {
            // передаю х1 и х2 нейронам первого слоя
            for (var i:uint = 0; i<fiNumber; i++) {
                for (var j:uint = 0; j<nFi; j++) {
                    if (j == 0) {
                        perc[0][i].setX(j, xx1);
                    } else {
                        perc[0][i].setX(j, xx2);
                    }
                }
            }
            for (var h:uint = 0; h<fiNumber; h++) {
                perc[0][h].runForward();
                perc[1][0].setX(h, perc[0][h].getY(0));
            }
            perc[1][0].runForward();
            return perc[1][0].getY(0);
        }
 
    }
    
}

@Вадим93 · 18.05.2015, 16:58

Кровавая Рука, Кровавая Рука, Привет как с тобой связаться?

Добавлено через 10 секунд
Кровавая Рука, Кровавая Рука, Привет как с тобой связаться?

@Кровавая Рука · 19.05.2015, 01:12 **[ТС]**

Привет. Тут есть лс - можно написать мне в профиль, ещё у меня есть почта, как электронная, так и классическая.

@tezaurismosis · 24.06.2015, 14:27

Комментарий модератора

Вадим93, обсуждение вопросов - только в теме на форуме.
Приглашения к обсуждению куда-либо, в том числе в ЛС - запрещены правилами.

Новые блоги и статьи Все статьи Все блоги /
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025	Расскажи мне о Мире, бродяга kumehtar 12.11.2025 — Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .

@Вадим93 0 / 0 / 0 Регистрация: 18.05.2015 Сообщений: 1
	18.05.2015, 16:58
	Кровавая Рука, Кровавая Рука, Привет как с тобой связаться? Добавлено через 10 секунд Кровавая Рука, Кровавая Рука, Привет как с тобой связаться? 0

@Кровавая Рука 28 / 4 / 1 Регистрация: 08.09.2012 Сообщений: 76
	19.05.2015, 01:12 [ТС]
	Привет. Тут есть лс - можно написать мне в профиль, ещё у меня есть почта, как электронная, так и классическая. 0