Столкнулся с проблемой нахождении ошибки скрытого слоя сети

@VLaDoS_2001a · Регистрация: 14.05.2020

Студворк — интернет-сервис помощи студентам

Пишу нейросеть, столкнулся с проблемой нахождении ошибки скрытого слоя сети
Получилось как-то так , псевдокод:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
inputData = 3 x 1; // Матрица 
inputHidden = 2 x 3;
hiddenOutput = 1 x 2;
 
firstBias = 2 x 1; // Смещение 
secondBias = 1 x 1;
 
hidden = f(inputHidden * inputData + firstBias); // Прямое прямое распространение
output = f(hiddenOutput + hidden + secondBias);
 
err = 1/2 * (output - answer) ^ 2;
 
gradient = err * deriveF(output);
gradient = gradient * learningRate;
 
secondBias = secondBias + gradient;
hiddenOutput = hiddenOutput + gradient * hidden_T;
 
// как найти ошибку для следующего слоя?

@VTsaregorodtsev · 22.07.2021, 20:41

Сообщение от VLaDoS_2001a

gradient = err * deriveF(output);

Неверно. Первый из сомножителей неправилен.

Сообщение от VLaDoS_2001a

hiddenOutput = hiddenOutput + gradient * hidden_T;

Это должно делаться после расчёта "ошибок" для предыдущего слоя.

@VLaDoS_2001a · 22.07.2021, 20:46 **[ТС]**

VTsaregorodtsev gradient = deriveF(output) * err; так?
Можете показать тоже в виде псевдокода

@VTsaregorodtsev · 23.07.2021, 09:23

Сообщение от VLaDoS_2001a

так?

Нет, не так. Ещё в школе Вас должны были научить, что результат произведения не изменяется от перестановки множителей местами

@VLaDoS_2001a · 23.07.2021, 13:38 **[ТС]**

VTsaregorodtsev, ха - ха

Добавлено через 1 час 12 минут
VTsaregorodtsev, а если так ?

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
X = 3 x 1; // input data
W1 = 2 x 3; // weights 
W2 = 1 x 2;
 
B1 = 2 x 1; // bias
B2 = 1 x 1;
 
Z1 = W1 * X + B1;
A1 = f(Z1);  // sigmoid
Z2 = W2 * A1 + B2;
A2 = f(Z2);
 
ERR = A2 - Y;
 
DW2 = ERR * A1^T;
DB2 = ERR;
 
DZ1 = (W2.T * ERR) * deriveF(A1);
DW1 = DZ1 * X^T;
DB1 = DZ1;
 
W1 = W1 - LR * DW1;
B1 = B1 - LR * DB1;
W2 = W2 - LR * DW2;
B2 = B2 - LR * DB2;

@VTsaregorodtsev · 23.07.2021, 16:40

Сообщение от VLaDoS_2001a

ERR = A2 - Y;

После этой строки (ну, или прямо в ней) - кое-что пропущено.

@VLaDoS_2001a · 23.07.2021, 23:06 **[ТС]**

VTsaregorodtsev, это забыл ERR * deriveF(A2)?
А все остальное правильно?

Добавлено через 4 часа 30 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import numpy as np
 
def sigmoid(x):
    return 1.0 / 1.0 + np.exp(-x);
 
 
X = np.array([  [0],[1],[1]])
Y = np.array([0])
 
W1 = np.random.random((2, 3))
B1 = np.zeros((2, 1))
W2 = np.random.random((1, 2))
B2 = np.zeros((1, 1))
 
#----------------------
 
Z1 = np.dot(W1, X) + B1
A1 = sigmoid(Z1)
Z2 = np.dot(W2, A1) + B2
A2 = sigmoid(Z2)
 
#----------------------
 
dZ2 = np.multiply(A2 - Y, A2 * (1 - A2))
dW2 = np.dot(dZ2, A1.T)
dB2 = dZ2
 
dZ1 = np.multiply(np.dot(W2.T, dZ2), A1 * (1 - A1))
dW1 = np.dot(dZ1, X.T)
dB1 = dZ1
 
 
W1 = W1 - 0.001 * dW1
W2 = W2 - 0.001 * dW2
B1 = B1 - 0.001 * dB1
B2 = B2 - 0.001 * dB2

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@VLaDoS_2001a 319 / 216 / 114 Регистрация: 14.05.2020 Сообщений: 890
	22.07.2021, 20:46 [ТС]
	VTsaregorodtsev gradient = deriveF(output) * err; так? Можете показать тоже в виде псевдокода 0