Некорректно обучается нейронная сеть

@Vex1cK · Регистрация: 07.07.2023

Студворк — интернет-сервис помощи студентам

Код обучает нс (нейронную сеть) каждый раз при запуске (балуюсь)
Вот код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
# -*- coding: utf-8 -*-
import numpy as np
from random import choice
 
class WrongKyesOfData(Exception):
    pass
 
class WrongLenOfData(Exception):
    pass
 
class WrongTypeOfData(Exception):
    pass
 
class Neuron:
    def __init__(self, w: dict, wWithoutKeys=[]):
        self.w = w
        self.keys = list(w)
        # self.wwk = wWithoutKeys if wWithoutKeys else [(w[key], (key, self.__str__())) for key in list(w)]
 
    def activator(self, x):
        return (2/(1+(np.e ** -x)))-1
 
    def derivative(self, x):
        return 0.5 * (1 + self.activator(x)) * (1 - self.activator(x))
 
    def calculate(self, data):
        if type(data) is not dict:
            raise WrongTypeOfData('Неккоректный тип данных. Ожидается dict')
 
        summ = np.dot([self.w[key] for key in self.keys], [data[key] for key in self.keys])
        out = self.activator(summ)
        # return out
        return (summ, out)
 
class NNetwork:
    def __init__(self, neurons: list):  # neurons = [ [neuron, neuron],
        self.layersCount = len(neurons)  #            [neuron] ]
        self.layers = neurons
 
        for i in range(len(self.layers[1:])):
            layer = self.layers[1:][i]
            for neuron in layer:
                keys = self.layers[i]
                neuron.w = dict(zip(keys, np.random.random(len(keys))))
                neuron.keys = keys
 
    def ask(self, data):
        # for layer in self.layers:
        #     outs = [neuron.calculate(data) for neuron in layer]
        #     data = dict(zip(layer, outs))
        # return outs
 
        def a(out: tuple, dct1, dct2, key):
            dct1[key] = out[0]
            dct2[key] = out[1]
            return out[1]
 
        sums = {}
        outs = data
 
        for layer in self.layers:
            out = [a(neuron.calculate(data), sums, outs, neuron) for neuron in layer]
            data = dict(zip(layer, out))
        return sums, outs, out
 
 
keysForFirstLayer = ['h', 'r', 'at']
nn = NNetwork(
    [
        [
            Neuron(dict(zip(keysForFirstLayer, np.random.random(len(keysForFirstLayer))))),
            Neuron(dict(zip(keysForFirstLayer, np.random.random(len(keysForFirstLayer)))))
        ],
        [
            Neuron({})
        ]
    ]
)
 
datas = [
    ([-1, -1, -1], -1),
    ([-1, -1, 1], 1),
    ([-1, 1, -1],-1),
    ([-1, 1, 1], 1),
    ([1, -1, -1], -1),
    ([1, -1, 1], 1),
    ([1, 1, -1], -1),
    ([1, 1, 1], -1)
]
lambda1 = 0.1
 
def learner(nn, indLayer, indNeuron, neuron, gamma, outs, sums):
    for key in list(neuron.w):
        out = outs[key]
        nn.layers[indLayer][indNeuron].w[key] = neuron.w[key] - (lambda1 * gamma * out)
        if key.__class__ == Neuron:
            learner(nn, indLayer - 1, nn.layers[indLayer - 1].index(key), key, (gamma * nn.layers[indLayer][indNeuron].w[key] * key.derivative(sums[key])), outs, sums)
    return 0
 
 
indexes = []
for _ in range(500000):
    data = choice(datas)
    indexes.append(datas.index(data))
    d = data[-1]
    data = data[0]
    y = nn.ask(dict(zip(keysForFirstLayer, data)))
 
    sums, outs, out = y
    for k in range(len(nn.layers[-1])):
        neuron = nn.layers[-1][k]
        err = outs[neuron] - d
        gamma = err * neuron.derivative(sums[neuron])
        learner(nn, -1, k, neuron, gamma, outs, sums)
 
 
print(nn.ask(dict(zip(keysForFirstLayer, datas[0][0])))[-1])
for i in range(8):
    print(f"{i}: {indexes.count(i)}")
# print('=========================================================')
# print('=========================================================')
# for l in nn.layers:
#     print('-----')
#     for n in l:
#         print([n.w[k] for k in list(n.w)])
#         print('-----')
#     print('=========================================================')
#     print('=========================================================')

Суть в чем. Если это запускать в python-терминале например, то после обучения эта нс выдаёт близкие к правде ответы на все запросы из списка datas, КРОМЕ первого и последнего. Так происходит всегда. Цифры в ответе получаются рандомные, у меня даже идей нет почему так .-.

Добавлено через 12 минут
а еще тут не отображаются отступы почему-то ._.
Есть способы это пофиксить?

YuS_2 · 07.07.2023, 22:53

Сообщение от Vex1cK

а еще тут не отображаются отступы почему-то ._.
Есть способы это пофиксить?

Самый лучший способ чему-то обучиться, это, как минимум, читать инструкции. Но настоящие хакеры мануалов не читают?

Вот, прямо в редакторе сообщений в секции "Быстрый ответ [Окно ответа]", под полем ввода текста, есть ссылка "Как работать в редакторе сообщений", изучите информацию, которая открывается при переходе по этой ссылке.

@Vex1cK · 08.07.2023, 17:55 **[ТС]**

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
# -*- coding: utf-8 -*-
import numpy as np
from random import choice
 
class WrongKyesOfData(Exception):
    pass
 
class WrongLenOfData(Exception):
    pass
 
class WrongTypeOfData(Exception):
    pass
 
class Neuron:
    def __init__(self, w: dict, wWithoutKeys=[]):
        self.w = w
        self.keys = list(w)
        # self.wwk = wWithoutKeys if wWithoutKeys else [(w[key], (key, self.__str__())) for key in list(w)]
 
    def activator(self, x):
        return (2/(1+(np.e ** -x)))-1
 
    def derivative(self, x):
        return 0.5 * (1 + self.activator(x)) * (1 - self.activator(x))
 
    def calculate(self, data):
        if type(data) is not dict:
            raise WrongTypeOfData('Неккоректный тип данных. Ожидается dict')
 
        summ = np.dot([self.w[key] for key in self.keys], [data[key] for key in self.keys])
        out = self.activator(summ)
        # return out
        return (summ, out)
 
class NNetwork:
    def __init__(self, neurons: list):  # neurons = [ [neuron, neuron],
        self.layersCount = len(neurons)  #            [neuron] ]
        self.layers = neurons
 
        for i in range(len(self.layers[1:])):
            layer = self.layers[1:][i]
            for neuron in layer:
                keys = self.layers[i]
                neuron.w = dict(zip(keys, np.random.random(len(keys))))
                neuron.keys = keys
 
    def ask(self, data):
        # for layer in self.layers:
        #     outs = [neuron.calculate(data) for neuron in layer]
        #     data = dict(zip(layer, outs))
        # return outs
 
        def a(out: tuple, dct1, dct2, key):
            dct1[key] = out[0]
            dct2[key] = out[1]
            return out[1]
 
        sums = {}
        outs = data
 
        for layer in self.layers:
            out = [a(neuron.calculate(data), sums, outs, neuron) for neuron in layer]
            data = dict(zip(layer, out))
        return sums, outs, out
 
 
keysForFirstLayer = ['h', 'r', 'at']
nn = NNetwork(
    [
        [
            Neuron(dict(zip(keysForFirstLayer, np.random.random(len(keysForFirstLayer))))),
            Neuron(dict(zip(keysForFirstLayer, np.random.random(len(keysForFirstLayer)))))
        ],
        [
            Neuron({})
        ]
    ]
)
 
datas = [
    ([-1, -1, -1], -1),
    ([-1, -1, 1], 1),
    ([-1, 1, -1],-1),
    ([-1, 1, 1], 1),
    ([1, -1, -1], -1),
    ([1, -1, 1], 1),
    ([1, 1, -1], -1),
    ([1, 1, 1], -1)
]
lambda1 = 0.1
 
def learner(nn, indLayer, indNeuron, neuron, gamma, outs, sums):
    for key in list(neuron.w):
        out = outs[key]
        nn.layers[indLayer][indNeuron].w[key] = neuron.w[key] - (lambda1 * gamma * out)
        if key.__class__ == Neuron:
            learner(nn, indLayer - 1, nn.layers[indLayer - 1].index(key), key, (gamma * nn.layers[indLayer][indNeuron].w[key] * key.derivative(sums[key])), outs, sums)
    return 0
 
 
indexes = []
for _ in range(500000):
    data = choice(datas)
    indexes.append(datas.index(data))
    d = data[-1]
    data = data[0]
    y = nn.ask(dict(zip(keysForFirstLayer, data)))
 
    sums, outs, out = y
    for k in range(len(nn.layers[-1])):
        neuron = nn.layers[-1][k]
        err = outs[neuron] - d
        gamma = err * neuron.derivative(sums[neuron])
        learner(nn, -1, k, neuron, gamma, outs, sums)
 
 
print(nn.ask(dict(zip(keysForFirstLayer, datas[0][0])))[-1])
for i in range(8):
    print(f"{i}: {indexes.count(i)}")
# print('=========================================================')
# print('=========================================================')
# for l in nn.layers:
#     print('-----')
#     for n in l:
#         print([n.w[k] for k in list(n.w)])
#         print('-----')
#     print('=========================================================')
#     print('=========================================================')

Код создаёт и обучает нейронную сеть. Для обучения используются данные из списка datas в рандомном порядке. Суть в чем. После обучения нс корректно отвечает на все запросы, кроме первого и последнего, в них числа ближе к нулю чем к единице или минус единице. Как так? .-.

Добавлено через 12 минут
кроме первого и последнего из списка datas*

@VTsaregorodtsev · 08.07.2023, 18:57

Сообщение от Vex1cK

Как так?

Чисто навскидку варианты, ибо правильность кода не изучал (я на питоне не пишу):
1) А откуда ты взял, что двух нейронов в скрытом слое хватит для безошибочного решения задачи?
2) А откуда ты взял, что нейроны без смещений (biases) могут решить задачу?

@u235 · 09.07.2023, 07:25

Python
1
np.e ** -x

вообще-то есть функция

Python
1
np.exp()

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

Некорректно обучается нейронная сеть

Решение