Меняются показания после перезапуска сети

@FIXYHAAA · Регистрация: 04.10.2017

Студворк — интернет-сервис помощи студентам

Сейчас для знающих, наверное, вообще вопрос диким покажется. Ну вообщем столкнулся с тем, что с каждой новой инициализацией сети ошибка скачет от 0.3 до 0.5. И в общем то, это может и нормально, ведь я заново рандомно инициализирую веса и заново прохожу все примеры. Но вопрос, насколько это все таки нормально, такие скачки? Мне кажется правильно написанная сеть не должна так скакать на одних и тех же данных. Параметры кручу типа коэффициента обучения и кол-во нейронов в скрытом слое, количество эпох, но такое чувство что это ничего не дает, как не меняй параметры ошибка может быть и 0.3 и 0.5. Вы уж сразу не кидайтесь камнями, я только учусь, хочу понять что же я могу не правильно делать.

п.с: код из учебника, по которому я учился, всегда выполняется с одной и той же ошибкой, но там очень мало тренировочных примеров. У меня 2.500 выборка и 900 тестовая, может ли это быть связано с этим?

@Rayvenor · 07.05.2019, 01:54

Сообщение от FIXYHAAA

ошибка скачет от 0.3 до 0.5

Цифры мне мало что говорят, вы как ошибку считаете?
По результатам вы можете визуально понять сеть даёт достаточно точные ответы? Например, в идеале ожидаем ответ 0, а получили 0,4. Это низкая точность, т.к. близко к другому возможному ответу в 0,5. А может ответа 0,5 нет, тогда 0,4 вполне точный ответ и легко отличим от другого ответа 0,6 при ожидании 1.
Если вы считаете ошибку как среднеквадратичное отклонение, то ваша сеть не обучается. Ищите ошибки в коде, подбирайте параметры сети, меняйте функцию активации, проверяйте входные данные и т.п.

Сообщение от FIXYHAAA

коэффициента обучения

Скорость обучения?

Сообщение от FIXYHAAA

как не меняй параметры ошибка может быть и 0.3 и 0.5

У меня бывает два варианта - или сеть не обучается вообще, или обучается. Но если наблюдать за ошибкой после каждой эпохи, то она может перестать снижаться из-за переобучения. Тогда вы каждый раз будете выходить на примерно одинаковый уровень ошибки не зависимо от количества эпох. Снимайте ошибку после каждой эпохи по обучающей выборке и по тестовой. Эти два графика вам скажут произошло ли переобучение или нет.

@NO_ · 07.05.2019, 11:51

Сделайте нейронов в 100 раз больше.

@FIXYHAAA · 07.05.2019, 11:56 **[ТС]**

Спасибо, что отозвались. Смотрите. У меня получается так, что сначала прогоняются все тренировочные примеры в 10 эпох, каждую эпоху я рандомно тасую список примеров, а потом уже 1 итерацией прогоняются все тестовые примеры. Ошибка в конце считается так: если ответ сети совпал с правильным примером - то я записываю в массив 1, если нет - 0. В конце прохождения от 1 отнимаю количество 1 в массиве / на размер массива. Из этих соображений минимальная ошибка 0, а максимальная 1.

Я могу скинуть тут код из этой книги, там используется другой сбор данных, но я писал по аналогии: https://github.com/makeyourown... data.ipynb
Сейчас я попробую разобраться с matplotlib'om и выведу график ошибки, спасибо за мысль.

@NO_ · 07.05.2019, 12:01

В машинном обучении получено два выдающихся результата, два великих открытия:
1. Нужно больше нейронов.
2. Нужно больше специалистов по машинному обучению.
Этому посвящено большинство статей, но до многих так и не доходит.

@Excalibur921 · 07.05.2019, 16:57

Сообщение от FIXYHAAA

сначала прогоняются все тренировочные примеры в 10 эпох,

0_0
Наверно разбить обучающую выборку на мелкие куски и смотреть сколько кусков уменьшают ошибку а дальше переобучение.

Сообщение от NO_

Сделайте нейронов в 100 раз больше.

0_0
Наверно если ошибка высока, значит нужно изменить архитектуру сети а не тупо добавить 100 нейронов =)).

Сообщение от FIXYHAAA

Сейчас я попробую разобраться с matplotlib'om и выведу график ошибки, спасибо за мысль.

0_0
А как вы вообще что либо пробовали в нейросетях без самого главного критерия который определяет годна ли архитектура, когда остановить обучение, когда наступает переобучение…и вообще выдает она правду или бред…мда.

@Mikhaylo · 07.05.2019, 18:03

Сообщение от Excalibur921

а не тупо добавить 100 нейронов =)).

Вы ошиблись, надо добавить 99 нейронов, так как один вроде бы есть. =)

@NO_ · 07.05.2019, 18:08

Если нейроны не справляются можно добавить жировых и мышечных клеток. Они дешевле, а ума в них столько же.

@FIXYHAAA · 09.05.2019, 11:52 **[ТС]**

Здравствуйте, я уже все перерыл, может вы мне поможете разобраться. Я вывожу в массив значение ошибки после каждой итерации и получаю что то вот такое.

Меняются показания после перезапуска сети

Ошибка считается как просто нужное - выходное. Когда использовал квадратическую ошибку на выходах получались числа 0.99999 на первом в втором выходе. Что я могу не так делать? Очень хочу разобраться.

@FIXYHAAA · 09.05.2019, 12:02 **[ТС]**

И еще, у меня ошибка представлена матрицой 2,1 потому что 2 выхода. На картинке график ошибки в первом выходе, второй практически накладывается на первый

@Excalibur921 · 09.05.2019, 12:21

0_0
Чтозахрень =). Явный баян с выводом 2д графика…не взрывайте себе и другим мозг.
По Y от 0 до 1 это процент ошибки.
По X эпохи или итерации.
http://ivdon.ru/ru/magazine/archive/n4y2013/2135
можно разнообразить графики, добавить пару цветных типа функция активации, либо номер архитектуры сети т.д. на что фантазии хватит.

@FIXYHAAA · 09.05.2019, 12:56 **[ТС]**

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
epochs = 20
for e in range(epochs):
 
    random.shuffle(traindataset)
 
    for element in traindataset:
 
        errors = n.train(element[0:6], element[6:8])
 
        x.append(e)
        y1.append(errors[0])
        
        pass
 
    pass
 
plt.plot(x,y1, 'b')
plt.show()

По Y значение ошибки, по X эпоха, прошу прощения

@Excalibur921 · 09.05.2019, 14:21

Я не знаю питона, смотрите по примерам…все однотипно.
http://ivdon.ru/system/art_ima... age024.png

@Mikhaylo · 09.05.2019, 14:25

Где-то ошибка в коде.

@warhast · 09.05.2019, 16:15

Выглядит как попытка для каждой эпохи нарисовать диапазон ошибок обучения. Зачем такое может понадобиться в данном случае - неизвестно. Иными словами - мусор на входе plt.plot, мусор на выходе.

@Ermit · 09.05.2019, 16:19

FIXYHAAA, Вам следует внимательно посмотреть область видимости своих переменных. Пайтон весьма своеобразно обрабатывает статические свойства/переменные в классах.

@danila_zaytcev · 11.05.2019, 00:02

Сообщение от FIXYHAAA

столкнулся с тем, что с каждой новой инициализацией сети ошибка скачет от 0.3 до 0.5. И...........

Вам конечно тут насоветуют в три короба, местные "знатоки", но скорей всего это будет очередная попытка прикрыть своё невежество в вопросе, как например в Древней Греции философы тоже знали на всё "авторитетный" ответ, а сейчас это интересно только как юмор, тоже и про нейросети. Запомните про них самую важную весчь: НИКТО ТОЛКОМ НЕ ПОНИМАЕТ КАК НА САМОМ ДЕЛЕ РАБОТАЮТ НЕЙРОСЕТИ, как искусственные, так и естественные, это касается ДАЖЕ ТЕХ КТО ИХ МОЖЕТ НАПИСАТЬ СОБСТВЕННОРУЧНО(не будем тыкать пальцами), просто люди знают, но не понимают, тем более сейчас это и не принято. Шаг в лево\право и ничего не ясно. Проблема что Вы описываете - класическая, раньше считалось что ИНС и многослойный персептрон(MLP) может только работать в оперативной памяти и при перезагрузке нужно производить обучение заново, потом стоял вопрос о возможности ДООБУЧЕНИЯ, да так чтобы не "забывался" прошлый "опыт", сейчас говорят об NLP\NLU но результатов нет, а какие они могут быть если на элементарном уровне нет понимания.

@Excalibur921 · 11.05.2019, 09:28

Сообщение от danila_zaytcev

Проблема что Вы описываете - класическая,

Да…вот она:

Сообщение от warhast

мусор на входе plt.plot, мусор на выходе.

Уже 17 пост, графика с поста 13 как небыло так и нет…и похоже не будет.

Сообщение от FIXYHAAA

с каждой новой инициализацией сети ошибка скачет от 0.3 до 0.5.

Это может быть из-за скатывания каждый раз в разные локальные минимумы, может слишком много нейронов. Вы бы хоть нарисовали что выдает нейросеть…это график? Это принадлежность области?

Сообщение от FIXYHAAA

У меня 2.500 выборка и 900 тестовая, может ли это быть связано с этим?

Это связано с полным не пониманием что такое переобучение и когда нужно остановиться. И сколько нужно вам задать примеров.

Новые блоги и статьи Все статьи Все блоги /
AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .
Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .

@FIXYHAAA 0 / 0 / 0 Регистрация: 04.10.2017 Сообщений: 35

	Меняются показания после перезапуска сети 06.05.2019, 23:56. Показов 1152. Ответов 17 Метки нет (Все метки) Сейчас для знающих, наверное, вообще вопрос диким покажется. Ну вообщем столкнулся с тем, что с каждой новой инициализацией сети ошибка скачет от 0.3 до 0.5. И в общем то, это может и нормально, ведь я заново рандомно инициализирую веса и заново прохожу все примеры. Но вопрос, насколько это все таки нормально, такие скачки? Мне кажется правильно написанная сеть не должна так скакать на одних и тех же данных. Параметры кручу типа коэффициента обучения и кол-во нейронов в скрытом слое, количество эпох, но такое чувство что это ничего не дает, как не меняй параметры ошибка может быть и 0.3 и 0.5. Вы уж сразу не кидайтесь камнями, я только учусь, хочу понять что же я могу не правильно делать. п.с: код из учебника, по которому я учился, всегда выполняется с одной и той же ошибкой, но там очень мало тренировочных примеров. У меня 2.500 выборка и 900 тестовая, может ли это быть связано с этим? 0

@NO_ 120 / 40 / 9 Регистрация: 29.10.2016 Сообщений: 243
	07.05.2019, 11:51
	Сделайте нейронов в 100 раз больше. 0

@FIXYHAAA 0 / 0 / 0 Регистрация: 04.10.2017 Сообщений: 35
	07.05.2019, 11:56 [ТС]
	Спасибо, что отозвались. Смотрите. У меня получается так, что сначала прогоняются все тренировочные примеры в 10 эпох, каждую эпоху я рандомно тасую список примеров, а потом уже 1 итерацией прогоняются все тестовые примеры. Ошибка в конце считается так: если ответ сети совпал с правильным примером - то я записываю в массив 1, если нет - 0. В конце прохождения от 1 отнимаю количество 1 в массиве / на размер массива. Из этих соображений минимальная ошибка 0, а максимальная 1. Я могу скинуть тут код из этой книги, там используется другой сбор данных, но я писал по аналогии: https://github.com/makeyourown... data.ipynb Сейчас я попробую разобраться с matplotlib'om и выведу график ошибки, спасибо за мысль. 0

@NO_ 120 / 40 / 9 Регистрация: 29.10.2016 Сообщений: 243
	07.05.2019, 12:01
	В машинном обучении получено два выдающихся результата, два великих открытия: 1. Нужно больше нейронов. 2. Нужно больше специалистов по машинному обучению. Этому посвящено большинство статей, но до многих так и не доходит. 0

@NO_ 120 / 40 / 9 Регистрация: 29.10.2016 Сообщений: 243
	07.05.2019, 18:08
	Если нейроны не справляются можно добавить жировых и мышечных клеток. Они дешевле, а ума в них столько же. 0

@FIXYHAAA 0 / 0 / 0 Регистрация: 04.10.2017 Сообщений: 35
	09.05.2019, 11:52 [ТС]
	Здравствуйте, я уже все перерыл, может вы мне поможете разобраться. Я вывожу в массив значение ошибки после каждой итерации и получаю что то вот такое. Ошибка считается как просто нужное - выходное. Когда использовал квадратическую ошибку на выходах получались числа 0.99999 на первом в втором выходе. Что я могу не так делать? Очень хочу разобраться. 0

@FIXYHAAA 0 / 0 / 0 Регистрация: 04.10.2017 Сообщений: 35
	09.05.2019, 12:02 [ТС]
	И еще, у меня ошибка представлена матрицой 2,1 потому что 2 выхода. На картинке график ошибки в первом выходе, второй практически накладывается на первый 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	09.05.2019, 12:21
	0_0 Чтозахрень =). Явный баян с выводом 2д графика…не взрывайте себе и другим мозг. По Y от 0 до 1 это процент ошибки. По X эпохи или итерации. http://ivdon.ru/ru/magazine/archive/n4y2013/2135 можно разнообразить графики, добавить пару цветных типа функция активации, либо номер архитектуры сети т.д. на что фантазии хватит. 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	09.05.2019, 14:21
	Я не знаю питона, смотрите по примерам…все однотипно. http://ivdon.ru/system/art_ima... age024.png 0

@Mikhaylo 699 / 575 / 75 Регистрация: 20.09.2014 Сообщений: 3,730
	09.05.2019, 14:25
	Где-то ошибка в коде. 0

@warhast 27 / 26 / 6 Регистрация: 02.02.2014 Сообщений: 96
	09.05.2019, 16:15
	Выглядит как попытка для каждой эпохи нарисовать диапазон ошибок обучения. Зачем такое может понадобиться в данном случае - неизвестно. Иными словами - мусор на входе plt.plot, мусор на выходе. 0

@Ermit -21 / 30 / 1 Регистрация: 25.04.2017 Сообщений: 356
	09.05.2019, 16:19
	FIXYHAAA, Вам следует внимательно посмотреть область видимости своих переменных. Пайтон весьма своеобразно обрабатывает статические свойства/переменные в классах. 0