Форум программистов, компьютерный форум, киберфорум
Наши страницы
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.86/7: Рейтинг темы: голосов - 7, средняя оценка - 4.86
konsul777
4 / 4 / 2
Регистрация: 13.11.2012
Сообщений: 253
1

Определение адаптивного шага обучения алгоритм обратного распространения ошибки

27.09.2015, 17:22. Просмотров 1317. Ответов 4
Метки нет (Все метки)

Доброго времени суток.
В ходе изучения теории по алгоритму обратного распространения ошибки возник такой вопрос.
При определении адаптивного шага обучения для каждого слоя нейронной сети в процессе вычисления могут получаться слишком большие значения шага, это может привести к десинхронизации процесса обучения, рекомендуется ограничивать шаг a(t) по абсолютному значению. Как это делать и в каких пределах его ограничивать.
Сейчас решаю задачу и как раз получаю этот случай - значения шага очень большие получаются.
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
27.09.2015, 17:22
Ответы с готовыми решениями:

Алгоритм обратного распространения ошибки
Заметила такую вещь. В разной литературе пишут по-разному, и я не могу понять почему некоторые...

Метод обратного распространения ошибки
Умные люди, подскажите: есть нейронная сеть, 20 входных нейронов, 10 в скрытом слое и 3 выходных...

Алгоритм обратного распространения ошибки
Добрый день. Пытаюсь реализовать многослойный перцептрон и обучить его с помощью указанного...

Алгоритм обратного распространения ошибки. Нейронные сети
Прошу помощи с реализацией алгоритма обратного распространения ошибки. Написал программу...

Нейронные сети "Многослойный персептрон и алгоритм обратного распространения ошибки"
Помогите, пожалуйста! Очень и срочно нужно создать многослойную нейронную сеть и обучить для...

4
VTsaregorodtsev
609 / 567 / 85
Регистрация: 19.02.2010
Сообщений: 2,074
27.09.2015, 22:16 2
Хм... Для каждого слоя... Откуда это?

Для каждого веса синапса - это более привычно. Стохастическо-диагональный Левенберг-Марквардт. Ну, конечно, можно взять и усреднить в пределах слоя - но вроде как не встречал.

Да и с точки зрения получения быстрой работы программы - общий на слой шаг тоже не оптимален.

Я бы сказал, что даже если и получится большой шаг - он на следующих шагах (микробатчах) откорректируется, и сетка исправится. Если уж современные алгоритмы (например, наподобие того, что был в статье "No more pesky learning rates" двухлетней давности) справляются даже с нестационарностью в обучающих данных... Просто может Вы взяли какой-то не тот алгоритм выбора шага?
0
konsul777
4 / 4 / 2
Регистрация: 13.11.2012
Сообщений: 253
28.09.2015, 15:21  [ТС] 3
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Хм... Для каждого слоя... Откуда это?
adstep.pdf
вот смотрел по этой методе.
написал программу по прогнозированию значений ряда, с постоянным шагом работает, а вот с адаптивным получается какая-то ерунда.
0
VTsaregorodtsev
609 / 567 / 85
Регистрация: 19.02.2010
Сообщений: 2,074
30.09.2015, 21:30 4
В пдфке один фонт оказался невстроен - и у меня ряд символов непоказывается (т.к. нет на компе такого фонта).
Поэтому лень думать - что там может быть и что за штуку автор придумал. Увы
0
konsul777
4 / 4 / 2
Регистрация: 13.11.2012
Сообщений: 253
30.09.2015, 23:11  [ТС] 5
VTsaregorodtsev, попробуйте сейчас, сконвертировал пдф-ку
adstep1.pdf

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь.

0
30.09.2015, 23:11
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
30.09.2015, 23:11

Метод обратного распространения ошибки
Всем доброго времени суток. Прошу не удалять тему, она больше к теории относится, нежели к...

Метод обратного распространения ошибки
Здравствуйте! Решил попробовать свои силы по программированию нейронных сетей и столкнулся с...

Нейронные сети. Алгоритм обратного распространения
Ребят помогите мне срочно нужно реализовать на C++ алгоритма обратного распространения. Кто с таким...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru