5 / 5 / 2
Регистрация: 03.11.2018
Сообщений: 184
1

Функция активации

29.04.2020, 17:11. Показов 1028. Ответов 1
Метки нет (Все метки)

Нейрон после подсчетов сумы всех сигналов на него проходит через функцию активации. К примеру возьмем логистичискую функцию. Посчитали. Выход нейрона есть. Вопрос сам заключается в том что если взять статью из википедии про функции активации при подсчете производной этой функции f(x)*(1-f(x)), f(x) - это же выходное значение нейрона после функции активации. Но если взять функцию RELU, то в ней в производной есть x. Это получаеться надо взять значение до прохождения через функцию активации???
Заранее спасибо!
0

Помощь в написании контрольных, курсовых и дипломных работ здесь.

Лучшие ответы (1)
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
29.04.2020, 17:11
Ответы с готовыми решениями:

Радиально-симметричная функция активации
Здравствуйте! Объясните пожалуйста, как интерпретировать результат радиально-симметричной функции...

Нормализация входных значений и функция активации
Читая в разных местах про основные компоненты нейронных сетей возник вопрос. Какая разница в...

Сигмоидная функция активации нейронной сети
Доброго времени суток! Начал изучать нейронные сети. Возник следующий вопрос: предположим, что я...

Выбор функции активации нейронов
Доброго времени суток. Вопрос следующий. Если требуется, чтобы выход нейрона был бинарным, какую...

1
1149 / 1055 / 166
Регистрация: 19.02.2010
Сообщений: 3,187
29.04.2020, 18:06 2
Лучший ответ Сообщение было отмечено Maximax67 как решение

Решение

Цитата Сообщение от Maximax67 Посмотреть сообщение
Это получаеться надо взять значение до прохождения через функцию активации???
Да, для ряда функций активации надо (если требуется затем вычислять производную) сохранять входящее в ф.а. значение. Т.е. перезаписать на его место выход ф.а. - нельзя.

Цитата Сообщение от Maximax67 Посмотреть сообщение
Но если взять функцию RELU, то в ней в производной есть x.
Вот как раз для ReLU можно обойтись и без знания аргумента при расчёте производной. Ибо если выход ReLU >0 - то там производная очевидно будет =1, а если выход <=0 - то производная =0.
1
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
29.04.2020, 18:06

Кубический корень в качестве функции активации
В википедии перечислено множество функций активации. И многие из них похожи: гиперболический...

Что такое альфа в функциях активации
Наткнулся на функцию Soft Exponential (Мягкая экспоненциальная). Её уравнение выглядит так α==0: ...

Использование ReLU для активации единственного скрытого слоя
Не смог нагуглить ответ на простой вопрос. Везде пишут, что ReLU (ну и его производные, в том числе...

Многослойный персептрон. Функция активации
Доброго времени суток! Создаю однослойный персептрон с обратным распространением ошибки. Суть его...

Функция активации для нейросети
Пожалуйста, покажите мне каким образом можно сделать функцию активации для нейросети... Вот это ...

Пороговая функция активации для нейросети Тарика Рашида
Добрый день уважаемые форумчане. Изучал книгу &quot;Создаем нейронную сеть&quot; Тарика Рашида. Он...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.