Функция активации

@Maximax67 · Регистрация: 03.11.2018

Нейрон после подсчетов сумы всех сигналов на него проходит через функцию активации. К примеру возьмем логистичискую функцию. Посчитали. Выход нейрона есть. Вопрос сам заключается в том что если взять статью из википедии про функции активации при подсчете производной этой функции f(x)*(1-f(x)), f(x) - это же выходное значение нейрона после функции активации. Но если взять функцию RELU, то в ней в производной есть x. Это получаеться надо взять значение до прохождения через функцию активации???
Заранее спасибо!

@VTsaregorodtsev · 29.04.2020, 18:06

Сообщение от Maximax67

Это получаеться надо взять значение до прохождения через функцию активации???

Да, для ряда функций активации надо (если требуется затем вычислять производную) сохранять входящее в ф.а. значение. Т.е. перезаписать на его место выход ф.а. - нельзя.

Сообщение от Maximax67

Но если взять функцию RELU, то в ней в производной есть x.

Вот как раз для ReLU можно обойтись и без знания аргумента при расчёте производной. Ибо если выход ReLU >0 - то там производная очевидно будет =1, а если выход <=0 - то производная =0.

@Maximax67 5 / 5 / 2 Регистрация: 03.11.2018 Сообщений: 206
		1
	Функция активации 29.04.2020, 17:11. Показов 1222. Ответов 1 Метки нет (Все метки) Нейрон после подсчетов сумы всех сигналов на него проходит через функцию активации. К примеру возьмем логистичискую функцию. Посчитали. Выход нейрона есть. Вопрос сам заключается в том что если взять статью из википедии про функции активации при подсчете производной этой функции f(x)*(1-f(x)), f(x) - это же выходное значение нейрона после функции активации. Но если взять функцию RELU, то в ней в производной есть x. Это получаеться надо взять значение до прохождения через функцию активации??? Заранее спасибо! 0

@VTsaregorodtsev 1333 / 1258 / 217 Регистрация: 19.02.2010 Сообщений: 3,615
	29.04.2020, 18:06	2
	Сообщение было отмечено Maximax67 как решение Решение Сообщение от Maximax67 Это получаеться надо взять значение до прохождения через функцию активации??? Да, для ряда функций активации надо (если требуется затем вычислять производную) сохранять входящее в ф.а. значение. Т.е. перезаписать на его место выход ф.а. - нельзя. Сообщение от Maximax67 Но если взять функцию RELU, то в ней в производной есть x. Вот как раз для ReLU можно обойтись и без знания аргумента при расчёте производной. Ибо если выход ReLU >0 - то там производная очевидно будет =1, а если выход <=0 - то производная =0. 1

Опции темы

Функция активации

Решение