Могут ли обнулится веса парецептрона при обучении нейросети

Я слышал где то ,что нейро сеть при обучений сама отключает ненужные парецептроны (обнуляет вес), что то не верится. Парецептрону можно задать только смещение. Если задаешь нулевой вес сам, в процессе обучения этот нулевой вес изменяется. Подскажите я прав или не прав?

0

Сообщение от Ген62 нейро сеть при обучений сама отключает

Сама по себе она обычно такого не делает.
Надо
1) либо проводить обучение с weight decay (т.е. со штрафным компонентом в целевой функции, специально накладываемым на веса сети),
2) либо вводить какой-то способ измерения/оценивания "полезности" веса в нейросети (например, полезность может отражать "среднебольничную" чувствительность изменения ответа сети к изменению веса синапса, т.е. быть обычной первой частной производной, как-то накопленной/усреднённой по области компетенции сетки). Синтез сети здесь ведётся как чередование этапов обучения и обрезки малонужных весов (т.е. обучили сетку в первый раз, посчитали полезности весов, обрезали=обнулили некоторое число малополезных весов и запретили далее им изменяться, ДООБУЧИЛИ сетку для компенсации возможного негативного эффекта от встряски её мозгов, снова оценили полезности ненулевых весов, обнулили и заморозили на нулях очередную порцию малонужных,...).
Вариантов куча, по обоим пунктам, много десятилетий как. Кроме отключения весов - идеи/алгоритмы второго пункта могут применяться и для отключения малонужных (неинформативных, избыточных) входов в сети и/или избыточных нейронов в сети.

0