Обучение MLP не бэкпропом, "как в мозгах"

В общем хотелось бы во первых узнать возможно ли вообще многослойный персептрон обучить чем то другим, нежели бэкпроп и пофантазировать(по выдвигать гипотезы) как мать природа это делает, своими стохастическими методами.

0

Сообщение от evmir Как на Ваш взгляд она устроенна?

Читайте учебники/книжки по нейрофизиологии.
Парадигма не менялась с середины прошлого века, с открытия модульности коры Маунткаслом.

Добавлено через 8 минут

Сообщение от evmir и вот вопрос, каким образом? Есть ли там методы обучения многослойных сетей, или тупо по слоям идёт обучения без учителя и только последние слои чемто типа дельта-правила "думают"?

Ну почитайте хотя-бы научпоп-лекции, типа вот этой
http://www.soc-phys.chem.msu.r... tation.pdf
со стр 15 и до практики.

0

Сообщение от VTsaregorodtsev Ну почитайте хотя-бы научпоп-лекции, типа вот этой http://www.soc-phys.chem.msu.r... tation.pdf со стр 15 и до практики.

Спасибо, почитаю.

0

Сообщение от evmir В общем хотелось бы во первых узнать возможно ли вообще многослойный персептрон обучить чем то другим, нежели бэкпроп и пофантазировать(по выдвигать гипотезы) как мать природа это делает, своими стохастическими методами.

ИМХО сперва Вам неплохо бы определить ЧЕГО ВЫ ХОТИТЕ КОНКРЕТНО, как программист(надеюсь), вспоминаем про TDD и сразу прикидываем как Вы будите проверять получилось ли у Вас чего хотели, можно ли доказать\фальсифицировать гипотезу с помощью теста. В мозгах дафига всего, какой конкретно аспект\свойство\алгоритм Вы хотели бы симулировать и как это проверить?

Исходя из Ваших слов можно предположить что Вы неявно предполагаете что в мозгу происходит что то типа классификации\регрессии и вся нейросеть мозга, обучается целиком или частично подобно MLP. Если так, то вероятней всего Вы ошибаетесь.

По моему разумению мозг в определенном смысле подобен глазу(ретине), в том смысле что «пространство параметров» проецируется в плоское топографическое пространство, со своей метрикой, примерно как это происходит в картах Кохонена, в соответствии с биологической «значимостью» тех или иных потоков данных, это вертикальные(нормально поверхности коры) связи, то есть каждая колонка как бы распознаёт «пиксель» в пространстве категорий. А горизонтальные связи, они формируют модель из всего этого и собственно «мышление».

Таким образом имеем два процесса, кластеризация — классификация, анализ и синтез. Главный вопрос как их объединить в рамках нейросети, различают ли отдельные нейроны вертикальные «кластеризующие» и паралельные «мыслительные» сигналы.

Для расширения сознания можете почить книжку Об интеллекте - Хокинс Джефф, там конечно много бреда, но кое какие идеи заслуживают внимания.

0

Сообщение от сахатый ИМХО сперва Вам неплохо бы определить ЧЕГО ВЫ ХОТИТЕ КОНКРЕТНО

Посмотрите плиз табличку во вложении.

Миниатюры

 

0

Таблицу эту только на готайке непозорно выкладывать. Но и там указали на ошибку. Типа надо понимать, что биологические и искусственные НС бывают разные и в таблице похоже взяты некие биологические абстрактные и MLP. Короче, в таблице ложь.

0

Сообщение от Mikhaylo Таблицу эту только на готайке непозорно выкладывать. Но и там указали на ошибку. Типа надо понимать, что биологические и искусственные НС бывают разные и в таблице похоже взяты некие биологические абстрактные и MLP. Короче, в таблице ложь.

В таблице много чего, я не утверждаю что со всем согласен, а что конкретно ложь, по Вашему?

Я например склонен больше согласиться чем отрицать, то что "в мозгах" идёт послойное(а может понейронное) обучение "чего-то" ближе к однослойным персептронам(отдельным нейронам), а не всей сети целиком как в MLP.

0

Ложью является противопоставление непонятно чего с чем-то. Надо еще перед этой таблицей вставлять огромную таблицу совпадения свойств. Или непонятно, в чем ложь? Хе.

0

Сообщение от Mikhaylo Ложью является противопоставление непонятно чего с чем-то. Надо еще перед этой таблицей вставлять огромную таблицу совпадения свойств. Или непонятно, в чем ложь? Хе.

А по моему Вы лжете сейчас.

0

В чем ложь?

0

Сообщение от Mikhaylo Ложью является противопоставление непонятно чего с чем-то.

так это было в этом разделе более четырёх лет назад любимым занятием местной знати, к которому активно прикладывались и модераторы .
А так я давно тут после этого не был.
Они тут по жизни тыкали непонятное им самим в противопоставление другим участникам .

0

Сообщение от Mikhaylo В чем ложь?

Говорить на правду ложь

0

Какую "правду" я назвал ложью?

0

И кстати, по ассоциациям перемещает не память, а алгоритм поиска, работающий аналогично волновому, биологическая сеть намного сложнее чем искусственная виртуальная. А возможным это перемещение по ассоциациям делает архитектура памяти. Если ассоциаций нет, то эта-же архитектура будет вполне успешно выполнять другие задачи, которые так-же для железа "малоподъёмные" по архитектуре носителя.

Добавлено через 6 минут
И кстати, если мне не лжёт моя память, то не так давно, чешские или какие-то ещё исследователи подтвердили наличие телепатии-экстрасенсорики внутри сети между элементами природных биологических нейросетей. Если конечно не фейк. Так что если так - то в данном разделе сотрясания воздуха истинами будут стоять ещё лет 300 минимум, и даже после нашей смерти, пока какая-то группа учёных не наведёт в этой путанице порядок.

0

Конечно это не фейк. ))))

0

Сообщение от Mikhaylo Конечно это не фейк.

Из публикации:

Оказывается, нейроны способны обмениваться сигналами на расстоянии.

Но вот про передачу нервного импульса через пустое пространство тоже думали, что его не бывает. А теперь оказалось, что бывает.

не знаю, у меня об этом судить желания нету, ибо нет возможности проверить. Публикаций было много, вот ссылка на одну из них.
https://snob.ru/entry/173009/

0

Там вроде в заголовке и написано, что нейроны обмениваются водой на расстоянии, а дальше заголовка не читаете что ли? А текст внимательно читаете?

0

Сообщение от evmir возможно ли вообще многослойный персептрон обучить чем то другим, нежели бэкпроп и пофантазировать(по выдвигать гипотезы) как мать природа это делает

а из дирижаблей вылупляются самолёты

0

Сообщение от Mikhaylo а дальше заголовка не читаете что ли?

читал

Но вот про передачу нервного импульса через пустое пространство тоже думали, что его не бывает. А теперь оказалось, что бывает.

Тут пока еще не было большой сенсации: эфапс ли, синапс ли — все это интересно только кучке нейрофизиологов. Но дальше начались странности: оказалось, что общение между нейронами можно было усиливать или подавлять слабыми электрическими полями. А потом исследователям стало уж совсем не по себе. Это случилось, когда они рассекли ткань таким образом, чтобы между двумя частями среза образовался зазор. Волна медленной периодической активности в гиппокампе, дойдя до разреза, порождала возбуждение на другом его берегу. А это значит, что нейроны вступили в коммуникацию между собой — то есть обменялись электрическими сигналами — на расстоянии. Расстояние пусть и небольшое, но лиха беда начало: если так бывает, то, возможно, и шапочка из фольги — не столь уж бесполезный гаджет.

0

Сообщение от evmir возможно ли вообще многослойный персептрон обучить чем то другим, нежели бэкпроп

“С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации.”
https://ru.wikipedia.org/wiki/... онная_сеть
значит катит любой метод, но в разной степени эффективности.
https://ru.wikipedia.org/wiki/... математика)

0

вот

А главный вывод состоит в том, что медленные ритмы — явление, известное уже почти полвека и явно участвующее в самых фундаментальных механизмах работы мозга вроде сна, — распространяются с помощью совершенно неизвестного механизма, в котором как-то участвуют электрические поля.

Кстати, раз уж накануне Великого поста речь зашла о смирении, вспомним еще об одной научной работе, тоже про мозг. Там мышей заставляли на ощупь искать в темной коробке маленький столбик. Когда они находили столбик, в соматосенсорной коре — там, где в мозгу обрабатываются сигналы от органов чувств, — активировались определенные нейроны. В награду за находку мыши получали воду (уж такие у них награды, это как вам в награду за все ваши усилия вместо нормальных денег дают вашу зарплату). А потом мышам стали давать воду просто так, без всякого столбика. И что бы вы думали: в сенсорной коре зажглись те же самые осязательные нейроны. У мышей, которые столбик никогда не щупали, вода подобной реакции не вызвала. Это тоже маленькая — хоть и гораздо меньше, чем в предыдущей части заметки — революция в нейробиологии. Сенсорной коре полагается отзываться на реальные сиюминутные стимулы, и уж связывать ее с памятью и обучением никто никогда не пытался. А связь — вот она, совершенно неоспоримая. Так что когда наш читатель в следующий раз прочтет, что, мол, память в мозгу находится там-то и там-то, а вот тут любовь, а там ужас смерти притаился в уголке — он вправе скептически ухмыляться. Ничего-то там не понятно, в этом самом мозгу. Ну разве что кроме самых очевидных фактов: например, что телепатии, телекинеза, квантовых вибраций сознания, полтергейста и сглаза не бывает. Кое в чем наука все же уверена твердо. Но вот все остальное ей лишь предстоит окончательно прояснить. 26 ФЕВРАЛЬ 2019 9:55

0