Форум программистов, компьютерный форум, киберфорум
Наши страницы
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
 
Рейтинг 4.75/4: Рейтинг темы: голосов - 4, средняя оценка - 4.75
evmir
0 / 0 / 0
Регистрация: 17.08.2019
Сообщений: 7
1

Обучение MLP не бэкпропом, "как в мозгах"

17.08.2019, 19:41. Просмотров 742. Ответов 22
Метки нет (Все метки)

В общем хотелось бы во первых узнать возможно ли вообще многослойный персептрон обучить чем то другим, нежели бэкпроп и пофантазировать(по выдвигать гипотезы) как мать природа это делает, своими стохастическими методами.
0
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
17.08.2019, 19:41
Ответы с готовыми решениями:

Как работать с "признаком конца файла" , как программно так и просто...
например в фаре или нортоне открыв файл (текстовый) как удалить признак конца файла или вырезать...

Как написать регулярное выражение для выдергивания английских букв и символов: "+", ",", ":", "-", " ", "!", "?" и "."
Не могу ни как собразить как написать регулярное выражение для выдергивания английских букв и...

Обучение по книге Страуструпа "принципы и практика C++". Не выводится "Hello, World"
Ребят, помогите пожалуйста, пропал на первом же примере из книги, автор даёт код для вывода Hello...

В зависимости от времени года "весна", "лето", "осень", "зима" определить погоду "тепло", "жарко", "холодно", "очень холодно"
В зависимости от времени года "весна", "лето", "осень", "зима" определить погоду "тепло",...

Получить значение из {"text1":"val1","text2":"val2","text3":{"text":"val"}}
Есть такая строка var my = '{"text1":"val1","text2":"val2","text3":{"text":"val"}}'; Как из...

22
evmir
0 / 0 / 0
Регистрация: 17.08.2019
Сообщений: 7
19.08.2019, 14:18  [ТС] 2
и... тишина...
0
Shamil1
Модератор
2326 / 1615 / 363
Регистрация: 26.03.2015
Сообщений: 5,880
19.08.2019, 14:34 3
Можно НС обучить генетическим алгоритмом. Например, пишут программу для игры в NL Holdem 6max (которая изначально знает правила игры и ничего больше) и сажают её играть саму с собой. Через 20 часов она играет на уровне топ игроков, а через 60 часов - намного лучше топ игроков.
0
VTsaregorodtsev
658 / 630 / 99
Регистрация: 19.02.2010
Сообщений: 2,248
19.08.2019, 15:16 4
Цитата Сообщение от evmir Посмотреть сообщение
и... тишина...
Если Вы не способны залезть на предыдущую страницу раздела - это только Ваши проблемы
В прошлогодней теме, правда, до "как в мозгах" не опускались - просто другие алгоритмы обучения/синтеза обсуждали.
0
19.08.2019, 15:16
evmir
0 / 0 / 0
Регистрация: 17.08.2019
Сообщений: 7
21.08.2019, 20:25  [ТС] 5
Цитата Сообщение от Shamil1 Посмотреть сообщение
Можно НС обучить генетическим алгоритмом. Например, пишут программу для игры в NL Holdem 6max (которая изначально знает правила игры и ничего больше) и сажают её играть саму с собой. Через 20 часов она играет на уровне топ игроков, а через 60 часов - намного лучше топ игроков.
Генетическими алгоритмами на сколько мне известно можно обучить только однослойную сеть, многослойные очень плохо учатся.
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Если Вы не способны залезть на предыдущую страницу раздела - это только Ваши проблемы
В прошлогодней теме, правда, до "как в мозгах" не опускались - просто другие алгоритмы обучения/синтеза обсуждали.
Подскажите пожалуйста что за тема, как называется или линк, был бы благодарен
0
VTsaregorodtsev
658 / 630 / 99
Регистрация: 19.02.2010
Сообщений: 2,248
21.08.2019, 21:20 6
Цитата Сообщение от evmir Посмотреть сообщение
Подскажите пожалуйста что за тема, как называется или линк
Обучение нейросетей. Бекпропом ли единым?
0
evmir
0 / 0 / 0
Регистрация: 17.08.2019
Сообщений: 7
23.08.2019, 12:52  [ТС] 7
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Обучение нейросетей. Бекпропом ли единым?
О! Спасибочки!
0
evmir
0 / 0 / 0
Регистрация: 17.08.2019
Сообщений: 7
24.08.2019, 00:10  [ТС] 8
В общем если в двух словах то бэкпроп - наше всё и никак по другому вменяемо не обучить многослойную нейронку.
0
Mikhaylo
202 / 207 / 29
Регистрация: 20.09.2014
Сообщений: 1,496
24.08.2019, 05:11 9
Цитата Сообщение от evmir Посмотреть сообщение
и никак по другому вменяемо
"Вменяемо" - это за один присест?
Вы понимаете, какую задачу по неопределенности решает бэкпроп и сколько информации он перерабатывает? И сколько его ждет его трудностей на пути к "правильному" результату (оверфиттинг, например, и локальные экстремумы)? Ждать большего нет смысла... ((
0
Катафалк
47 / 50 / 7
Регистрация: 21.06.2019
Сообщений: 257
24.08.2019, 08:20 10
Цитата Сообщение от evmir Посмотреть сообщение
как мать природа это делает, своими стохастическими методами.
Я полагаю, у матери природы нейросети несколько сложнее многослойных перцептронов, так что вопрос немного бессмысленен.
0
Mikhaylo
202 / 207 / 29
Регистрация: 20.09.2014
Сообщений: 1,496
24.08.2019, 20:25 11
Современный бэкпроп намного эффективнее "природы-матери". При условии одинаковых входных данных.
Многие обыватели думают, что искусственные нейросети слабы, но по факту они выполняют очень сложные задачи, которые не под силу человеку, например, дорисовывают фотографии. Обыватели просто не в курсе.
0
Катафалк
47 / 50 / 7
Регистрация: 21.06.2019
Сообщений: 257
24.08.2019, 20:29 12
Цитата Сообщение от Mikhaylo Посмотреть сообщение
но по факту они выполняют очень сложные задачи, которые не под силу человеку, например, дорисовывают фотографии.
По вашему, человек не в состоянии дорисовать фотографию?
0
Mikhaylo
202 / 207 / 29
Регистрация: 20.09.2014
Сообщений: 1,496
24.08.2019, 20:38 13
Когда обыватели рассуждают про нейросети, они рассматривают КОНКРЕТНУЮ ИНС, распознающую кошечек от собачек. А когда обыватель рассуждает о людях, то он подразумевает собирательного АБСТРАКТНОГО супер-человека, который МОЖЕТ уметь все.

Но есть люди, которые не умеют рисовать... Есть нейросети, которые умеют рисовать. Кого сравниваете вы? Абстрактного человека с конкретной нейросетью? А вы знаете много разных нейросетей? А рассматриваете ли разных людей?
0
Катафалк
47 / 50 / 7
Регистрация: 21.06.2019
Сообщений: 257
24.08.2019, 21:06 14
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Кого сравниваете вы?
В данный момент я никого не сравниваю, да и не собираюсь. Я просто спросил, что вы имели в виду, когда написали, на мой взгляд, нечто странное.
0
Mikhaylo
202 / 207 / 29
Регистрация: 20.09.2014
Сообщений: 1,496
25.08.2019, 05:10 15
Ну как же вдруг не сравниваете, коли, по Вашему, мать-природа имеет на вооружении более сложный "бэкпроп"?
0
Катафалк
47 / 50 / 7
Регистрация: 21.06.2019
Сообщений: 257
25.08.2019, 08:06 16
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Ну как же вдруг не сравниваете, коли, по Вашему, мать-природа имеет на вооружении более сложный "бэкпроп"?
Я говорил не о бэкпропе, а о самих нейросетях. Хотите сказать, что у вас в голове - сеть уровня перцептроня? Я не знаю, как именно мозг устроен (пока, к сожалению, никто в достаточных для воссоздания подробностях не знает), но я не сомневаюсь, что мозг сложнее многослойного перцептрона.
0
Rayvenor
35 / 26 / 10
Регистрация: 04.08.2018
Сообщений: 211
25.08.2019, 09:28 17
Цитата Сообщение от Катафалк Посмотреть сообщение
у вас в голове - сеть уровня перцептроня?
Да, 6-ти слойный перцептрон https://youtu.be/JW78WYT8HU4?t=836
Цитата Сообщение от Катафалк Посмотреть сообщение
никто в достаточных для воссоздания подробностях не знает
Может знают, но знать мало. Слишком много нейронов и связей. Нейроны не похожи на кремниевые транзисторы, т.е. у нас нет элементной базы для воссоздания.
0
Excalibur921
842 / 526 / 90
Регистрация: 12.10.2013
Сообщений: 3,523
25.08.2019, 10:07 18
Насколько знаю все нейросети совсем не похожи на устройство мозга. Никто не знает как работает и устроен мозг, поэтому как в мозгах не повторить. Т.е. нет правильной аппаратной части и неизвестен алгоритм работы. Неоднократно встречал в свежих книгах по нейросетям что они превзошли по процентам точности распознания человека.

Цитата Сообщение от evmir Посмотреть сообщение
как мать природа это делает
А нужно ли все это на самом деле? “способов снять с кота шкуру больше одного ”
Птицы и самолеты летают в воздухе…но нет птиц летающих быстрей звука или переносящих сотню тонн груза.

Может и ненужно ничего повторять? Может такой странный подход как нейросети поможет создать “птиц летающих быстрей звука или переносящих сотню тонн груза”...
1
VTsaregorodtsev
658 / 630 / 99
Регистрация: 19.02.2010
Сообщений: 2,248
25.08.2019, 12:41 19
Цитата Сообщение от Rayvenor Посмотреть сообщение
Да, 6-ти слойный перцептрон
Слои в коре - на самом деле гипер/макрослои. Т.е. не однослойные.
В нейронной колонке (диаметром в пару (ЕМНИП) миллиметров и "высотой" тоже в несколько мм) коры - около 30тыс нейронов. Чтобы было 6*5тыс - нужно ОЧЕНЬ большое различие между "диаметром" и "длиной" нейронов как клеток. Такой непропорциональности в размерах клеток - в живой природе нет (именно размеры нейронов как клеток имеются в виду - а не длины их аксонов). Так что нейронная колонка как условный мелкий "цилиндрик" - заполнена нейронами довольно равномерно (только в первом "слое" - число нейронов на кубический мм меньше на порядок-два, чем в нижележащих), и 6 макрослоёв выделяются в основном по типам=морфологии нейронов в них, по связности (между этими типами и т.д.), по возможным вариантам активации нейронов.
И таки не перцептрон - а в большей степени ассоциативная память.


Цитата Сообщение от Excalibur921 Посмотреть сообщение
Неоднократно встречал в свежих книгах по нейросетям что они превзошли по процентам точности распознания человека.
Возвращаемся к словам Михайлы
Натренированная на конкретную задачу нейросеть vs некий "средний по больнице" человек. Именно так и сравнивали (со средней точностью для некоторой кучки людей, о которых почти ничего конкретного не говорили).
0
evmir
0 / 0 / 0
Регистрация: 17.08.2019
Сообщений: 7
25.08.2019, 15:39  [ТС] 20
Цитата Сообщение от Mikhaylo Посмотреть сообщение
"Вменяемо" - это за один присест?
Вы понимаете, какую задачу по неопределенности решает бэкпроп и сколько информации он перерабатывает? И сколько его ждет его трудностей на пути к "правильному" результату (оверфиттинг, например, и локальные экстремумы)? Ждать большего нет смысла... ((
"Присестов" может быть много, вопрос в том могла ли природа, оперирующая только близоруким стохастическим поиском сделать нечто типа бэкпропа? Вообще можно предположить что могла, так как бэепроп это по сути обратная связь от следующего слоя к предыдущему, передающая невязку, "наказание\поощрение", хотя я склоняюсь к мысли что "в мозгах" вообще нет многослойного обучения, да и вообще скорей всего логика нейросети не гиперповерхности нарезает в пространстве параметров, как в многослойных персептронах, а аппроксимирует сферками как в RBF.
Цитата Сообщение от Катафалк Посмотреть сообщение
Я полагаю, у матери природы нейросети несколько сложнее многослойных перцептронов, так что вопрос немного бессмысленен.
Всё сложное сложенно из простого и это простое вполне тривиально, в виду близорукости методов матери природы.
Цитата Сообщение от Excalibur921 Посмотреть сообщение
Насколько знаю все нейросети совсем не похожи на устройство мозга. Никто не знает как работает и устроен мозг, поэтому как в мозгах не повторить. Т.е. нет правильной аппаратной части и неизвестен алгоритм работы. Неоднократно встречал в свежих книгах по нейросетям что они превзошли по процентам точности распознания человека.
Никто не знает, но можно догадаться, зная инструментарий, выбор сравнительно не велик, большинство "модулей" создано эволюционно, за миллионы лет и наглухо запечатано, не обучаемо, обучаема очень маленькая часть мозга, менее пресловутых 5% и вот вопрос, каким образом? Есть ли там методы обучения многослойных сетей, или тупо по слоям идёт обучения без учителя и только последние слои чемто типа дельта-правила "думают"?
Цитата Сообщение от Excalibur921 Посмотреть сообщение
А нужно ли все это на самом деле? “способов снять с кота шкуру больше одного ”
Птицы и самолеты летают в воздухе…но нет птиц летающих быстрей звука или переносящих сотню тонн груза.
Может и ненужно ничего повторять? Может такой странный подход как нейросети поможет создать “птиц летающих быстрей звука или переносящих сотню тонн груза”...
Думаю нужно. Как минимум это прикольно, интеллектуальное развлечение, а по ходу может родиться парочка гениальных алгоритмов, или даже сам СИИ.
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
И таки не перцептрон - а в большей степени ассоциативная память.
Как на Ваш взгляд она устроенна?
0
25.08.2019, 15:39
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
25.08.2019, 15:39

Как вернуть в окна Проводника панель инструментов с кнопками "Вперед", "Назад", "Копировать", "Вставить"?
Как вернуть в окна Проводника панель инструментов с кнопками "вперед-назад", "копировать",...

Как в sql реализован логич.тип?Как можно в sql сделать так,чтобы были только значения "0"и"1" или "да"и"Нет"?
Хочу использовать в таблице переменные логического типа, но не нашла ничего про логический тип в...

Решение заданий типа "Array","Matrix","String","File","Text"""
большая просьба помочь решить где-то около 35-40 (из 100) задач (мне не понятных) типа массив и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru