Форум программистов, компьютерный форум, киберфорум
Наши страницы
С++ для начинающих
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.78/9: Рейтинг темы: голосов - 9, средняя оценка - 4.78
Fobes
16 / 16 / 5
Регистрация: 19.09.2012
Сообщений: 215
1

Нейронные сети визуализация процессов обучения

24.05.2015, 15:09. Просмотров 1650. Ответов 9
Метки нет (Все метки)

Всем доброго времени суток. Вопрос скорее не по программированию, а по теории, но т.к. пишу на плюсах, то и спрашивать думаю лучше тут. Начал писать конструктор нейронных сетей (да, знаю что давно все есть, но хочется поподробнее в этом разобраться и всетаки собрать в будущем паука с "мозгом" ). Написав реализацию многослойного персептрона с обратным распространением ошибки, все работает как надо, но столкнулся с не понятной для меня задачкой. Как визуализировать процесс обучения ? Да, можно вывести структуру сети, можно строить графики ошибки и скорости на выходе. Но как визуализировать сам процесс обучения ? Как отрисовать гиперплоскости, разделяющие на классы для произвольной сети ? Может кто-то занимался уже этим ? Направьте в нужную сторону, а то застрял, а в гугле уж очень мудрено написано
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
24.05.2015, 15:09
Ответы с готовыми решениями:

Нейронные сети (адаптивные сети)
нужен исходник 3д или 2д адаптивной сетки для небольшого использования в своей...

Нейронные сети
Добрый вечер, товарищи. Прошу у вас помощи по нейронным сетям. Есть...

Нейронные сети
Недавно открыл для себя тему нейросетей, и хотел бы спросить ресурс где бы я...

Нейронные сети
Добрый вечер! Можете подсказать где есть много примеров по нейронным сетям...?...

Книги по С++ и нейронные сети
Уважаемые форумчане, может кто посоветовать книги (или статьи в интернете) по...

9
VTsaregorodtsev
533 / 487 / 68
Регистрация: 19.02.2010
Сообщений: 1,786
24.05.2015, 22:45 2
Вопрос: нафига?
Графиков зависимости ошибок обучения и обобщения от номера эпохи - хватит для того, чтобы контролировать стабильность процесса обучения (чтобы не было переобучения, не было расходимости от, например, слишком большого шага).
Гиперплоскости - для "детских" задач, у которых 2 входных сигнала.
Можно ещё, например, для каждого скрытого нейрона выводить гистограмму сигналов на выходе его сумматора (т.е. ПЕРЕД нелинейной функцией). При этом, если решается задача классификации, то на каждом интервале гистограммы надо выводить столько столбцов-баров, сколько классов распознаётся. Тогда будет видно, например, что примеры одного класса у некоторого нейрона кучкуются в одной из областей, другого класса - в другой, т.е. нейрон является некоторым детектором. А вот если такого разделения-группирования нет - значит, всё ещё пока вперемешку и разделяется только лишь выходными нейронами. И даже по окончанию обучения скрытые нейроны могут не стать хорошими детекторами (ну, значит, задача такая - ей нужна многослойность сети, иначе хватило бы обычного порогового нейрона как классификатора на два класса (если и вправду стоит задача классификации на 2 класса)).
0
Fobes
16 / 16 / 5
Регистрация: 19.09.2012
Сообщений: 215
24.05.2015, 23:11  [ТС] 3
VTsaregorodtsev, хм, с графиком ошибок понятно... Но что значит обобщение ?
понравилась вот эта статейка http://habrahabr.ru/post/219647/ и хочется сделать что-то подобное для произвольной сети) видеть что она делает во время обучения)
0
D-lay_Its_Easy
Заблокирован
24.05.2015, 23:20 4
Цитата Сообщение от Fobes Посмотреть сообщение
Написав реализацию многослойного персептрона с обратным распространением ошибки
и
Цитата Сообщение от Fobes Посмотреть сообщение
собрать в будущем паука с "мозгом"
не совместимые вещи, т.к. ни одна из текущих официально известных моделей нейронных сетей не имеет ничего общего с биологическими принципами работы человеческого мозга.

А по поводу визуализации... Имеет смысл что - то визуализировать только на самом начальном этапе, когда у тебя 10-к другой нейронов, а когда у тебя их миллиарды, что ты собираешься увидеть?

Подлинный искусственный интеллект появится через 2 года.
0
VTsaregorodtsev
533 / 487 / 68
Регистрация: 19.02.2010
Сообщений: 1,786
24.05.2015, 23:35 5
Цитата Сообщение от Fobes Посмотреть сообщение
Но что значит обобщение
Ошибка на отдельной тестовой выборке.

Что сеть делает во время обучения - я в той статье не увидел
Что делает после - да. Обычное проведение разделяющей поверхности (границы между классами) в пространстве независимых признаков.
Я-то думал, что когда Вы говорили про гиперплоскости - имели в виду проведение отрезка прямой для каждого нейрона (в научных статьях - были и такие примеры). В таком случае видна избыточность сети - если есть рядом лежащие и при этом более-менее "параллельные" (да простится мне тут некорректное употребление термина - но и "неразнонаправленные" тоже как-то криво выходит) линии, то, значит, два или более нейронов друг друга хорошо дублируют по причине того, что иных занятий им не нашлось.

Добавлено через 4 минуты
Цитата Сообщение от D-lay_Its_Easy Посмотреть сообщение
ни одна из текущих официально известных моделей нейронных сетей не имеет ничего общего с биологическими принципами работы человеческого мозга.
Я Вас умоляю...

Тем более, что на биологические принципы во многом пофиг при создании феноменологической или эвристической модели, создания гипотезы, аналогии, приближения, упрощения. Моделирование - оно многогранно.
0
VTsaregorodtsev
533 / 487 / 68
Регистрация: 19.02.2010
Сообщений: 1,786
25.05.2015, 00:01 6
D-lay_Its_Easy, не делайте мне смешно.

В общем, запостите сюда список прочитанных вами книг по искусственным нейронкам, нейрофизиологии, когнитивным наукам и т.д.- чтобы обсуждать вопрос предметно. Ненаучных фантазий - обсуждать не будем.
За любые бездоказательные слова буду минусовать репу.
0
Fobes
16 / 16 / 5
Регистрация: 19.09.2012
Сообщений: 215
25.05.2015, 00:14  [ТС] 7
D-lay_Its_Easy, я соглашусь с VTsaregorodtsev, сеть может принимать решения на основе опыта. Мы всю жизнь учимся принимать эти самые решения, так чем же мы так сильно отличаемся, если не принимать во внимание миллиарды лет эволюции ?) п.с. почти ничего не читал, просто заинтересовала эта тема)
0
D-lay_Its_Easy
Заблокирован
25.05.2015, 00:30 8
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
запостите сюда список прочитанных вами книг по искусственным нейронкам
Мой список пуст (разумеется со всеми этими "изобретениями" до уровня понятия смысла я знаком) и именно по этому моя голова не забита бесполезной чушью и именно по этому:
Цитата Сообщение от D-lay_Its_Easy Посмотреть сообщение
Подлинный искусственный интеллект появится через 2 года.
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
За любые бездоказательные слова буду минусовать репу.
С нулевой репутацией ты думаешь мне не всё равно ?

Цитата Сообщение от Fobes Посмотреть сообщение
я соглашусь с VTsaregorodtsev, сеть может принимать решения на основе опыта.
это - то тут причём?
0
VTsaregorodtsev
533 / 487 / 68
Регистрация: 19.02.2010
Сообщений: 1,786
27.05.2015, 22:01 9
Цитата Сообщение от D-lay_Its_Easy Посмотреть сообщение
А по поводу ... айбиэм и тд, ты же не знаешь, что будет через 2 года,
Я знаю, что пишут и прогнозируют в своих научных статьях Модха, Эсснер и другие, занимающиеся в айбиэм нейросетями, когнитивным процессором TrueNorth, моделированием неокортекса и таламуса,... Искусственную кору размером с мозг мышки-крысы они отсимулировали на суперкомпьютере в 2007, кору размером с мозг кошки - в 2009, а сопоставимое с имеющимся в мозгу человека число нейронов планируют на реалтаймовой скорости потянуть в 2019. Именно симулировать (гонять полномасштабную модель) - нет разговоров о том, что это будет что-то осознающий ИИ.


Админам: сорри за офф
0
D-lay_Its_Easy
Заблокирован
27.05.2015, 22:21 10
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
процессором TrueNorth, моделированием неокортекса и таламуса
На нём смоделировать ничего не получится, его архитектура не верна.
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Искусственную кору размером с мозг мышки-крысы они отсимулировали на суперкомпьютере в 2007, кору размером с мозг кошки - в 2009, а сопоставимое с имеющимся в мозгу человека число нейронов планируют на реалтаймовой скорости потянуть в 2019
Тут отчасти прав Савельев в этом отрывке http://www.youtube.com/watch?v=3QDj9t6-o2k
(правда на счёт всё время изменяющихся программ он просто не в курсе )
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
нет разговоров о том, что это будет что-то осознающий ИИ.
А их и не будет. Ты понимаешь, прежде чем тратить миллиарды долларов на крутые процессоры, симуляторы и прочую ерунду, искусственный интеллект нужно изобрести, а сделать это можно и с помощью карандаша и листочка бумаги. Хотя согласен, выкачать деньги на из гос бюджета под "когнитивными" предлогами - идея просто класс.

Давай не будем ругаться и спорить в вульгарном виде. Ведь можно же разговаривать без взаимных оскорблений.
Лучше расскажи, что конкретно сейчас сам делаешь в "когнитивной" сфере ?
0
27.05.2015, 22:21
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
27.05.2015, 22:21

Нейронные сети(персептрон)
Привет всем. Недавно начал изучать нейронные сети. Понравилось, очень...

Проект Code Blocks, вставка GTK+: визуализация процессов вычислений
Не могу понять как реализовать. Имеется программа которая рассчитывает данные...

Как создать нейронные сети?
Всем привет! Меня зовут Айзада. Учусь на инженера-программиста. Сейчас пишу...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
10
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru