@Fobes

Всем доброго времени суток. Вопрос скорее не по программированию, а по теории, но т.к. пишу на плюсах, то и спрашивать думаю лучше тут. Начал писать конструктор нейронных сетей (да, знаю что давно все есть, но хочется поподробнее в этом разобраться и всетаки собрать в будущем паука с "мозгом" ). Написав реализацию многослойного персептрона с обратным распространением ошибки, все работает как надо, но столкнулся с не понятной для меня задачкой. Как визуализировать процесс обучения ? Да, можно вывести структуру сети, можно строить графики ошибки и скорости на выходе. Но как визуализировать сам процесс обучения ? Как отрисовать гиперплоскости, разделяющие на классы для произвольной сети ? Может кто-то занимался уже этим ? Направьте в нужную сторону, а то застрял, а в гугле уж очень мудрено написано

0

@VTsaregorodtsev

Вопрос: нафига?
Графиков зависимости ошибок обучения и обобщения от номера эпохи - хватит для того, чтобы контролировать стабильность процесса обучения (чтобы не было переобучения, не было расходимости от, например, слишком большого шага).
Гиперплоскости - для "детских" задач, у которых 2 входных сигнала.
Можно ещё, например, для каждого скрытого нейрона выводить гистограмму сигналов на выходе его сумматора (т.е. ПЕРЕД нелинейной функцией). При этом, если решается задача классификации, то на каждом интервале гистограммы надо выводить столько столбцов-баров, сколько классов распознаётся. Тогда будет видно, например, что примеры одного класса у некоторого нейрона кучкуются в одной из областей, другого класса - в другой, т.е. нейрон является некоторым детектором. А вот если такого разделения-группирования нет - значит, всё ещё пока вперемешку и разделяется только лишь выходными нейронами. И даже по окончанию обучения скрытые нейроны могут не стать хорошими детекторами (ну, значит, задача такая - ей нужна многослойность сети, иначе хватило бы обычного порогового нейрона как классификатора на два класса (если и вправду стоит задача классификации на 2 класса)).

0

@Fobes

VTsaregorodtsev, хм, с графиком ошибок понятно... Но что значит обобщение ?
понравилась вот эта статейка http://habrahabr.ru/post/219647/ и хочется сделать что-то подобное для произвольной сети) видеть что она делает во время обучения)

0

@D-lay_Its_Easy

и
не совместимые вещи, т.к. ни одна из текущих официально известных моделей нейронных сетей не имеет ничего общего с биологическими принципами работы человеческого мозга.

А по поводу визуализации... Имеет смысл что - то визуализировать только на самом начальном этапе, когда у тебя 10-к другой нейронов, а когда у тебя их миллиарды, что ты собираешься увидеть?

Подлинный искусственный интеллект появится через 2 года.

0

@VTsaregorodtsev

Ошибка на отдельной тестовой выборке.

Что сеть делает во время обучения - я в той статье не увидел
Что делает после - да. Обычное проведение разделяющей поверхности (границы между классами) в пространстве независимых признаков.
Я-то думал, что когда Вы говорили про гиперплоскости - имели в виду проведение отрезка прямой для каждого нейрона (в научных статьях - были и такие примеры). В таком случае видна избыточность сети - если есть рядом лежащие и при этом более-менее "параллельные" (да простится мне тут некорректное употребление термина - но и "неразнонаправленные" тоже как-то криво выходит) линии, то, значит, два или более нейронов друг друга хорошо дублируют по причине того, что иных занятий им не нашлось.

Добавлено через 4 минуты
Я Вас умоляю...

Тем более, что на биологические принципы во многом пофиг при создании феноменологической или эвристической модели, создания гипотезы, аналогии, приближения, упрощения. Моделирование - оно многогранно.

0

@VTsaregorodtsev

D-lay_Its_Easy, не делайте мне смешно.

В общем, запостите сюда список прочитанных вами книг по искусственным нейронкам, нейрофизиологии, когнитивным наукам и т.д.- чтобы обсуждать вопрос предметно. Ненаучных фантазий - обсуждать не будем.
За любые бездоказательные слова буду минусовать репу.

0

@Fobes

D-lay_Its_Easy, я соглашусь с VTsaregorodtsev, сеть может принимать решения на основе опыта. Мы всю жизнь учимся принимать эти самые решения, так чем же мы так сильно отличаемся, если не принимать во внимание миллиарды лет эволюции ?) п.с. почти ничего не читал, просто заинтересовала эта тема)

0

@D-lay_Its_Easy

Мой список пуст (разумеется со всеми этими "изобретениями" до уровня понятия смысла я знаком) и именно по этому моя голова не забита бесполезной чушью и именно по этому:
С нулевой репутацией ты думаешь мне не всё равно ?

это - то тут причём?

0

@VTsaregorodtsev

Я знаю, что пишут и прогнозируют в своих научных статьях Модха, Эсснер и другие, занимающиеся в айбиэм нейросетями, когнитивным процессором TrueNorth, моделированием неокортекса и таламуса,... Искусственную кору размером с мозг мышки-крысы они отсимулировали на суперкомпьютере в 2007, кору размером с мозг кошки - в 2009, а сопоставимое с имеющимся в мозгу человека число нейронов планируют на реалтаймовой скорости потянуть в 2019. Именно симулировать (гонять полномасштабную модель) - нет разговоров о том, что это будет что-то осознающий ИИ.


Админам: сорри за офф

0

@D-lay_Its_Easy

На нём смоделировать ничего не получится, его архитектура не верна.
Тут отчасти прав Савельев в этом отрывке http://www.youtube.com/watch?v=3QDj9t6-o2k
(правда на счёт всё время изменяющихся программ он просто не в курсе )
А их и не будет. Ты понимаешь, прежде чем тратить миллиарды долларов на крутые процессоры, симуляторы и прочую ерунду, искусственный интеллект нужно изобрести, а сделать это можно и с помощью карандаша и листочка бумаги. Хотя согласен, выкачать деньги на из гос бюджета под "когнитивными" предлогами - идея просто класс.

Давай не будем ругаться и спорить в вульгарном виде. Ведь можно же разговаривать без взаимных оскорблений.
Лучше расскажи, что конкретно сейчас сам делаешь в "когнитивной" сфере ?

0