Backpropagation метод для нейронных сетей

@arts1 · Регистрация: 31.03.2015

Author24 — интернет-сервис помощи студентам

Мне надо создать нейронную сеть для сортировки по схеме К-победителей среди N. Например у меня есть 5 чисел в произвольном порядке, которые надо посортировать.
Например 6, 7, 2, 11, 5, 8. Главная задача в моем алгоритме найти такое х на промежутке 2-11, где-бы енерг. Функция была нулевой (минимизированой). Е=К-СУМА ступенчастых бинарных функций (N1-x, N2-x—эти компоненты должны быть больше 0, чтобы функция была 1, иначе 0). Тогда если К=1 найдем найбольшее число, если 2—два найбольших – не знаю есть ли способ отнять такие два массива разных размерностей, чтобы получить второй наибольший элемент. То есть всего надо N-1 нейроных схем для полной сортировки.
Но по содержанию самого алгоритма непонятно как применить здесь алгоритм Back-Propagation. Он требует как входных значений (N-чисел), так и их весов что определяютяс произвольно но мало отличны от нуля. Как и надо иметь требуемые значение – в этом случае это должно быть значение К наибольших значений. Но как быть из средним (скрытым) слоем—сколько нейронов он должен иметь
Но в описание мого алгоритма главная загвоздка в функции Е, при которой на каждой итерации как бы надо уменьшать ее если больше 0, или увеличивать – если меньше—до некой минимизации. То есть я так понимаю что функция как бы получается неким коректируючим весом. То есть непонятно что в этом случае делать—в первую очередь взять во внимание схему или общий алгоритм обратной ошибки. И снова таки гдавный вопрос касательно смещение Х. В В моем примере, например, 6 сравниевается с х на таком диапазоне как 5-6 (х в этом интервале), где результат больше, а на диапазоне – 7-8 –меньше. А как на самом деле – надо какое то интегрирование делать чтобы х было не кусочным?
Вообще как разрешать задачу хотябы приблизительно?

@VTsaregorodtsev · 14.06.2015, 22:47

Тут нафиг бэкпроп не нужен.
См буржуинские статьи (ибо не помню, писал ли что-то про это Галушкин) про KWTA-нейронки (k-winners-take-all).

@arts1 · 15.06.2015, 16:33 **[ТС]**

Ну понятно что бэк-проп работает не зависимо от метода-- только надо обозначить начальные входы, рандомные весы связей, количество слоев и количество их нейронов.
Но мне надо аналогововую нейронную сеть--какие програмы кроме микрокапа с аналоговыми схемами работают--
FPGA--цыфровой/логический масив. FPAA-есть такой аналоговый масив, но он наверное имеет очень малое примененение -- и даже в FPGA -- нету интегратора по времени.
sim2spice --кажется такая утилита работает в симулинке,
но как ее запустить, где ее скачать с каой версии работает?
Аналогичные вопросы к HDL Coder, HDL Verifier --как их запустить в матлабе?

@OlegMaevsky · 16.03.2016, 12:00

Зачем, интересно, для этой задачи нужна НС?

@kk_123 · 02.05.2018, 13:31

У меня вроде получилось разобратся с алгоритмом 'back propagation' и реализацией простой распознавалки по этому алгоритму. Осталось еще пара вопросов, но это может потом допру. Мне с этим 'back propagation' пришлось помучатся наверное больше года. Если кому еще интересно могу поделится...

@kk_123 · 03.05.2018, 12:00

Но я все делал на Delphi. И все примеры и всю кодировку надо хоть малек описать. А то там и сам черт
без бутылки не разберется.

@kk_123 · 04.05.2018, 00:00

Все началось с 'DelphiDCR'. Когда-то давно я натолкнулся на этот исходник, но он был не рабочим и я про него и забыл.
Потом гдн-то пару лет назад опять возник интерес к нейросетям и я стал собирать всю инфу по этой теме. Наткнулся на
'Fan' и Matt Mazur-а. Стал уже по немногу набивать тесты, но результаты так и не совпадали с оригиналами. Потом в ютубе натолкнулся на видео-урок. И там где-то с 4-ой минуты идет теоритическое описание расчетов 'Дельта-H' для перцептрона с несколькими выходами, а не с одним. Это и поставило все точки над 'i'. Результаты всех моих предыдущих тестов стали совпадать с оригиналами. Для всех этих примеров я написал один универсальный клас - 'TNet'. Потом этот же клас пременил для распознавания пристых графических приметивов: крестика и нолика размерами 3x3 пикселя. Это будет архив 'Крестик-Нолик'. Вроде работает. Конечно остались еще недаработки и о шибки, но в принципи движок на алгоритме 'BackPropagation'
работает. Но сколько тут было подводных камней просто не описать. Особенно с этим гребанным Delphi. Идею для распознавалки я взял е Тео в 'DelphiDCR'. Короче со всего нета по кусочку. Был даже интересный классификатор символов, но он был с ошибкой если я правильно его разобрал. К стати, оригинальный 'DelphiDCR' тоже был не ахти я его урезал и модифицировал для своих нужд. Оригинала у меня и не осталось. Класс 'TNet' описывать я нужды не вижу, исходники прилогаются. Там я постарался подробно описать, если что будет не ясно или какие ошибки пишите. Да, чуть не забыл, еще один важный момент в работе алгоритма 'BackPropagation' - как функцию активации я использовал простой сигмоид не биполярный. И соответственно по дельта-правилу его производную. Хотя от самой производной можно было бы и отказатся, тогда и некоторые элементы класса можно было бы удалить. Но я для себя, для более-менее понимания их оставил. Кому надо тот разберется. Все Баста...

Добавлено через 3 минуты
Не понял, а где архивы ? Я же их прикладывал

@kk_123 · 04.05.2018, 00:03

DelphiDCR

@kk_123 · 04.05.2018, 00:05

Matt Mazur

@Constantin Cat · 04.05.2018, 00:14

выбрать файл и загрузить, это два разных действия

@kk_123 · 04.05.2018, 00:19

FAN, Крестик-нолик, видео-урок.

@kk_123 · 04.05.2018, 09:38

Вот еще примеры-тесты, что вчера не добавил

@Constantin Cat 3406 / 1825 / 489 Регистрация: 28.02.2015 Сообщений: 3,696
	04.05.2018, 00:14	10
	выбрать файл и загрузить, это два разных действия Миниатюры 0

@arts1 138 / 7 / 1 Регистрация: 31.03.2015 Сообщений: 395
		1
	Backpropagation метод для нейронных сетей 02.06.2015, 04:01. Показов 2413. Ответов 11 Метки нет (Все метки) Мне надо создать нейронную сеть для сортировки по схеме К-победителей среди N. Например у меня есть 5 чисел в произвольном порядке, которые надо посортировать. Например 6, 7, 2, 11, 5, 8. Главная задача в моем алгоритме найти такое х на промежутке 2-11, где-бы енерг. Функция была нулевой (минимизированой). Е=К-СУМА ступенчастых бинарных функций (N1-x, N2-x—эти компоненты должны быть больше 0, чтобы функция была 1, иначе 0). Тогда если К=1 найдем найбольшее число, если 2—два найбольших – не знаю есть ли способ отнять такие два массива разных размерностей, чтобы получить второй наибольший элемент. То есть всего надо N-1 нейроных схем для полной сортировки. Но по содержанию самого алгоритма непонятно как применить здесь алгоритм Back-Propagation. Он требует как входных значений (N-чисел), так и их весов что определяютяс произвольно но мало отличны от нуля. Как и надо иметь требуемые значение – в этом случае это должно быть значение К наибольших значений. Но как быть из средним (скрытым) слоем—сколько нейронов он должен иметь Но в описание мого алгоритма главная загвоздка в функции Е, при которой на каждой итерации как бы надо уменьшать ее если больше 0, или увеличивать – если меньше—до некой минимизации. То есть я так понимаю что функция как бы получается неким коректируючим весом. То есть непонятно что в этом случае делать—в первую очередь взять во внимание схему или общий алгоритм обратной ошибки. И снова таки гдавный вопрос касательно смещение Х. В В моем примере, например, 6 сравниевается с х на таком диапазоне как 5-6 (х в этом интервале), где результат больше, а на диапазоне – 7-8 –меньше. А как на самом деле – надо какое то интегрирование делать чтобы х было не кусочным? Вообще как разрешать задачу хотябы приблизительно? 0

@VTsaregorodtsev 1487 / 1414 / 240 Регистрация: 19.02.2010 Сообщений: 3,915
	14.06.2015, 22:47	2
	Тут нафиг бэкпроп не нужен. См буржуинские статьи (ибо не помню, писал ли что-то про это Галушкин) про KWTA-нейронки (k-winners-take-all). 0

@arts1 138 / 7 / 1 Регистрация: 31.03.2015 Сообщений: 395
	15.06.2015, 16:33 [ТС]	3
	Ну понятно что бэк-проп работает не зависимо от метода-- только надо обозначить начальные входы, рандомные весы связей, количество слоев и количество их нейронов. Но мне надо аналогововую нейронную сеть--какие програмы кроме микрокапа с аналоговыми схемами работают-- FPGA--цыфровой/логический масив. FPAA-есть такой аналоговый масив, но он наверное имеет очень малое примененение -- и даже в FPGA -- нету интегратора по времени. sim2spice --кажется такая утилита работает в симулинке, но как ее запустить, где ее скачать с каой версии работает? Аналогичные вопросы к HDL Coder, HDL Verifier --как их запустить в матлабе? 0

@OlegMaevsky 1 / 1 / 1 Регистрация: 15.03.2016 Сообщений: 22
	16.03.2016, 12:00	4
	Зачем, интересно, для этой задачи нужна НС? 0

@kk_123 4 / 3 / 0 Регистрация: 16.06.2015 Сообщений: 8 Записей в блоге: 1
	02.05.2018, 13:31	5
	У меня вроде получилось разобратся с алгоритмом 'back propagation' и реализацией простой распознавалки по этому алгоритму. Осталось еще пара вопросов, но это может потом допру. Мне с этим 'back propagation' пришлось помучатся наверное больше года. Если кому еще интересно могу поделится... 0

@kk_123 4 / 3 / 0 Регистрация: 16.06.2015 Сообщений: 8 Записей в блоге: 1
	03.05.2018, 12:00	6
	Но я все делал на Delphi. И все примеры и всю кодировку надо хоть малек описать. А то там и сам черт без бутылки не разберется. 0

@kk_123 4 / 3 / 0 Регистрация: 16.06.2015 Сообщений: 8 Записей в блоге: 1
	04.05.2018, 00:00	7
	Все началось с 'DelphiDCR'. Когда-то давно я натолкнулся на этот исходник, но он был не рабочим и я про него и забыл. Потом гдн-то пару лет назад опять возник интерес к нейросетям и я стал собирать всю инфу по этой теме. Наткнулся на 'Fan' и Matt Mazur-а. Стал уже по немногу набивать тесты, но результаты так и не совпадали с оригиналами. Потом в ютубе натолкнулся на видео-урок. И там где-то с 4-ой минуты идет теоритическое описание расчетов 'Дельта-H' для перцептрона с несколькими выходами, а не с одним. Это и поставило все точки над 'i'. Результаты всех моих предыдущих тестов стали совпадать с оригиналами. Для всех этих примеров я написал один универсальный клас - 'TNet'. Потом этот же клас пременил для распознавания пристых графических приметивов: крестика и нолика размерами 3x3 пикселя. Это будет архив 'Крестик-Нолик'. Вроде работает. Конечно остались еще недаработки и о шибки, но в принципи движок на алгоритме 'BackPropagation' работает. Но сколько тут было подводных камней просто не описать. Особенно с этим гребанным Delphi. Идею для распознавалки я взял е Тео в 'DelphiDCR'. Короче со всего нета по кусочку. Был даже интересный классификатор символов, но он был с ошибкой если я правильно его разобрал. К стати, оригинальный 'DelphiDCR' тоже был не ахти я его урезал и модифицировал для своих нужд. Оригинала у меня и не осталось. Класс 'TNet' описывать я нужды не вижу, исходники прилогаются. Там я постарался подробно описать, если что будет не ясно или какие ошибки пишите. Да, чуть не забыл, еще один важный момент в работе алгоритма 'BackPropagation' - как функцию активации я использовал простой сигмоид не биполярный. И соответственно по дельта-правилу его производную. Хотя от самой производной можно было бы и отказатся, тогда и некоторые элементы класса можно было бы удалить. Но я для себя, для более-менее понимания их оставил. Кому надо тот разберется. Все Баста... Добавлено через 3 минуты Не понял, а где архивы ? Я же их прикладывал 0

	04.05.2018, 09:38