Нейросистема. Необходимо пересмотреть.
Запись от Hrethgir размещена 01.03.2022 в 10:53
Показов 2052
Комментарии 3
|
[IMG]https://www.cyberforum.ru/blog_attachment.php?attachmentid=7416&stc=1&d=1646115833[/IMG] [LATEX]Summa(Or)=s(inF)+\sum\limits _{i=1}^{S}(x*minimum+sConst(i)-s(inF))[/LATEX] Вот эта формула - то же самое что и в ранних записях. Просто вместо множителя взят взято слагаемое, оно уменьшает некоторые математические ограничения и в общем даёт повод для размышлений о том, что пора-бы рассмотреть систему под новым углом, когда согласно изначальным условиям нет разницы между предикатом и фоновыми условиями. Кроме того, создаётся впечатление, что в этом ничего нет нового, это тоже стоит переосмыслить. Хотя новое конечно есть - сигнал предиката, дающий в теле цикла разницу - это бесспорно ново, но что с того дальше? Дальше пока прогресс мной не отслеживается. Ну есть чисто обозримый возможный, что наиболее часто повторяющиеся условия создают некоторый паттерн образа, который взависимости от кол-ва совпадений может смещать сигнал на следующем слое. То-есть система даёт смещение. Хорошо это или плохо? С одной стороны - хорошо. Создаётся возможность сортировки паттернов, но с другой стороны совершенно очевидно что если элементы не делить на фоновые условия и предикаты, то предикаты должны быть в слое того-же уровня что и входящий. В общем сложно пока себе представить, как это можно задействовать в абстрактной системе в функцию которой может лечь абсолютно рандомная задача. В этом собственно и проблема сейчас - как эту систему адаптировать под рандомную задачу. Особенную проблему составляет то, что предикат находится на слое того-же уровня что условия. Вот это и вводит в ступор. С другой стороны - ничто не мешает на входящем слое тупо добавить всего один предикат, а сортировка паттернов начнётся уже на первом скрытом слое. Вот допустим мнист 28*28 = 784, я просто добавлю один элемент в виде одного нейрона, и пусть их будет тогда 785, но на следующем слое мне это позволит производить сортировку паттернов. Конечно это может быть и просто какое-то правило, но стоит-ли усложнять формулу ради него - я думаю что не стоит. Ради того, чтобы не усложнять систему правилами и не калечить формулу для мниста - я просто добавлю в входящий слой всего один предикат - условно дополнительный один нейрон. Кроме того, возможно что введение предиката в входящий слой и определяет процесс обучения, частично или целиком - пока не ясно, но это скорее так. Но [B][I]чтобы не засорять память - предикат будет задавать константные значения, а не подавать сигналы[/I][/B]. И разница будет в том, что константы будет задавать на слой единственный предикат, это необходимо так-же для обучения. То есть в отличии от рассматриваемого тут примера условия и предикат меняются ролями. То-есть единственный предикат задаст у меня вот эти линии, в случае с MNIST это 10 линий, а скорее всего он будет просто их гранить их значения в массиве. Похоже, что подошло время детализации формулы и экспериментов с кодом и мнистом. Кроме того - до сих пор не определена система обучения как для двух слоёв, так и более, но мысль о предикате в каждом слое, кроме выходного, уже предопределяет курс. И если быть конкретным - то можно дать права предиката или условий любой группе нейронов, и тогда не надо заниматься огромными циклами пересчёта весов, а просто поднимая планки или опуская их. Вообще система достаточно вариативная получается и требует изучения. Или целым группам весы взвешивать эпохами, или просто перемещать планки констант - я думаю разница есть. Система получается вариабельная, требует изучения и работы над ней. Например в таком виде, подразумеваемом уже некоторый слой скрытый, посредством такого метода уже можно считать до трёх. Но здесь подразумевается скрытый слой из трёх нейронов. это как ни крути. тогда предикат не нужен, но для связки пусть останется просто видоизменённое изображение. [IMG]https://www.cyberforum.ru/blog_attachment.php?attachmentid=7417&stc=1&d=1646311440[/IMG]. Система очень вариабельная, что делает её рассмотрение крайне затруднимым, но тем не менее возможным. Можно не подразумевать скрытый слой, а сделать активацию нейрона многоступенчатой - и это тоже сработает. Вариативность рассмотрения тут открывает широкий спектр возможных решений, но так или иначе мне прийдётся тестить это на MNIST, поэтому буду готовить тест, а уже в ходе тестирования на MNIST я смогу рассматривать некоторый спектр. Чем вообще это может быть удобно в обращении - можно сразу отметить, что по сути [B][I]sConst[/I][/B] - возможный вариант, тогда число линий - кол-во возможных вариантов. Но если перед подобным поставить задачу на нескольких срктых слоях определить символы MNIST, то ясно, что первый слой пусть будет иметь лучше 16 вариантов, а не 10. Почему - потому что первый скрытой слой - многослойная проекция картинки, и нейроны на ней в конченом счёте будут стремиться к тому, чтобы соддержать паттерн наиболее частого фрагмента картинки цифры. То-есть тут ограничивается число паттернов, а раз нейронов 16, то этот слой и будет содержать в идеале 16 паттернов повторяющихся фрагментов, которые в наиболее быстрой обработке дадут на следующих слоях точный ответ. [URL="https://www.cyberforum.ru/mathematical-logic-sets/thread2953473.html#post16106567"]Тождество в задании не верное[/URL] |
Размещено в Без категории
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Всего комментариев 3
Комментарии
-
Таким образом, в теории нейросетей я обнаруживаю изъян - согласно этой теории в первый скрытый слой отправляются сигналы с матрицы изображения (сенсорной), и согласно этой теории общепринятой - паттерн не может быть зафиксирован, так как данные поступают в виде суммы.
Нет, моя теория проблемы пока не решает, точнее моё исследование. Но вот что я придумал. К каждой ячейке сенсорной матрицы я банально прикручу ещё 16 - это и будет отражением реальных синапсов, и в них будут записываться , скорее всего упорядоченно, те нейроны скрытого слоя, в которые ячейка отправляла сигнал в составе паттерна. Это не открытие, это просто рассмотрение сути проблемы невозможности перенести аналогию с многослойными изображениями, тогда когда в биологических нейросетях эта проблема решается естесственным образом. И далее от слоя к слою в моей системе будет происходить скорее всего то-же самое, везде будет сопроводительная информация о паттернах. Да я потеряю оперативной памяти в тех объёмах, которыми можно пренебречь в сравнении с выигрышем в быстродействии.
И далее я буду делать так, как считаю нужным. В настоящий момент описанное мной указывает мне на то, что даже если я ещё не на верном пути, то где-то рядом, и
точно дальше от того, что не поддаётся пониманию и не может быть объяснённым посредством логики.
В теории нейросетей традиционных - нет обратной связи между слоями - невозможно потом восстановить многослойное изображение - паттерн, эту проблему я нахожу решаемой вполне. По моему - именно реальная обратная связь в живых сетях и хранит часть информации о паттернах, а значит имитировав её можно значительно ускорить процесс обучения.Запись от Hrethgir размещена 03.03.2022 в 20:47 
-
[URL="https://www.cyberforum.ru/mathematical-logic-sets/thread2953473.html"]Отвлёкся от кода[/URL]. Опять увидел спрос на доказательство очевидного.
Кто докажет несправедливость моего док-ва?
Ну, кому-то покажется несправдливым что задачка была решена её-же условиями без лишних движений, но это чисто эстетический взгляд. Самое лучшее решение задачи - это решение априори, решение условиями задачи, остальное это уже как культуристы мускулами когда играют.Запись от Hrethgir размещена 04.03.2022 в 22:19
-
Пока отвлекался на это множество - чуь не потерял мысль чем лучше эта формула.
Вспомнил - есть ведущий кортежа. Сигналы могут быть те-же абсолютно, но результат решает ведущий кортежа.
Трудность в том, что ведущий сигнал прийдётся уменьшать на какую-то часть, иначе нейрон на который он подаётся никогда не активируется...
Согласно правилам кортежа - ведущий сигнал должен быть меньшим некоторых по значению и больше некоторых по значению...
Либо преобразовывать формулу расчёта...в общем появляется некоторая величина, без которой очевидно никак.
Что-то должно определять ведущий сигнал....Видимо предикатом будет самый сильный сигнал, перед суммированием с остальными по формуле - он его потенциал будет занижаться, это будет вполне справдливо, правда прийдётся писать ещё одну формулу.Запись от Hrethgir размещена 06.03.2022 в 10:37
