Сеть линейных уравнений

На входе мы имеем Ai, Bi, Ci; им заданы выходные значения Vi.
Допустим i = 1000. Строим 1000/3 решаемых линейных уравнений. Получили 333 персептрона. Теперь можно строить второй уровень:
На входе i, полученные подачей на каждый персептрон Ai, Bi, Ci, на выходе должны быть Vi.
Строим три больших линейных уравнения, для 3 самплов по 333 значений (J).
В итоге мы получили прозрачную нейронную сеть, максимально эффективную и модернизируемую. Осталось только (например) усреднить три значения на верхнем уровне и получить выход всей сети.

Естественно размер первоначального входа может быть и больше трех.

0

На входе у меня текущая ситуация, а на выходе нужна ее точная оценка. Если я буду искажать данные ( то есть фактически игнорировать одни в угоду другим) я не получу нужный результат. Вы вероятно думаете, что нейронная сеть должна преобразовывать входной сигнал в выходной, но это не так: выходной сигнал есть отражение входного.

Добавлено через 30 минут
Впрочем вы правы: даже зеркало немного воспринимает энергию света. Вы подали мне идею - если рассматривать нейронную сеть как живой организм, то она состоит только из весов, соответственно воспринять она может только веса. Я понимаю, что преждевременно говорить об самообучающейся нейронной сети, но с учётом того что информация расходуется, нужно научиться немного преобразовывать входные данные в веса, а остальное на выход. То есть имеем на входе 1Мб информации, 1 Кб идёт на веса, а оставшиеся пакуются в выход.
Но пока моя проблема в том чтобы построить третий уровень сети линейных уравнений. В текущем варианте происходит чередование на четный и нечётный слой, то есть нечетный слой просто повторяет действие первого слоя ничего не изменяя по сути, четный слой - второго слоя и так бесконечно. 1 разделенная на 2 дает точный результат, а вот 1 делённая на 3 даёт неточный результат (3 в периуде это не ответ), рано или поздно нужно остановиться и удовлетвориться достигнутой точностью и вот тут для нейронной сети появляется возможность присвоить остаток.

0

Сообщение от osvald На входе у меня текущая ситуация, а на выходе нужна ее точная оценка. Если я буду искажать данные ( то есть фактически игнорировать одни в угоду другим) я не получу нужный результат.

Так подайте вход на выход. Я не понимаю, в чем проблема искажения.

1

Нейронная сеть пакует информацию, кодирует 1 мегамабайт входа, например в, 1 килобайт, согласно своим весам, и мне нужно чтобы я при необходимости мог достаточно точно распаковать этот 1 килобайт в 1 мегабайт.

Вы навели меня на мысль, благодарю (вот что значит диалог!): я просто поменяю знаки на выходе 1-го слоя, тогда из второго слоя уже не выйдет входной сигнал, а будет происходить уточнения от слоя к слою. Спасибо!

0

Перемена знаков на выходе не дала положительных результатов. Но я все же надеюсь построить классическую нейронную сеть с математической точностью. Пока у меня получается прямоугольная сеть, нужно сделать её треугольной, чтобы на последнем слое был один нейрон и был определённый выход. Для этого я планирую убирать с каждого слоя по одному нейрону который дает наибольшую ошибку. В итоге должна получиться сеть, например пятислойная 5-4-3-2-1, которая использует все данные. Из забракованных нейронов можно сделать другую сеть (женскую), но до этого еще далеко. Дело в том что мужская логика делает упор на логическое И, а женская на логическое ИЛИ, и мне трудно даже понять женскую логику не то что реализовать её.

0

Мне попадалась на глаза публикация, в которой объяснялось, как решать СЛАУ в один слой.

0

Нейронная сеть с первым слоем рассчитанным как СЛАУ?

0

Сообщение от osvald Нейронная сеть с первым слоем рассчитанным как СЛАУ?

да, вот ссылочка:

https://mipt.ru/drec/upload/6d... ytjuoi.pdf

0

Итак есть система линейных уравнений:



Если m!=n решить её прямо не получится.
Допустим m = 3*n, тогда мы можем создать 3 СЛАУ:







Они решаются точно и единственным образом. Если рассматривать иксы как веса это первый слой нейронной сети. Подставляя на вход один из других наборов мы получаем 3 значения от 3 нейронов, которые воспроизводят логику сопоставления наборам значений b. Значения выхода нейрона обоснованы решением его СЛАУ, они правильны с его точки зрения, однако у каждого нейрона разный выход и разброс будет значительным, чтобы уменьшить разброс нужно построить еще слои аналогичным образом используя выход предыдущего слоя как вход текущего, обучая на те же самые значения b. Получится также 3 нейрона. Активационная функция должна подчеркнуть разброс иначе он не уменьшается, думаю для >1 подойдет возведение в квадрат, значения b также нужно возвести в квадрат чтобы дать свободу для решения.

0

Признаться я не понимаю причин по котором сеть не работает без активационной функции, вы скажете стандартное "это линейная система", но это не совсем так, по сути мы имеем независимые линейные системы, а они ведут себя как зависимые, меня это удивляет.
Более того, поскольку математика меня интересует лишь как приложение к философии, а реальные нейронные сети образовались неспроста, а отвечают структуре мира, то я вижу связь между поведением нейрона и человека. Я считаю что известный нам мир лишь слой реального мира, есть низшие миры и высшие и человек для высших существ является частью сознания. Человек имеет некий фактический опыт, но почти всегда выходит за его пределы давая оценки не основанные на непосредственном опыте. Именно в этом функция нейрона, он обучен на одних данных, а работает на других. Именно так достигается обобщение фактов реально мира: возникает реальный факт с простейшим существом, оно не может связать его с другими фактами, но это может сделать более сложное существ (второй уровень), возникает обобщение. Далее существа второго уровня общаются друг с другом и каждое реагирует поразному, значит обобщение неверно, строится третий уровень и так далее, пока все существа не будут согласны относительно оценки изначального факта, так достигает адекватность жизни реальности.
И вот тут-то возникает трудность, чтобы более высокий уровень уменьшил ошибку нужна активационная функция, я использовал возведение в квадрат, это равносильно крику и вражде для человека. Так и происходит, все кричат своё пытаясь заглушить других, а начинаешь разбираться оказывается, что реально надо делить на два силу его утверждений, и спрашивается чего было кричать и драться? Надоело это до чертиков и вот оказывается математика "подтверждает" обоснованность такого поведения - боги рассудят и все будет хорошо. Мне это не нравится, пусть мы не можем знать истину, но искажать оценку есть причина зла. По сути нам достаточно всего лишь отличаться друг от друга и вовсе нет нужды враждовать. А пока получается что каждый преувеличивает до лжи и мудрость этого мира есть безумие.

0

Что-то вы про "нейронная сеть = система линейных уравнений" загнули так сильно, что некуда. Здесь работает концепция разделяющих гиперплоскостей (разделяющих поверхностей). Нейрон представляет собой уравнение гиперплоскости, делящей все пространство на две части.
В векторно-матричном виде:
out = sign(Input * W)
или почти то же самое, с точностью до свободного члена
Input * W > 0

Это неравенство справедливо, если точка находится с определенной стороны разделяющей плоскости Input * W = 0, и несправедливо, если точка находится с другой стороны плоскости. Таким образом каждый нейрон либо признает точку "своей", либо "чужой". При этом, если вместо Input подставить координаты точки, то получим расстояние между точкой и плоскостью r = Input * W.

И как вы правильно заметили - нет смысла "кричать", иначе тут группа нейронов в одном слое может накричать нейронам следующего слоя так, что мало не покажется.

Помимо принципа разделяющих гиперплоскостей есть и другие концепции типа радиальных базисных функций (RBF), там разделяющие поверхности нелинейные, но смысл все тот же - разделить пространство точек на две части "свою" и "чужую". А обучение заключается в том, чтобы так спозиционировать разделяющую поверхность, чтобы она наилучшим образом разделяла точки (их обычно называют объектами) из обучающей выборки.

Помимо геометрической интерпретации, есть еще логическая интерпретация, когда можно показать, что нейрон способен имитировать функции И, ИЛИ, НЕ, а небольшая нейронная сеть может имитировать даже исключающее ИЛИ (XOR).

Есть еще пиксельная интерпретация, когда на каждый нейрон подается целая картинка. Тогда веса обученного нейрона можно изобразить как фильтр-изображение. Это работает в силу того, что вход и веса у нейрона симметричны и могут быть поменяны местами. Input * W > 0 как бы превращается в W * Input > 0.

1

Так пусть еще будет линейная интерпретация).
Итак крик не работает, более того в мозгу есть механизм подавления сомнительных сигналов, в нейронных сетях это активационная функция, это собственно пороговая функция. Принцип ее работы "не знаешь - молчи". А что может знать нейрон? Очевидно те выборки на которых его обучали. Чтобы в сети линейных уравнений определить границы компетентности нейрона достаточно подбирать систему уравнений так чтобы значение после равенства было в некотором диапазоне, а мы легко можем это сделать для конкретного нейрона. Зная этот диапазон мы, при работе сети, можем определить выходит ли текущее значение за его пределы или нет. Иными словами нейрон подбирается так чтобы отвечать за некоторый диапазон выхода, если выход вне диапазона он подавляется. Не проверял еще эту идею.

0

Сообщение от fintot Иными словами нейрон подбирается так чтобы отвечать за некоторый диапазон выхода, если выход вне диапазона он подавляется. Не проверял еще эту идею.

Если выход нейрона = выход всей нейросети, т.е. нейрон в выходном слое, то еще более-менее понятно, что за диапазон. А если нейрон глубоко в скрытых слоях?..

Вы все еще про сеть линейных уравнений? Ну которая без активационной функции.

0

Перечитайте тему с начала, вы не поняли сути.
Очевидно, что нейрон это система линейных уравнений, я это достаточно хорошо показал.
А активационная функция похоже все же нужна, хотя я не понимаю почему.

0

Конечно не понял. С этого момента:"Очевидно, что нейронная сеть - это СЛАУ".

В реальной жизни СЛАУ такие бывают:
2*x1 + 3*x2 - 2 = 0
2*x1 + 3*x2 - 2 = -1
2*x1 + 3*x2 - 2 = 5
2*x1 + 3*x2 - 2 = 0
5*x1 - 3*x2 + 1 = 4

0

Для того чтобы понимать на какой стадии находится разработка сеть линейных уравнений опишу тезисно.
1. Есть наборы чисел(сампл) которые нужно отожествить с заданными значениями(выход сети), чтобы впоследствии получить для произвольного сампла значение отвечающщее выявленным закономерностям.
2. Нейрон представляется как система линейных уравнений, Самплы составляют тело нейрона и мы получаем нейроны первого слоя.
3. Самплы для нейрона подбираются так чтобы у него бым минимальный диапозон выхода.
4.Используем в качестве активационной функции алгоритм приближения к выходам "правильных" нейронов (то есть у которых выход в пределах их диапазона)
5. Строим второй слой нейронов в качестве самплов которого используем выход первого слоя на изначальный сампл.

Если всё правильно, то ошибка будет уменьшаться. Надо проверить.

Добавлено через 2 минуты

Сообщение от Mikhaylo В реальной жизни СЛАУ такие бывают: 2*x1 + 3*x2 - 2 = 0 2*x1 + 3*x2 - 2 = -1 2*x1 + 3*x2 - 2 = 5 2*x1 + 3*x2 - 2 = 0 5*x1 - 3*x2 + 1 = 4

Это 2.5 нейрона.

Добавлено через 2 минуты
Или если решать неточно, то один. Просто для того чтобы вы поняли.

Добавлено через 54 минуты
У вас странная обучающая выбока, одним и тем же входным данным вы пытаетесь сопопставить разные значения. Обычно так бывает когда берется недостаточно данных для анализа.
Фактически у вас есть только:
2*x1 + 3*x2 - 2 = 0
5*x1 - 3*x2 + 1 = 4

Над обучающей выборкой тоже надо работать и сеть линейных уравнений помогает осознать это.

Добавлено через 1 час 30 минут
Итак мы имеем 3 нейрона:
1.
2*x1 + 3*x2 = 2, х1 = 5/7, х2 = 4/21, диапазон 2-3
5*x1 - 3*x2 = 3

2.
2*x1 + 3*x2 = 1, х1 = 4/7, х2 = -1/21, диапазон 1-3
5*x1 - 3*x2 = 3

3.
2*x1 + 3*x2 = 7, х1 = 10/7, х2 = 29/21, диапазон 3-7
5*x1 - 3*x2 = 3

Поскольку оба входных набора ({2,3} и {5,-3}) присутствуют во всех нейронах, то выходы будут такими как обучали
Строим второй слой.
Выход 1-го слоя для сампла {2,3,2},{2,3,1},{2,3,7} будет 2,1,7,
для сампла {5,-3,3} соответственно 3,3,3
Получаем
2*w1 + 1*w2 + 7*w3 = 2 (исходный сампл {2,3,2})
2*w1 + 1*w2 + 7*w3 = 1 (исходный сампл {2,3,1})
2*w1 + 1*w2 + 7*w3 = 7 (исходный сампл {2,3,7})
3*w1 + 3*w2 + 3*w3 = 3 (исходный сампл {5,-3,3})

Из них нельзя составить ни одного нейрона, поскольку обучающая выборка противоречива.

Добавлено через 12 минут
Конечно обучающая выборка всегда будет в какой-то степени противоречива, просто для того чтобы строить многослойную сеть нужен больший объем выборки.

0

Что-то ваши СЛАУ чувствительны к содержанию датасета. А вот настоящая нейронка готова работать и без обучения.

0

Понятно, что я говорю о лучшем использовании обучающей выборки, иногда это критично. Мне хочется выжать из данных всё что можно. Нейронная сеть подбирает веса довольно случайно (и долго), а тут есть надежда иметь оптимум.

0

Не надо выжимать 100%. Это плохая самоцель.
Ибо ваши СЛАУ задолбаются в случае 60000 примеров цифр MNIST, в случае миллиардных текстов GPT-3.
В случае MNIST нейросеть структуры MLP содержит чуть меньше 1000 весов.
Надо запомнить суть, а не все примеры.

0

Мне надо. То куда катится мир говорит о том, что довольно скоро управление людьми будет происходить используя ИИ, а тут любая ошибка чревата смертью людей.

0

Ну ок.

0