Сеть линейных уравнений

На входе мы имеем Ai, Bi, Ci; им заданы выходные значения Vi.
Допустим i = 1000. Строим 1000/3 решаемых линейных уравнений. Получили 333 персептрона. Теперь можно строить второй уровень:
На входе i, полученные подачей на каждый персептрон Ai, Bi, Ci, на выходе должны быть Vi.
Строим три больших линейных уравнения, для 3 самплов по 333 значений (J).
В итоге мы получили прозрачную нейронную сеть, максимально эффективную и модернизируемую. Осталось только (например) усреднить три значения на верхнем уровне и получить выход всей сети.

Естественно размер первоначального входа может быть и больше трех.

0

Сообщение от Mikhaylo В случае MNIST нейросеть структуры MLP содержит чуть меньше 1000 весов.

Можно использовать вообще один нейрон. Проблема в том, что результат будет неудовлетворительным.

Добавлено через 1 час 36 минут
Фактически всё, что у нас есть это некоторые значения функции out = f(x1,...,xn), причём нейронная сеть есть вариант апроксимации функции f(). Если говорить геометрически, мы имеем поверхность в (n+1)-мерном пространстве, некоторые "высоты" которой нам известны. Что можно с этим сделать? Очевидно интерполировать ближайшие значения по всем направлениям. Нужно просто построить поверхность функции f() интерполируя высоты по точкам, причем интерполяция может быть нелинейной, могут быть гладкие перепады "высоты" (значения функции f()). Вот и всё, не думаю, что можно еще что-то сделать.

0

Реально же интерполировать похоже лучше с помощью нейронной сети.
Итак почему на третьем и последующих слоях нет уменьшения ошибки? Видимо из-за погрешности вычислений, даже long double не дает улучшения. Проверить это можно используя рациональные числа, привести входные данные к целым числам и дальше вычислять веса точно. Получатся астрономические цифры на верхних слоях, но ошибка должна уменьшаться. Активационная функция здесь не нужна.

0

Хотя, даже с рациональными вычислениями, такая сеть строится быстро, тем не менее ее надо полностью перестроить для добучения. С другой стороны говорят, что однослойный персептрон большой длины способен заменить глубокую нейронную сеть. А у нас как раз такой случай когда комбинации самплов дают множество нейроннов в персептроне и при добавлении сампла достаточно скомбинировать его с предудущими самплами и получить новые нейроны. Всё это делается очень быстро. Я проверял, действительно при увеличении нейронов в персептроне и усреднении выходов нейронов ошибка уменьшается, хотя и с затуханием. А пот последовательно вычислять большое количество нейронов долго, поэтому для роботехники я бы посоветовал сделать чипы имитирующие нейрон, то есть распаралелить вычисления. В результате получаем быстро обучающуюся сеть с мгновенной реакцией на вход.

0

Если же критично количество нейронов в сети, то видимо оптимально разбить данные на заданные блоки и использовать регрессионный анализ для вычисления рациональных весов пирамидальной сети (по методу данному VTsaregorodtsev выше). Очевидно число нейронов нижнего слоя будет определять только заданная точность для сети, хотя я не смогу дать точную формулу расчета необходимого числа нейронов нижнего слоя (это нужно обращаться к математикам). Сама же пирамида нейронов видимо должна быть правильной для оптиума.

0

Абсолютно надуманная задача

0

Читатель, не слушай дураков, а попытайся понять. С помощью этой "надуманной" идеи я могу предсказать курс иены на час вперед с точность 17 сенов (копейки японцев), в среднем. Только я доработал кое-что существенное, но говорить вам я больше ничего не буду.
Я давно разочаровался в программировании потому что приходится иметь дело с программистами-ради-денег. Вот вам сладкое, играйте на бирже на здоровье, если сможете, но тебе читатель не рекомендую.

0

Какая разница: сеть линейных уравнений или система линейных уравнений или же нейросеть или же пирамида уравнений. У человека просто крышку сорвало, у изобретателя...

Добавлено через 57 секунд
Человек во всем видит японские свечи и нейросети.)))

0

Я вижу, что мир истинен, а мозг нам врёт, что несуществующее (ложь) существует.

Но я всё-таки хотел бы продолжить и поделиться-таки своими наработками.
Допустим мы имеем 3 нейрона собранных из 3+3+3 линейных уравнений, подаём на вход сампл и на выходе получаем 3 значения, причем одно истинно, это неопределённость. Лучшее чего я смог добиться это отсортировать их и выбрать среднее по положению, то есть медиану, среднее арифметическое даёт худший результат и ухудшается с ростом неопределённости. Медиана с ростом числа нейронов практически неухудшается.
Но это неудовлетворительно, хотелось бы чтобы сеть выдавала истинный результат хотя бы на обучающей выборке. Для этого надо строить второй слой, но тут веса принимают следующий характер: {1,0,0}, {0,1,0}, {0,0,1}. Почему так я не понимаю и все последующие слои имеют те же веса. Значит нужна активационная функция. В рассматриваемом пример один нейрон истинен, а два других высказывают лишь мнение. Было бы неплохо если бы нейроны молчали если не обучены на поданный сампл. Это можно сделать например с помощью функции нормального распределения, мы можем взять обучающую выборку и построить нормальное распределение значений на которые ее обучают. Получится, что нейрон вблизи среднеарифметического выхода будет выдавать максимальный результат, а чем дальше выход будет отклоняться от обученного среднеарифметического выхода, тем слабее будет выход после активационной функции. Можно построить функции нормального распределения для каждого сампла и сложить их, получится что-то вроде "пилы".
Возможно это позволит получить на последующих уровнях уменьшение ошибки. Ну а потом когда все нейроны верхнего уровня будут говорить примерно одно и то же выбрать отсортированную медиану.

0

Сообщение от fintot веса принимают следующий характер: {1,0,0}, {0,1,0}, {0,0,1}

Это происходит потому, что первые три сампла соответствуют первому нейрону первого слоя, вторая тройка - второму и третья - третьему.

Сообщение от fintot функции нормального распределения

Неприменима, значения быстро выходят из пределов вычислений.

Сообщение от fintot хотелось бы чтобы сеть выдавала истинный результат хотя бы на обучающей выборке

Этого можно достичь обучая нейрон на 1, то есть решать линейные уравнения с поставленными в соответствию самплу 1, и зная среднее значение реальных саплов, определять выход. В результате нейрон будет выдавать близкое к единице значение и если это единица, то можно с большой уверенность утверждать, что то средеарифметическое которое соответствует нейрону истинно для входа. Это дает почти идеальную точность для обучающей выборки, однако на новых данных, результат на порядок хуже. Я думаю верхние уровни для того и нужны, чтобы сеть могла адекватно работать с новыми данными. Однако какую бы активационную функцию я не использовал, второй и последующий уровень выдает ошибку, в лучшем случае, колеблющуюся вокруг ошибки первого уровня.

0

Сообщение от was3110 Абсолютно надуманная задача

Обучающая выборка должна полностью определять значения весов нейронной сети, сейчас этого нет, а значит выходы нейросети в строгом смысле ложны.

0

Сообщение от was3110 Абсолютно надуманная задача

Бегло просмотрел, но поставленной задачи не обнаружил! Разговор о сети, подразумевает этап обучения. Тоже не увидел!

0

Сообщение от VAF34 не увидел

Для вас это слишком оригинально.
Где-то в середине темы оспаривалась моя позиция, что нейрон это система линейных уравнений, теперь, как не странно, это общепризнанно. Чтож подождём когда неопределенность весом современных нейронных сетей не станет проблемой.

0

fintot у нас первооткрыватель нейронок. Он первым решил, что это система линейных уравнений. Но потом налетели светила науки и добавили в уравнения нелинейности - сигмоиды всякие.

2

Сообщение от fintot Лучшее чего я смог добиться

Так выложите программу, которой вы пользуетесь! Чтобы разговор пошел конкретнее.

0

Сообщение от fintot Это дает почти идеальную точность для обучающей выборки, однако на новых данных, результат на порядок хуже.

Это нормально. Нейросети не работают без ошибок. И точность 90%, например, вполне может быть удовлетворительной. Ну то, что вы "не шмогли", а другие могут - это просто отсутствие опыта. Здесь вам не тут.

1

Сообщение от VAF34 Так выложите программу, которой вы пользуетесь! Чтобы разговор пошел конкретнее.

Консольный проект на CodeBlocks берет котировки EURUSD и строит 5000 нейронов однослойного персептрона. Это лучший результат который мне удалось достичь, средняя ошибка 160 пунктов на следующий час, думаю современные многослойные сети со случайными весами показывают худшие результаты.

Вложения

Example.zip (365.9 Кб, 24 просмотров)

0

Если бы перейти на русский язык, то задача предсказания курса волюты это задача на аппроксимацию TimeSeries и интерполяцию за пределы участка аппроксимации. Вот пример для температуры на садовом участке по измерениям за несколько дней продолжение на сутки вперед. Пример иллюстративный за точность прогноза не боролся.

Миниатюры

 

1

Задача больше похожа на предсказание значений генератора случайных чисел. Для меня это хороший ресурс моделирования сети. Пока лучшее, что сделал это вывод математического ожидания с учётом кривых крайних значений. Кстати один нейрон справляется с этим даже лучше, правда найден он неточным методом регрессии предложенным выше.

Вложения

MonoNeuron.zip (366.1 Кб, 4 просмотров)

0

Итак, нейрон, без нелинейной надстройки, есть решение системы линейных уравнений.
Решение системы линейных уравнений есть точка пересечения всех объектов описываемых уравнениями вида A1*X1+...+An*Xn = C;
Для n = 1 это 1 точка на линии.
Для n = 2 это 2 линии на плоскости.
Для n = 3 это 3 плоскости в трехмерном пространстве.
Для n = 4 это 4 трехмерных субпространств в четырехмерном пространстве.
Для n > 4 это n "гиперплоскостей" в n-мерном пространстве.

Допустим это пересечение 2 линий, тогда входные два параметра есть A1 и A2 из уравнения линии A1*X1+A2*X2 = C, подставляя их в нейрон мы находим С, то есть получаем прямую проходящую через точку пересечения прямых сформировавших нейрон.

Добавлено через 14 минут
То есть мы ищем систему отсчета в которой лучше всего описываются объекты из обучающей выборки.

0

Ни в коем случае нельзя говорить, что нейрон это решение какого-то уравнения. Нейрон это линия, связывающая два объекта, а решение это решение - численный объект или, вообще, математическое выражение.

0