Сеть линейных уравнений

На входе мы имеем Ai, Bi, Ci; им заданы выходные значения Vi.
Допустим i = 1000. Строим 1000/3 решаемых линейных уравнений. Получили 333 персептрона. Теперь можно строить второй уровень:
На входе i, полученные подачей на каждый персептрон Ai, Bi, Ci, на выходе должны быть Vi.
Строим три больших линейных уравнения, для 3 самплов по 333 значений (J).
В итоге мы получили прозрачную нейронную сеть, максимально эффективную и модернизируемую. Осталось только (например) усреднить три значения на верхнем уровне и получить выход всей сети.

Естественно размер первоначального входа может быть и больше трех.

0

И всё же умницы есть, поэтому продолжу.
Все три примера выложенные мной сходятся на средней ошибке на новых данных на 152.327, эту ошибку даёт нейрон выученный по статистическому регрессионному методу в примере MonoNeuron.zip. Но наиболее перспективным мне кажется пример Example.zip, и хотя он не дал на этих данных результата лучше мононейрона даже при 500000 нейронов я всё же думаю, что на неслучайных связанных данных он способен на это, но проверить это у меня не хватает оперативной памяти.

0

Можно увидеть в нейроне логический квант, то есть силлогизм. Большая посылка кодируется весами получающимися индукцией от обучающей выборки, а меньшая конкретный сампл. Получаем новое утверждение, профильтрованную общую посылку самплом. Как я показал таких силлогизмов обычно очень много, комбинаций из которых получаются весы (общая посылка) архи много и получить из всех этих силлогизмов правильное утверждение довольно сложно. Именно анализ логических квантов должен привести к нему. Пока я просто беру математическое ожидание, как теннисист выбирает середину поля, чтобы успеть среагировать при любом ударе противника, так и я ищу истину исходя из золотой середины, но пока не получается уточнить результат в нужную сторону.

0

Потому что слышите звон, но не знаете, где он.

0

Попросил Алису написать для вас понятно:

Силлогизм как точная интерполяция

Я хочу предложить формализацию понятия «обобщение» через призму линейной алгебры и классической логики. Ключевая идея: для обобщения N фактов необходимо и достаточно N линейно независимых признаков (атрибутов).

Пусть у нас есть N наблюдений (xi,yi), i=1,…,N, где xi∈RN — вектор признаков i-го факта, yi​ — целевая величина. Если матрица A, составленная из строк xi​, имеет полный ранг (det⁡(A)≠0 или κ(A) не слишком велико), то система Aw=y имеет единственное решение w.

В терминах силлогизма это можно прочитать так:

Большая посылка: «Для любого факта с признаками x значение y определяется как y=w⊤x». Это и есть само обобщение — правило, построенное по N фактам.
Меньшая посылка: «Данный факт имеет признаки xnew».
Заключение: «Следовательно, для этого факта ynew=w⊤xnew​».

Разные наборы из N линейно независимых признаков дают разные, но формально равноценные обобщения — каждое из них идеально объясняет исходные N фактов.

Различие между ними проявляется только при прогнозе: разные базисы по-разному экстраполируют за пределы выборки. Поэтому критерий качества обобщения переносится с «точности на обучении» (она всегда 100 % при Nфактов=Nпризнаков) на устойчивость и осмысленность прогноза.

Частный случай: недостающие признаки и случайные параметры

На практике редко бывает, что мы знаем все N осмысленных признаков. Чаще у нас есть лишь небольшое число p≪N содержательных атрибутов (например, лаг возврата и лаг волатильности), а остальные N−p признаков неизвестны.

Чтобы сохранить размерность N×N и построить точное обобщение, можно постулировать недостающие N−p параметров как случайные величины. Это не попытка «угадать» скрытые факторы, а способ честно отразить неполноту информации: мы признаём, что на результат влияет множество скрытых сил, и моделируем их как стохастическую компоненту.
Как это работает

Строим ансамбль моделей. Для каждого m=1,…,M генерируем матрицу случайных признаков Zm​ размера N×(N−p) с фиксированным масштабом случайности σ и seed.
Формируем полную матрицу Am=[X,Zm], где X — известные признаки (N×p).
Решаем квадратную систему Amwm=y. При хорошем числе обусловленности решение существует и единственно.
Анализируем устойчивость ключевых весов. Нас интересуют в первую очередь веса wm,1,…,wm,p​ при известных признаках. Если при разных реализациях случайного шума эти веса стабильны, значит, обобщение действительно опирается на осмысленные атрибуты. Если сильно «пляшут» — этих p признаков недостаточно, чтобы надёжно обобщить N фактов.

Критерий состоятельности обобщения

Для каждого ключевого признака j=1,…,p считаем:
SNRj=∣wˉj∣/sj, где wˉj​ — среднее по ансамблю моделей, sj​ — стандартное отклонение.

Обобщение по признаку j считается состоявшимся, если SNRj≥T (например, T=3) и остаётся выше порога несколько окон подряд. Это и есть операциональный критерий: обобщение устойчиво, если его ключевые атрибуты дают стабильные веса при честном учёте неопределённости.

Как получать прогноз ynew​: распределение по двойному ансамблю

Чтобы получить осмысленный прогноз и интервал неопределённости, мы не ограничиваемся одним решением — строим двойной ансамбль: по разным реализациям недостающих признаков на обучении и по разным их реализациям при прогнозе.

Для каждого ансамбля Am (где m=1,…,M) мы генерируем несколько векторов случайных признаков Znew(l)​ (l=1,…,Ll=1,…,L) с тем же распределением и масштабом σ, что и при обучении. Для каждой пары (m,l) формируем полный вектор признаков нового наблюдения:
xpZ(m,l)=[xnew,Znew(l)],

и считаем прогноз через веса wm​, полученные на m-й модели:
y^(m,l)=(wm)⊤xpZ(m,l).

В результате получаем набор из M⋅L прогнозов — то есть эмпирическое распределение возможных значений ynew​. Его характеристики и служат итоговым прогнозом:

Точечная оценка: среднее yˉnew=(1/ML)∑m,ly^(m,l).
Интервал погрешности: квантили (например, 5‑й и 95‑й процентили) этого распределения.

Таким образом, ynew​ — это не одно число, а среднее в некотором интервале погрешности, который отражает неопределённость из‑за неизвестных факторов.

0

нейрослоп ням-ням

0

Сообщение от fintot При хорошем числе обусловленности

При случайном выборе компонентов этого ожидать трудно.
Лень просматривать все обсуждение - целиком программа имеется, опубликована?

0

Нет, вместо программирования я просто настроил Алису на эту тему.

0

Сообщение от fintot просто настроил Алису

А мог бы у Алисы или другого LLM получить код на желаемым тобою языке и поиграться.

0

Вместо нейрослопа для нас займи себя "делом".

0

Сообщение от fintot Нет, вместо программирования я просто настроил Алису на эту тему.

Молодец. Сразу видно матерого диверсанта.
Учи Нейросетки как нести безумную чушь, а то они местами даже полезные, срочно исправить!

0

Сообщение от fintot Таким образом, ynew​ — это не одно число, а среднее в некотором интервале погрешности, который отражает неопределённость из‑за неизвестных факторов.

Это хоть получше утверждение нежели "нейросеть - это система линейных уравнений". Топик-стартер хоть спросил у Алисы, что не так с этим утверждением?

0