Сообщение от vittiv Я знаю, что это примитивно, но я так делаю поскольку я четко вижу динамику

В том то и дело, что истинную ошибку не видно. Её можно только оценить. Использование норм позволяет оценить верхнюю границу ошибки, больше которой она быть никак не может, хотя меньше - вполне. Никто ничего другого не придумал. Единственное, что можно выбрать - это саму норму. Вместо евклидовой нормы, которая используется в алгоритме, можно взять максимальную. Тогда будет найдена максимальная ошибка, которую не сможет превзойти ни один коэффициент уравнения.

Ну и по поводу регуляризации, которая может понадобиться в случае вырожденной или плохообусловленной матрицы. Идея этого метода основа на том, что иногда выгодно изменить систему так, чтобы обусловленность матрицы улучшилась, пусть даже за счёт увеличения невязки. Ведь ошибка решения определяется произведением числа обусловленности матрицы и нормы невязки. Поэтому, если невязка увеличиться в 10 раз, а число обусловленности уменьшится в 1000, то как не парадоксально, точность решения повысится в 100 раз. Но этого будет невидно, т.к. увеличение наблюдаемой невязки воспринимается как потеря точности.
Чаще всего используется L2 регуляризация. Реализовать её очень просто. Для этого, к диагонали ковариационной матрицы нужно добавить небольшую постоянную, например так:
эту постоянную нужно подобрать так, чтобы результирующая ошибка err была минимальной. В таком виде алгоритм будет сходится обязательно.

Добавлено через 3 часа 20 минут
Исправлено

0

Сообщение от Alexis333 Вот алгоритм, который не требует диагонального преобладания матрицы системы.

Результат такой решение СЛАУ методами с двойной точностью, чертверной точностью и методом итераций дают абсолютно одинаковую ошибку.

во время выполнения итерация err = 1e10 это много?

Добавлено через 17 минут
В качестве начального приближения я взял результат решения СЛАУ с двойной точностью.

Получается немного не то, что ожидалось: с ростом длины полинома ошибка веса монома увеличивается сильнее, чем растет ошибка масштабирования. Т.е. хоть матрица и плохо обусловлена ошибка результата решения СЛАУ не так сильно сказывается на ошибку масштабирования.

0

А какая в итоге получается
Добавлено через 1 минуту

Сообщение от vittiv err = 1e10 это много?

вообще то, она должна быть меньше единицы

Добавлено через 3 минуты
vittiv, у Вас там вычисляется число w, посчитайте

0

Сообщение от Alexis333 norm(S*x-K(:,j))

от 0.0001 до 0.001

0

Лучше, конечно было написать через запятую inf чтобы посмотреть бесконечную норму. Но даже с этим результатом, норма невязки 1E-4, число обусловленности 1E17. Получается, норма ошибки вектора x где то 1E13. У Вас 30 тыс. коэффициентов, делим на корень из этого числа, и как раз получает 1E10. Это значит, что ошибки Вашего решения могу на 10 порядков превышать вычисленные значения. Т.е. очень странно, как у Вас вообще, что то работает.

Попробуйте регуляризованное решение.

Сообщение от Alexis333 Для этого, к диагонали ковариационной матрицы нужно добавить небольшую постоянную, например так: Matlab M Выделить код Matlab M 1 [x, err]=Iter_Solve(A+1e-6*eye(size(A,1), b, x, 100);

По идее, ошибка должна резко уменьшиться.

0

Сообщение от Alexis333 norm(w,inf)

2.704991493374109e-04

Добавлено через 1 минуту

Сообщение от Alexis333 Попробуйте регуляризованное решение.

при 1e-6 ничего не изменилось

сейчас пробую 1е-3

0

Ну всё равно, ошибка очень большая. Это даже и решением назвать нельзя. 2.704991493374109e-04 это не ошибка решения x, а невязка, при переходе к x она увеличивается в 1E17 раз, благодаря очень прлохообусловленной матрице. Но, по идее, в арифметике повышенной точности norm(w,inf) должна стать намного меньше, тогда, возможно, ошибка сильно уменьшится.

0

Сообщение от Alexis333 Вас вообще, что то работает

веса при этом меняются в 7ом знаке после запятой

Добавлено через 1 минуту

Сообщение от Alexis333 в арифметике повышенной точности

разница в весах в 5ом порядке после запятой. На ошибку это не влияет.

Добавлено через 1 минуту

Сообщение от vittiv сейчас пробую 1е-3

теперь norm(S*x-K(:,j)) = 1е12

0

Сообщение от vittiv разница в весах в 5ом порядке после запятой. На ошибку это не влияет

Уточните, это в итеративном алгоритме, или при вычислении прямым методом?
И сколько Вы выполняете итераций? возможно нужно продолжить, до тех пор, пока ошибка не перестанет уменьшаться

Добавлено через 58 секунд

Сообщение от vittiv теперь norm(S*x-K(:,j)) = 1е12

Хорошо, а cond(S) сколько?

Добавлено через 1 минуту
Имеется в виду cond(S+1e-3*eye())

0

Сообщение от Alexis333 Уточните, это в итеративном алгоритме, или при вычислении прямым методом?

при коэффициенте регуляризации = 1e-3 ошибка в весах все-равно в 7 знаке

В интерактивном. количество итераций 10. До этого было 100 - ничего не изменило это.

0

Сообщение от vittiv веса при этом меняются в 7ом знаке после запятой

если старшие веса от итерации к итерации не меняются, это не значит что они верны,
это всего лишь значит, что они приняли установившиеся значения и дальше меняться не будут

Сообщение от Alexis333 теперь norm(S*x-K(:,j)) = 1е12

это в любом случае много, нужно подобрять такуя константу, чтобы
стало минимальным

0

Сообщение от Alexis333 Но, по идее, в арифметике повышенной точности norm(w,inf) должна стать намного меньше

0.0002609853938398113897221272635331765

было

2.704991493374109e-04

т.е. стала меньше, но не намного.

0

Вот Вам и хвалёная арифметика. Вы же vittiv, понимаете, что невязка в ней должна уменьшиться на несколько порядков. А тут ничего практически не меняется. В чём же тогда эта точность проявляется?

0

Сообщение от Alexis333 это в любом случае много, нужно подобрять такуя константу, чтобы

на ночь поставлю считать с маленьким шагом

0

А у Вас система то хоть совместная?

0

Сообщение от Alexis333 В чём же тогда эта точность проявляется?

Да... или я получаю точный результат или что-то не то происходит....

0

Если система переопределённая, то у неё есть остаточная невязка. Возможно 2.704991493374109e-04 это она и есть. В таком случае её вообще ничем не уменьшить. Арифметика повышенной точности ничего не даст.

Добавлено через 14 минут

Сообщение от vittiv Да... или я получаю точный результат или что-то не то происходит...

если результат точный, то K точно равно S*x, а cond(S)=1. В Вашем случае это далеко не так

0

Запустил перебор коэффициента регуляризации от 0.1 до 1е-6. Завтра отпишусь.

Сообщение от Alexis333 если результат точный, то K точно равно S*x, а cond(S)=1. В Вашем случае это далеко не так

может это cond(S) находится с ошибкой ит S*x-K тоже? Уж как-то прилипли веса к своим значениям...

Сообщение от vittiv Запустил перебор коэффициента регуляризации от 0.1 до 1е-6. Завтра отпишусь.

В результате оказалось, что коэффициент регуляризации должен быть очень большим. Я попробовал 1е8 и только тогда увидел эффект (снижении точности). Теперь между 1е8 и 1е1 надо найти оптимум (если он есть).

Также, оказалось, что методом QR разложения СЛАУ решается немного точнее. Чуть позже цифры дам.

Но тут есть проблема. Сейчас я матрицу S получаю методом накопления: S=S1+ S2 + ...S100 поскольку из-за 2х млн наблюдений я не могу сразу найти S, я разбиваю 2 млн по 20 тысяч и нахожу для каждого фрагмента свое Si и затем складываю их.

Как я понимаю, подобное сложение Q и R компонент для каждой маленькой выборки невозможно? Я планировал накапливать Qi и Ri. Т.е. для QR разложения мне все-таки надо сначала найти S и только потом зная S найти Q и R? Никак нельзя накапливать Qi и Ri?

0

Сообщение от vittiv Также, оказалось, что методом QR разложения СЛАУ решается немного точнее

Да, это самый точный среди прямых методов, но вместе с тем и самый трудоёмкий. Но мне казалось, при использовании "" matlab сам должен выбирать этот метод. Но итеративным методам в точности он всё же проигрывает. Где то была книга с оценками точности для разных методов решения СЛАУ, но к сожалению, пока никак её не найду.

0

Никак не могу разобраться с lasso
Вот код из хелпа + моя добавка:

yo=12.0471 в то время, как лучшее значение найденное lasso min(yi)=131.8

Получается, что прямое решение в 10 раз точнее lasso? Что не так?

Добавлено через 5 минут
Так в 5 раз точнее чем lasso...

yo=12.0471 в то время, как лучшее значение найденное lasso min(yi)=68.1924

0