Как увеличить точность расчетов до long double - Matlab - Страница 3

@vittiv · 28.08.2020, 14:39

Студворк — интернет-сервис помощи студентам

Сообщение от Alexis333

трудоёмкость LASSO почти не зависит от объёма выборки

Как же мне хранить матрицу наблюдений размером 2000000х30000 ? Это не реально.

Что касается 2х алгоритмов Якоби - меня напрягает, что в теле цикла две разные строки.

Matlab M
1
X=Dinv*(K(:,i)-R*X)

и

Matlab M
1
Xout=B*Xin+D1*K(:,i)

Если алгоритм один, почему строки разные?

@Alexis · 28.08.2020, 18:42

Сообщение от vittiv

Как же мне хранить матрицу наблюдений размером 2000000х30000 ? Это не реально

возможно, с LASSO из matlab, в текущей реализации, ничего и не получится

Но это ещё не самое худшее. В LASSO есть много нюансов, например, нужно правильно подобрать параметр $https://www.cyberforum.ru/cgi-bin/latex.cgi?\lambda$ и много чего ещё.

Сообщение от vittiv

Если алгоритм один, почему строки разные?

потому, что в них разные переменные, которые вычисляются по разному, но результат один и тот же, если бы Вы до конца разобрались в алгоритме, то у Вас не возникало бы таких вопросов

Добавлено через 3 часа 49 минут

Сообщение от vittiv

В Matlab есть команда lasso(X,b) ею я и планирую воспользоваться.

Это конечно не моё дело, но вопрос напрашивается сам собой.
Если Вы пытаетесь добиться максимальной точности аппроксимации, то с какой целью упорно пытаетесь удалить малозначимые признаки? Ведь точность подгонки уравнения под данные от этого от этого никак не может увеличиться, напротив, хоть и незначительно, но она только уменьшится.
Есть большое подозрение, что под точностью аппроксимации, Вы подразумеваете совсем не то, что это понятие обозначает, точно так же, как общеизвестным методом LASSO называете не имеющий к нему никакого отношения алгоритм. Если под точностью аппроксимации Вы подразумеваете точность прогноза, то у задачи совсем другие пути решения, и скорее всего, повышенной точности вычислений совсем не требуется.

Мне кажется, лучше называть вещи своими именами. Иначе получается, что каждый пишет о чём то своём, а сам объект обсуждения становится каким то неопределённым.

@vittiv · 28.08.2020, 19:33

Сообщение от Alexis333

лучше называть вещи своими именами

Я стараюсь. У меня регрессионная модель для многопараметрической аппроксимации. Для меня точность это, то с какой ошибкой моя функция будет предсказывать результат. Для обучения я использую набор данных. Модель есть многомерный полином 7ой степени. На входе я имею около 30 тысяч параметров (комбинация меньшего коричества). И да, чем их больше, тем лучше. Но некоторые параметры сильно влияют на точность аппроксимации, а некоторые нет. Заранее не известно каки как влияют. Поэтому лучше не использовать те, которые только утяжеляют аппроскиматор. Тем самым можно или уменьшить вычислительную нагрузку при той же точности или увеличить точность при той же вычислительной нагрузке.

Пока я не оптимизирую это. Но надо мен подтянуть и точность и эффективность.

@Alexis · 28.08.2020, 20:40

Сообщение от vittiv

Модель есть многомерный полином 7ой степени. На входе я имею около 30 тысяч параметров (комбинация меньшего коричества)

так значит, на самом деле не 30 тыс. параметров а всего несколько 5-10 штук?

@vittiv · 28.08.2020, 23:28

Почему 5-10? У меня 25 контентно-зависимых переменных. Я использую разные их комбинации... например, для полинома 3 степени получается около 500 комбинаций. У меня полином 7 степени. Если использовать ВСЕ возможные комбинации, то получитс полином с более чем с 100 тысяч компонентов (мономов). Но я не все их использую. Я интуитивно использую только часть из возможного... около 30 тысяч. Если использовать все 100 тысяч комбинаций, то СЛАУ будет плохо обусловлена из-за своего размера. Поэтому я определяю оптимальное их количество исходя из точности получаемого результата.

Добавлено через 1 час 17 минут

Matlab M
1
2
3
4
5
D=diag(diag(S));
E=eye(size(S)); 
D1=inv(D);
B=E-D1*S;
norm(B)

Норма равна 3.757586382807855e+03 и действительно метод не сходится... (( Пора сушить вёсла?

Сообщение от Alexis333

так значит, на самом деле не 30 тыс. параметров а всего несколько 5-10 штук?

Если грамотнее сказать, у меня неоднородный полином 25 переменных (еще говорят иногда 25 мерный) степени 7. У такого полинома более 100 тысяч мономов....

@Alexis · 29.08.2020, 00:11

Сообщение от vittiv

Почему 5-10? У меня 25 контентно-зависимых переменных

примерно так я и думал ...

а почему, если не секрет полином только 7 степени, а скажем не 10-й? Наверное причина в этом:

Сообщение от vittiv

Если использовать все 100 тысяч комбинаций, то СЛАУ будет плохо обусловлена из-за своего размера

так она у Вас и так плохо обусловлена, вернее почти вырождена, и это Вас нисколько не смущает.
Дело скорее в другом, просто если увеличить степень, данных получится настолько много, что их просто некуда будет деть. Вы видимо исходите из принципа - чем больше тем лучше.

В принципе, идея нормальная. Я как работал с подобной моделью, причём довольно удачно, хотя дальше 3-й степени у меня не доходило. Лично у меня получалось, чем больше степень, тем менее надёжные получаются признаки, почему - так до конца и не разобрался.

Я так понимаю, результаты, предоставляемые линейной моделью Вас не удовлетворяют. А точность прогноза не может быть выше точности подгонки к обучающей выборке. Поэтому, первое, что необходимо сделать - это хотя бы повысить точность подгонки. Иначе все дальнейшие усилия теряют всякий смысл. И это вполне логично.

Но такой подход будет оправдан, если восстанавливаемая зависимость существенно нелинейна. Иначе, сколько бы Вы не добавляли новых признаков, точность подгонки на обучающей выборке будет возрастать, а прогностическая ценность модели - только падать. Тем самым, Вы сами будете выдумывать себе ненужные сложности, и искать пути их преодоления.

Я бы на Вашем месте сначала провёл корреляционный анализ исходных 25 признаков, на предмет их значимости, т.е. вычислил взаимные корреляции со всеми объясняемыми переменными матрицы K. Вполне возможно, что некоторые из них окажутся несущественными. Тогда эти признаки необходимо удалить из рассмотрения, т.к. они будут только ухудшать модель.
Только после этого, на оставшихся признаках, следует построить построить линейную регрессию и проверить её на регрессионную неоднородность (например тест Чоу). Смысл прибегать к полиномам есть только в случае обнаружения существенной регрессионной неоднородности.

Вместо этого, можно сразу построить квадратичную модель, и убедиться, что она имеет хотя бы 1-но значимое произведение исходных переменных. В противном случае, применение нелинейной модели будет неоправданно.

И не надейтесь на чудесное появление статистической значимости в произведениях большого числа переменных, если все возможные произведения меньшего порядка не значимы, это прямо противоречит теории степенных рядов.

Поэтому, не нужно сразу брать полином 7 степени, опасаясь что то пропустить. Нужно начинать с линейной модели, и постепенно увеличивать степень.

Добавлено через 14 минут

Сообщение от vittiv

Норма равна 3.757586382807855e+03 и действительно метод не сходится... (( Пора сушить вёсла?

для матрицы Вашего размера, хорошее число обуcлосленности будет примерно 1E9, с учётом небольших взаимных корреляций это 1E12 максимум 1E14. С этим ещё можно как то работать. Но у Вас С>1E18. Я предлагал Вам проверить cond(S) в арифметике повышенной точности, но Вы почему то не стали этого делать.

Чтобы улучшить обусловленность, нужно посчитать вектор

Matlab M
1
V=sum(abs(S))-1;

и удалить признак, соответствующий максимальному элементу этого вектора.
Эту операцию можно повторять многократно, и построить график зависимости числа обусловленности, от числа отброшенных признаков. Очень хорошо, если на этом графике будет резкий скачок, по нему Вы узнаете, какие признаки отбросить а какие оставить.

@vittiv · 29.08.2020, 00:12

Сообщение от Alexis333

не нужно сразу брать полином 7 степени

Конечно я не сразу пришел к 7 степени. За несколько лет... Сначала я получил результат с 1ой степени - это был полином с 25 мономами (обычный бикубический аппроксиматор). Затем перешел на 3-ю степень (было установлено, что 2ая степень и любая четная не имеет смысл) и получил более точный результат (375 кажется мономов), затем перешел на 5ую степень (уже использовал не все комбинации) и получил еще более точный результат и наконец я понял что 7 это предел.... по крайней мере сейчас. Я вижу, что переход на 7ую степень увеличил точность, но полином стал более капризным, поэтому я стал давать больше обучающих выборок (2 млн и более). И тут я тоже дошел до предела - ибо появился эффект переобучения (но это нормально, даже, хорошо, что я увидел горизонт). И на обусловленность и вырожденность я не обращал внимание - стало точнее, значит в правильном направлении я двигаюсь.

Сообщение от Alexis333

хотя бы повысить точность подгонки

Это Вы про LASSO?

Сообщение от Alexis333

нужно посчитать вектор

Сейчас сделаю...

@Alexis · 29.08.2020, 00:17

Сообщение от vittiv

стало точнее

а как Вы это узнали?

@vittiv · 29.08.2020, 00:19

Сообщение от Alexis333

сначала провёл корреляционный анализ исходных 25 признаков, на предмет их значимости

Все 25 признаков значимы. Мой аппроксиматор это интерполянт растрового изображения. Я работаю в окне 5х5 точек. Т.е. я имею 25 контентно зависимых признаков.

Сообщение от Alexis333

а как Вы это узнали?

Провел интерполяцию (грамотнее было сказать масштабирование) изображения и нашел среднеквадратическое отклонение.

Сообщение от Alexis333

Вам проверить cond(S)

Получил 1.987761154701302e+17

@Alexis · 29.08.2020, 00:42

Сообщение от vittiv

Все 25 признаков значимы. Мой аппроксиматор это интерполянт растрового изображения. Я работаю в окне 5х5 точек. Т.е. я имею 25 контентно зависимых признаков.

Это просто фантастика. Но я не верю, что кто то мог заниматься этим несколько лет, и в итого прийти к подобным результатам. Скорее всего Вы сильно преувеличиваете, несколько недель - ещё можно поверить, а так ...
В общем, если Вы правда этого не знаете, эта задача имеет элементарное и исчерпывающее решение, весьма далёкое от того о чём Вы пишете.

@vittiv · 29.08.2020, 00:45

Сообщение от Alexis333

и удалить признак, соответствующий максимальному элементу этого вектора.

У меня вектор имеет значения от 0.15e+10 до 1.59e+10 т.е. значения не сильно отличаются....

Сообщение от Alexis333

В общем, если Вы правда этого не знаете, эта задача имеет элементарное и исчерпывающее решение, весьма далёкое от того о чём Вы пишете.

Ну это мое хобби... и я действительно долго этим увлекаюсь. Какое решение? Это мне интересно.

@Alexis · 29.08.2020, 00:56

Сообщение от vittiv

У меня вектор имеет значения от 0.15e+10 до 1.59e+10 т.е. значения не сильно отличаются....

здесь недоразумение, S ведь у Вас ковариационная матрица, а нужна корреляционная.
Чтобы получить корреляционную матрицу, поделите каждый столбец и каждую строку S на квадратный корень из соответствующего диагонального элемента, вот так:

Matlab M
1
2
3
4
5
6
7
8
9
R=S;
[n,~]=size(R);
for ii=1:n;
d=sqrt(R(ii,ii));
R(ii,:)=R(ii,:)/d;
R(:,ii)=R(:,ii)/d;
R(ii,ii)=1;
end
V=sum(abs(R))-1;

@vittiv · 29.08.2020, 01:11

Сообщение от Alexis333

Вас ковариационная матрица, а нужна корреляционная.

Надо мат часть мне подтянуть...

Сделал... ничего сильно не изменилось...

max=3.443544844782039e+03

min=1.568364040857418e+03

И что с этим теперь делать?

@Alexis · 29.08.2020, 01:30

Сообщение от vittiv

И что с этим теперь делать?

попробуйте найти собственные числа

Matlab M
1
s=eig(S);

есть ли среди них комплексные или отрицательные?

@vittiv · 29.08.2020, 09:57

Сообщение от Alexis333

есть ли среди них комплексные или отрицательные?

был до этого вектор с значениями от -5.549e-8 до 8.89e9 (eig(S)). Все значения (кроме первого) положительные и плавно увеличиваются от первого элемента вектора, до последнего. Комплексных значений нет. см приложенный файл eigS.txt.

теперь (после преобразования S в корреляционную матрицу) получаем вектор с значениями от 1.83e-14 до 2.81e3 (eig(R)). Все значения положительные и плавно увеличиваются от первого элемента вектора, до последнего. Комплексных значений нет. см приложенный файл eigR.txt.

Также наверно надо сказать, что данные выборки (которые имеют диапазон от 0 до 255) все переведены в double и нормированы на диапазон от -1 до +1.

С нетерпением жду совета, что делать далее. Заранее спасибо!

@Alexis · 29.08.2020, 17:51

В общем, без диагонального преобладания, метод Якоби, как это не печально, работать не будет. Обычно, матрицу удаётся привести к диагонально преобладающему виду перестановкой строк и столбцов. Но не всегда, и у Вас как раз такой случай. Такой уж это метод - работает только с хорошо обусловленными матрицами.
Появление отрицательных собственных чисел ковариационной матрицы может свидетельствовать о вырожденности. Так, что матрица или вырождена, или близка к таковой. Для надёжности можно попробовать вычислить ранг S и R

Matlab M
1
2
rank(S)
rank(R)

размер матрицы должен быть равен рангу

Добавлено через 1 час 12 минут
Подводя итоги нашего с Вами vittiv обсуждения, прихожу к Выводу, что результаты Ваших изысканий являются очень показательным примером того, до чего можно дойти возлагая неоправданные надежды на машинное обучение, и ценой неимоверных усилий, с привлечением колоссальных вычислительных ресурсов, всё таки приблизится к оптимальному решению (ведь действительно, порядок полинома вы выбрали правильно, да и Ваши наблюдения о том, что многочлены чётной степени не улучшают аппроксимации, по сравнению с многочленами меньшей нечётной степени, верны).
Идея переложить когнитивную часть задачи на машинное обучение, действительно воспринимая его как некий интеллект, способный каким то непостижимым образом самостоятельно решить все проблемы, конечно же очень привлекательна. Но приводит такой подход, почти всегда, примерно к одному и тому же результату.

Лично я называю подобное неоправданным привлечением научных методов. Это встречается повсеместно, и не только в области обработки данных. В других научных областях всё бывает гораздо печальнее. На государственные средства, по "астрономическим" ценам, закупается совершенно ненужное оборудование. Проводятся какие то сомнительные исследования, публикуются научные статьи и т.п. И главным мерилом качества таких исследований становится не их конечный результат, а величина затрат на их проведение.

Добавлено через 4 часа 53 минуты
Уважаемый vittiv, из любопытства я решил заняться Вашей задачей. На мой субъективный взгляд получилось неплохо. Тем не менее, хотелось бы у Вас уточнить, каким образом Вы оцениваете качество алгоритма? Тогда можно будет сравнить мои результаты, с тем, что получилось у Вас.

@vittiv · 29.08.2020, 17:59

Это здорово если мы сможем подискутировать об этом. Через 3-4 часа я смогу предметно на эту тему ответить. Если удобно другой формат общения, то можно на личную почту или тут... я просто не знаю, как лучше. Можно и так. Меня формат устраивает, если администрация не против. Если что, можно новую тему начать.

@Alexis · 29.08.2020, 18:04

Сообщение от vittiv

Если что, можно новую тему начать.

да, наверное лучше так и сделать - обсуждение немного ушло от исходной темы,
а общение вне форума администрация обычно не одобряет

@Alexis · 04.09.2020, 02:48

Сообщение от vittiv

Норма равна 3.757586382807855e+03 и действительно метод не сходится... (( Пора сушить вёсла?

Вот алгоритм, который не требует диагонального преобладания матрицы системы. Единственное требование - это симметричность и положительная определённость матрицы. Если ковариационная матрица не вырождена - она обязательно обладает этими свойствами. Для удобства, алгоритм оформлен в виде функции:

Matlab M
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
function [x, err]=Iter_Solve(A, b, x, n_iter)
% уравнение Ax=b;
% n_iter - число итераций алгоритма
 
% проверка сходимости и определение оптимального шага
s=eig(A);
if (isreal(s) && min(s)>0) 
     step=2/(max(s)+min(s));   % шаг 
     Cd=max(s)/min(s);           % число обусловленности
     N=size(A,1);
 
     g=b*step;
     B=eye(N)-A*step;
 
    % итеративное уточнение
    for ii=1:n_iter;
            x=B*x+g;
    end
    err=Cd*norm(A*x-b)/sqrt(N);         % относительная среднеквадратическая ошибка решения
 
else
     error('Алгоритм не сходится. Матрица системы вырождена.');
end
end

Входные данные: A - матрица системы, b - вектор свободных членов, x - начальное приближение (может быть любым, хоть нулевым, хоть результатом решением СЛАУ другим методом, хоть результатом предыдущего применения этого алгоритма), n_iter - число итераций, выбирается исходя из допустимого времени работы.

На выходе получается решение x и его относительная среднестатистическая ошибка. Его можно повторять до тех пор, пока err не перестанет заметно изменяться.
Чем хуже обусловлена матрица, тем медленнее сходится алгоритм, но сходится гарантированно (если матрица не вырождена). Если же матрица окажется вырожденной, то никакой алгоритмов, без применения специальных мер не даст надёжного решения.

Большей точности, насколько я понимаю, получить просто невозможно. Для интереса, сравните с точностью решения прямым методом, разумеется, в арифметике одинаковой точности. Различия должны быть большими.

Относительная ошибка Вашего решения оценивается так:

Matlab M
1
err(j)=cond(S)*norm(S*x-K(:,j)/sqrt(size(S,1));

индекс j указывает номер столбца матрицы K, для каждого столбца - своя ошибка.

Вы vittiv оцениваете ошибку по разбросу значений коэффициентов, найденных в арифметике разной точности, но это весьма ориентировочный метод. Приведённые в данном сообщении оценки вполне корректны и дают верхнюю границу погрешности.

@vittiv · 04.09.2020, 08:27

Огромное спасибо, я обязательно проверю метод и сообщу результат.

Сообщение от Alexis333

Вы vittiv оцениваете ошибку по разбросу значений коэффициентов, найденных в арифметике разной точности, но это весьма ориентировочный метод. Приведённые в данном сообщении оценки вполне корректны и дают верхнюю границу погрешности.

Я знаю, что это примитивно, но я так делаю поскольку я четко вижу динамику. В то время, как норма может и не показать этого. Так, например, я в весах я получил разницу в третьем знаке, а ср кв ошибка при этом не изменилась ). В этой связи можно сделать несколько интересных выводов. Но я попробую алгоритм и сообщу о ошибке по методу, указанному Вами.

Новые блоги и статьи Все статьи Все блоги /
Был там один разговор по поводу свободы в материальном мире. kumehtar 19.08.2026 Суть: рассматривается живое существо, оказавшееся внутри довольно странной системы (этого мира) и пытающееся обустроить в ней свой кусок пространства. Жизнь действительно предъявляет каждому. . .	Когда логика программы не спасает от человеческих ошибок Maks 18.08.2026 В последнее время всё чаще и чаще сталкиваюсь с таким явлением, как абсолютная невнимательность (или глупость) пользователей. Проявляется это чаще всего на работе в коллективе. Допустим, человек с. . .	Лето уходит kumehtar 17.08.2026	Мысли в слух kumehtar 17.08.2026 Забавно, насколько сейчас стала доступна информация. Например о магии, духовном развитии, медитациях, и других подобных направлениях, ранее зачастую тайных, передаваемых от учителя к ученику. Хотя. . .
Перемещение строк из ТЧ в другой документ с учетом текущего пробега Maks 17.08.2026 Реализация из решения ниже выполнена на примере нетипового документа "Автозапчасти", с ТЧ "Шины". За основу взят алгоритм отсюда: https:/ / www. cyberforum. ru/ blogs/ 359708/ 10838. html Задача: . . .	Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .

@vittiv 9 / 1 / 0 Регистрация: 08.09.2019 Сообщений: 343
	29.08.2020, 17:59
	Это здорово если мы сможем подискутировать об этом. Через 3-4 часа я смогу предметно на эту тему ответить. Если удобно другой формат общения, то можно на личную почту или тут... я просто не знаю, как лучше. Можно и так. Меня формат устраивает, если администрация не против. Если что, можно новую тему начать. 0