Matlab сможет осилить 130 тысяч значений нескольких переменных?

Всем - здравствовать...

Задача тривиальная. Имеются наборы экспериментальных данных. Несколько серий. От 30 тысяч до 130 тысяч.
Предполагается, что Y=F(x1;x2;x3;x4). То бишь - функция от 4-х переменных.

Многомерная аппроксимация (или множественная нелинейная регрессия) стандартными методами дали среднепотолочный результат. Как ни пытались организовать интервалы - тьфу. На интервалах всё красиво, кэф даже линейной корреляции >0.95, в некоторых сериях зашкаливает за 0,99.

При использовании полученных формул аппроксимации на всём массиве данных фактические кэфы корреляции падали до 0,2-0,3. Что, ессно, не устраивает.

Вопрос: Matlab сможет осилить 130 тысяч значений нескольких переменных? И найти форулы четырехмерной аппроксимации?

Буду благодарен за любую помощь.

Все зависит Только от доступной Оперативной памяти

У меня 8 Гб, я обрабатываю легко массивы по 3 000 000 чисел double

С сохранением одновременно и исходных массивов и обработанных

Свап на HDD не использую, это резко замедляет обработку

0

Обрабатываю иногда сотни тысяч переменных. Затруднения только с временем выполнения, использую GPU, оперативной памяти 32 GB.
Уменьшение коэф. корреляции при увеличения объема данных, по моему многолетнему опыту работы с множественной регрессией, скорее всего связано не с особенностями MATLAB. Вполне возможно ситуация, когда на небольшом количестве данных параметры регрессии лучше, чем на большом ( упрощая до предела ситуацию, можно сказать, что для 2-х точек коэф. регрессии всегда = 1).
1. Начните с анализа коэф рег уравнения для разных участков, есть ли их ДОСТОВЕРНОЕ отличие?
2. На бОльшем кол-ве данных может проявиться мультиколлениарность
3. Необходимо проверить алгоритмы на устойчивость к Вашим данным (подробнее см. Сизиков В.С. Устойчивые методы обработки результатов измерений СПб 1999 и другие работы этого автора. У него есть примеры, когда MATLAB надо применять осторожно). Это зависит не от количества, а от типа данных.
Для начала проверить обусловленность матрицы входных значений.
4. Хорошо еще проверить остатки на предмет анализа адекватности Вашей модели.

С большим объемом данных надо работать (не смысле MATLAB сможет или не сможет) очень аккуратно, ведь кроме объема информации может расти и уровень помех. С помехами отдельная тема.

Рекомендую работать с 64-разрядной ОС, поставить макс ОЗУ и начать с обработки небольших объемов, постепенно их увеличивая и анализируя перечисленные выше 4 пункта.

Добавлено через 31 минуту
По теме аккуратного применения MATLAB и др мат пакетов:
Петров Ю.П. Петров Л.Ю. Неожиданное в математике и его связь с авариями и катастрофа-ми последних лет. – СПб: Изд-во СПбГУ; 1-е изд., 1999, 108 с.; 3-е изд., 2002, 141 с.
Петров Ю.П. Устойчивость линейных систем управления при вариациях параметров // Автоматика и телемеханика, 1994, № 11, с. 186–189.
Петров Ю.П. Новые главы теории управления. – СПб: Изд-во СПбГУ, 2000. 156 с.
Данилевич Я.Б., Петров Ю.П. О необходимости расширения понятия эквивалентности математических моделей // Доклады РАН, 2000, т. 371, № 4, с. 473–475.
Чертков К. Г. Исследование чувствительности к погрешностям округления собственных значений линейных систем. Известия ТГУ, Серия: Проблемы управления электротехническими объектами. Тула. 2002, с. 138-139.

0