Как минимизировать такую функцию?

@Key27 · Регистрация: 02.04.2017

Студворк — интернет-сервис помощи студентам

Есть список значений Y и список X и я хочу минимизировать функцию такого вида(прикрепил картинку).

Также есть начальные значения Theta0 = 1.537, Theta1 = 1.143, Theta2 = 0.01604. Как минимизировать такую функцию?

@VTsaregorodtsev · 28.09.2019, 13:00

Превращайте эту полиномиальную регрессию в линейную путём ввода новой независимой переменной Z=X^2, далее любыми способами решения задачи линейной множественной регрессии. Например, через решение СЛАУ методом Гаусса.

@Key27 · 28.09.2019, 17:43 **[ТС]**

VTsaregorodtsev, Немного не правильно выразился. Попробую на конкретном примере
Как с помощью scipy найти минимум функции трех переменных
$https://www.cyberforum.ru/cgi-bin/latex.cgi?\frac{1}{2}(5.59 - (\Theta_0+3.35\Theta_1+11.22\Theta_2))^2\to\min\limits_{\Theta_0,\Theta_1,\Theta_2}$ ?

Добавлено через 39 минут
Это делается примерно так:

Python
1
2
3
4
5
6
def f(params):
    a, b, c = params
    return 1/2*((5.59-(a + 3.35*b + 11.22*c)))**2
 
initial_guess = [1.537, 1.143, 0.01604]
result = minimize(f, initial_guess)

А что делать, когда нужно найти минимум суммы $https://www.cyberforum.ru/cgi-bin/latex.cgi?\sum\limits_{i=1}^{n} 0.5*(Y_i - (\Theta_0 + \Theta_1X_i + \Theta_2X_i^2 )^2$ , где X и Y - два списка?

Добавлено через 11 минут
Пробовал так:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
def f(params,X,y,i):
    a, b, c = params
    return (y[i]-(a + X[i]*b + X[i]**2*c))
 
 
def f2(params):
    sum = 0
    for i in range(len(y)):
        sum += 0.5*(f(params,X,y,i))**2
 
    return(sum)
 
initial_guess = [1.537, 1.143, 0.01604]
result = minimize(f2, initial_guess)

Но получаю ошибку

Bash
1
ValueError: Desired error not necessarily achieved due to precision loss.

@dondublon · 30.09.2019, 11:49

Вам сюда: https://docs.scipy.org/doc/sci... imize.html

@woldemas · 30.09.2019, 15:18

Сообщение от Key27

А что делать, когда нужно найти минимум суммы

Надо просто продифференцировать и приравнять производные к нулю. Если лень это делать, то можно найти формулу для коэффициентов множественной регрессии:
$https://www.cyberforum.ru/cgi-bin/latex.cgi?\Theta = (X^T X)^{-1} X^T Y$
В данном случае незачем использовать scipy можно обойтись одним numpy, что-то типа

Python
1
2
3
4
5
6
import numpy as np
x = np.array(...)
y = np.array(...)
x = x.reshape(-1, 1)
x_ext = np.hstack((np.ones(x.shape), x, x**2))
theta = np.linalg.inv(np.dot(x_ext.T, x_ext)).dot(x_ext.T).dot(y)

@dondublon · 30.09.2019, 15:44

woldemas, не надо диференцировать.
100 к одному, задача именно на минимизацию путём градиентного спуска или чем-то подобным.
normal equation подходит в случае, когда признаков немного и способ не этого урока

@woldemas · 30.09.2019, 16:43

Сообщение от dondublon

задача именно на минимизацию путём градиентного спуска

Это в чистом виде полиномиальная регрессия (если я правильно понял обозначения - ТС там в скобках путается). Градиентный спуск даст тот же результат - там же целевая функция квадратичная.

@dondublon · 30.09.2019, 16:52

woldemas, да я вижу, что регрессия.
Тут ведь дело не просто в том, чтобы результат получить, а научиться вызывать минимизацию в соответствии с учебным курсом

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .

@Key27 3 / 3 / 0 Регистрация: 02.04.2017 Сообщений: 273

	Как минимизировать такую функцию? 28.09.2019, 12:43. Показов 1355. Ответов 7 Метки нет (Все метки) Есть список значений Y и список X и я хочу минимизировать функцию такого вида(прикрепил картинку). Также есть начальные значения Theta0 = 1.537, Theta1 = 1.143, Theta2 = 0.01604. Как минимизировать такую функцию? Миниатюры 0

@VTsaregorodtsev 2645 / 1656 / 267 Регистрация: 19.02.2010 Сообщений: 4,389
	28.09.2019, 13:00
	Превращайте эту полиномиальную регрессию в линейную путём ввода новой независимой переменной Z=X^2, далее любыми способами решения задачи линейной множественной регрессии. Например, через решение СЛАУ методом Гаусса. 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	30.09.2019, 11:49
	Вам сюда: https://docs.scipy.org/doc/sci... imize.html 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	30.09.2019, 15:44
	woldemas, не надо диференцировать. 100 к одному, задача именно на минимизацию путём градиентного спуска или чем-то подобным. normal equation подходит в случае, когда признаков немного и способ не этого урока 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	30.09.2019, 16:52
	woldemas, да я вижу, что регрессия. Тут ведь дело не просто в том, чтобы результат получить, а научиться вызывать минимизацию в соответствии с учебным курсом 0