Полиномиальная регрессия используя Градиентный Спуск и Матричный Способ

@tz5x · Регистрация: 03.10.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте! Мне нужно было применить линейную и полиномиальную регрессии (без использования Scikit-Learn и специальных функций, например polyfit) для построения гипотезы. Линейная регрессия отлично работает:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
def regressionByIteration():
    import numpy as np
    import matplotlib.pyplot as plt
    xr=np.matrix(np.linspace(0,10,30))
    x=xr.T
    y=np.power(x,2)+1
    plt.plot(x,y)
    m=x.size
    on=np.ones([m,1])
    X=np.concatenate((on,x),axis=1)
    theta=np.matrix('0.1;1.3')
    h=np.dot(X,theta)
    plt.plot(x,h)
    alpha=0.05
    iter=500
    for i in range(iter):
        theta[0][0]=theta[0][0]-alpha*(1/m)*np.sum(h-y)
        theta[1][0]=theta[1][0]-alpha*(1/m)*np.sum(np.multiply((h-y),x))
        h=np.dot(X,theta)
    plt.figure(1)
    plt.plot(x,h)
    mse=np.sum(np.power((h-y),2))
    print('regressionByIteration mse= ', mse)  
regressionByIteration()

Но когда я пытаюсь адаптировать код уже под полиномиальную регрессию (градиентный спуск), то программа ошибок не выдаёт, но сама гипотеза (модель) так и остаётся прямой линией, хотя хотелось бы наблюдать дугу. Код примерно тот же, укажу лишь строки в которых произвожу изменения:

Python
1
2
3
    on=np.ones([m,2]) #сделал [m,2] вместо [m,1]
theta=np.matrix('0.1;1.3;5.5') #добавил третье значение для theta
theta[2][0]=theta[2][0]-alpha*(1/m)*np.sum(np.multiply((h-y),np.power(x,2))) #добавил эту строку

Чтобы выполнить полиномиальную матричным способом, убираю alpha, итерации и так далее и заменяю на:

Python
1
2
    theta=np.dot(np.linalg.inv(np.dot(X.T,X)) , np.dot(X.T,y))
    h=np.dot(X,theta)

Но тоже не едет. Оранжевая линия так и остаётся прямой (рис. 1), хотя мне нужна дуга (рис. 2). Может я что-то упустил?

@woldemas · 09.09.2019, 07:55

Сообщение от tz5x

Может я что-то упустил?

Что-то не видно, чтобы вы расширили матрицу квадратами X, им же сами взяться неоткуда.
Полиномиальная регрессия - это та же линейная, просто передаете матрицу X дополненную столбцами с нужными степенями переменной. Там в идеале даже в методе регрессии ничего менять не надо.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	1С: Контроль уникальности заводского номера Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .

Полиномиальная регрессия используя Градиентный Спуск и Матричный Способ

Решение