Обучение линейного алгоритма бинарной классификации образов с помощью градиентного алгоритма

import numpy as np
import matplotlib.pyplot as plt
 
# Данные
data_x = [
    (5.3, 2.3), (5.7, 2.5), (4.0, 1.0), (5.6, 2.4), (4.5, 1.5),
    (5.4, 2.3), (4.8, 1.8), (4.5, 1.5), (5.1, 1.5), (6.1, 2.3),
    (5.1, 1.9), (4.0, 1.2), (5.2, 2.0), (3.9, 1.4), (4.2, 1.2),
    (4.7, 1.5), (4.8, 1.8), (3.6, 1.3), (4.6, 1.4), (4.5, 1.7),
    (3.0, 1.1), (4.3, 1.3), (4.5, 1.3), (5.5, 2.1), (3.5, 1.0),
    (5.6, 2.2), (4.2, 1.5), (5.8, 1.8), (5.5, 1.8), (5.7, 2.3),
    (6.4, 2.0), (5.0, 1.7), (6.7, 2.0), (4.0, 1.3), (4.4, 1.4),
    (4.5, 1.5), (5.6, 2.4), (5.8, 1.6), (4.6, 1.3), (4.1, 1.3),
    (5.1, 2.3), (5.2, 2.3), (5.6, 1.4), (5.1, 1.8), (4.9, 1.5),
    (6.7, 2.2), (4.4, 1.3), (3.9, 1.1), (6.3, 1.8), (6.0, 1.8),
    (4.5, 1.6), (6.6, 2.1), (4.1, 1.3), (4.5, 1.5), (6.1, 2.5),
    (4.1, 1.0), (4.4, 1.2), (5.4, 2.1), (5.0, 1.5), (5.0, 2.0),
    (4.9, 1.5), (5.9, 2.1), (4.3, 1.3), (4.0, 1.3), (4.9, 2.0),
    (4.9, 1.8), (4.0, 1.3), (5.5, 1.8), (3.7, 1.0), (6.9, 2.3),
    (5.7, 2.1), (5.3, 1.9), (4.4, 1.4), (5.6, 1.8), (3.3, 1.0),
    (4.8, 1.8), (6.0, 2.5), (5.9, 2.3), (4.9, 1.8), (3.3, 1.0),
    (3.9, 1.2), (5.6, 2.1), (5.8, 2.2), (3.8, 1.1), (3.5, 1.0),
    (4.5, 1.5), (5.1, 1.9), (4.7, 1.4), (5.1, 1.6), (5.1, 2.0),
    (4.8, 1.4), (5.0, 1.9), (5.1, 2.4), (4.6, 1.5), (6.1, 1.9),
    (4.7, 1.6), (4.7, 1.4), (4.7, 1.2), (4.2, 1.3), (4.2, 1.3)
]
data_y = [
    1, 1, -1, 1, -1, 1, 1, -1, 1, 1,
    1, -1, 1, -1, -1, -1, -1, -1, -1, 1,
    -1, -1, -1, 1, -1, 1, -1, 1, 1, 1,
    1, -1, 1, -1, -1, -1, 1, 1, -1, -1,
    1, 1, 1, 1, -1, 1, -1, -1, 1, 1,
    -1, 1, -1, -1, 1, -1, -1, 1, 1, 1,
    -1, 1, -1, -1, 1, 1, -1, 1, -1, 1,
    1, 1, -1, 1, -1, 1, 1, 1, 1, -1,
    -1, 1, 1, -1, -1, -1, 1, -1, -1, 1,
    -1, 1, 1, -1, 1, -1, -1, -1, -1, -1
]
 
# Конвертация данных в numpy массивы
X = np.array(data_x)
y = np.array(data_y)
 
# Параметры градиентного спуска
alpha_w0 = 0.1  # Шаг для w0
alpha_w1_w2 = 0.01  # Шаг для w1 и w2
num_iterations = 1000  # Количество итераций
 
# Инициализация весов
weights = np.array([0.0, 0.0, 1.0])  # w = [ω0, ω1, ω2]
 
# Добавление столбца единиц для w0
X_b = np.c_[np.ones(X.shape[0]), X]
 
def loss_function(M):
    return np.exp(-M)
 
def gradient(weights, X, y):
    M = y * (X @ weights)
    loss_grad = -np.exp(-M)[:, np.newaxis] * X
    return np.mean(loss_grad, axis=0)
 
# Градиентный спуск
for _ in range(num_iterations):
    grad = gradient(weights, X_b, y)
    weights[0] -= alpha_w0 * grad[0]  # ω0
    weights[1] -= alpha_w1_w2 * grad[1]  # ω1
    weights[2] -= alpha_w1_w2 * grad[2]  # ω2
 
# Получение разделяющей линии
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
x_values = np.linspace(x_min, x_max, 100)  # 100 точек для построения линии
 
# Проверяем weight[2] на близость к нулю перед расчетом y_line
if np.isclose(weights[2], 0):  # Если вес почти 0
    weights[2] += 1e-10  # Добавить маленькое значение, чтобы избежать деления на ноль
 
# Пересчитываем y_line корректно
y_line = -(weights[1] * x_values + weights[0]) / weights[2]
 
# Визуализация результатов
plt.figure(figsize=(10, 6))
plt.scatter(X[y == 1][:, 0], X[y == 1][:, 1], label='Класс 1', color='blue', marker='o')
plt.scatter(X[y == -1][:, 0], X[y == -1][:, 1], label='Класс -1', color='red', marker='x')
 
# Отображаем разделяющую линию
plt.plot(x_values, y_line, color='green', label='Разделяющая линия', linewidth=2)
 
# Настройки графика
plt.xlabel('Признак 1')
plt.ylabel('Признак 2')
plt.title('Результаты обучения линейной модели')
plt.axhline(0, color='black', linewidth=0.5, linestyle='--')  # Горизонтальная линия для оси Y
plt.axvline(0, color='black', linewidth=0.5, linestyle='--')  # Вертикальная линия для оси X
plt.xlim(x_min, x_max)
plt.ylim(X[:, 1].min() - 1, X[:, 1].max() + 1)  # Ограничиваем по оси Y
plt.legend()
plt.grid()
plt.show()