Применение SVM для повышения точности при классификации Enery Star Score

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report
from sklearn.preprocessing import StandardScaler
from imblearn.over_sampling import SMOTE
 
# 1. Загрузка данных
file_path = r"PycharmProjects\pythonProject\energy_data.xlsx"
dataset = pd.read_excel(file_path, sheet_name=1) # Второй лист
 
# Приведение всех данных к числовому формату, а не приведённые значения заменяются на NaN
data = dataset.apply(pd.to_numeric, errors="coerce")
 
# Удаление строк с пропусками в целевой переменной
target_column = "ENERGY STAR Score"
data = data.dropna(subset=[target_column])
 
# Удаление столбцов с более чем 50% пропусков
data = data.dropna(thresh=0.5 * len(data), axis=1)
 
# Заполнение оставшихся пропусков средним значением по колонке
data = data.fillna(data.mean())
 
# Сортировка значений целевого столбца по возрастанию
data = data.sort_values(by="ENERGY STAR Score")
 
# Преобразование целевой переменной в категориальную с помощью разбиения значения на интервалы и присвоения каждому интервалу нового значения
name = ''
bins = []
labels = []
 
q = 0
for i in data[target_column]:
    if name == i:
        name=i
    else:
        name = i
        q += 1
        bins.append(q)
 
for i in range(len(bins)-1):
    labels.append(bins[i])
 
data[target_column] = pd.cut(data[target_column], bins=bins, labels=labels, include_lowest=True)
 
 
# Разделение на признаки (X) и целевую переменную (y)
X = data.drop(columns=[target_column])
y = data[target_column]
 
# Проверка на наличие бесконечных значений
X = X.replace([np.inf, -np.inf], np.nan) # Заменяем бесконечности на NaN
X = X.dropna() # Удаляем строки с пропусками
 
# Проверка на экстремальные значения
print("Максимальные значения по столбцам до масштабирования:")
print(X.max())
 
# Масштабирование данных
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
 
# 4. Анализ корреляции
correlation_matrix = pd.DataFrame(X, columns=X.columns).join(y).corr()
 
plt.figure(figsize=(12, 10))
sns.heatmap(correlation_matrix, annot=False, cmap="coolwarm")
plt.title("Correlation Matrix")
plt.show()
 
# Вывод корреляции с целевой переменной
correlation_with_target = correlation_matrix[target_column].sort_values(ascending=False)
print("Корреляция с целевой переменной:")
print(correlation_with_target)
 
# Важность признаков
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_scaled, y)
 
# Важность признаков
feature_importances = pd.Series(model.feature_importances_, index=X.columns)
 
# Сортировка важности признаков по убыванию
feature_importances = feature_importances.sort_values(ascending=False)
 
# Визуализация важности признаков
plt.figure(figsize=(12, 6))
feature_importances.plot(kind="bar")
plt.title("Feature Importance")
plt.ylabel("Importance Score")
plt.show()
 
# 6. Выбор ключевых признаков
key_features = feature_importances[feature_importances > 0.02].index.tolist()
print("Ключевые признаки для обучения модели:")
print(key_features)
 
# Модель с ключевыми признаками
X_selected = X[key_features]
X_selected_scaled = scaler.fit_transform(X_selected)
 
# Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X_selected_scaled, y, test_size=0.2, random_state=42)
 
# Повторное обучение случайного леса
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)
 
# Предсказания и оценка качества модели
y_pred = model.predict(X_test)
 
accuracy = accuracy_score(y_test, y_pred)
 
print(f"Точность модели: {accuracy}")
 
# 7. Генерация нового здания
# Выбор случайной строки из датасета для создания нового здания
new_building_row = data.sample(n=1, random_state=42)  # Выбираем одну случайную строку
 
# Убедитесь, что мы используем только ключевые признаки
new_building_df = new_building_row[key_features]
 
# Масштабирование новых данных
new_building_scaled = scaler.transform(new_building_df)
 
# Предсказание класса Energy Star Score
predicted_class = model.predict(new_building_scaled)
 
# Вывод предсказанного класса
print(f"Предсказанный класс Energy Star Score для нового здания: {predicted_class[0]}")
 
# Если нужно вывести информацию о новом здании
print("Характеристики нового здания:")
print(new_building_df)