Решение методом случайного леса

import pandas as pd
from sklearn import preprocessing
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn import datasets, tree
import seaborn as sns
from matplotlib import pyplot as plt
 
 
df = pd.read_excel('winequality-red.xlsx')  # xls преобразован в xlsx
 
col = df.columns[:-1]
# Выбираем метод нормализации RobustScaler и создаем новый фрейм для дальнейшего исследования.
r_scaler = preprocessing.RobustScaler()
df_r = r_scaler.fit_transform(df[col])
 
df_r = pd.DataFrame(df_r, columns=col)
 
'''
# Корреляционая матрица для определения  избыточных признаков - принимаем, что таковых нет 
fig, ax = plt.subplots(figsize=(9, 9))
sns.heatmap(cbar=False, annot=True,
            data=df_r[col].corr()*100, cmap='coolwarm')
plt.title('Корреляционая матрица')
 
plt.show()
'''
 
# Преобразование показателя quality в бинарный формат.
mask = df.quality > df.quality.mean()
 
df['quality_B'] = 0
df.loc[mask, 'quality_B'] = 1
 
# Создание обучающих и тестовых выборок
col = df_r.columns
 
X, y = df_r[col], df['quality_B']
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42)
 
def TreeRegres(X, y, col, depth=None):
    model_part = DecisionTreeRegressor(max_depth=depth)
    model_part.fit(X, y)
    cn = ['Больше', 'Меньше']
    if depth < 5 and depth != None:
        # При больших значения дерево строится очень долго
        fig = plt.figure(figsize=(25, 20))
        _ = tree.plot_tree(model_part, feature_names=col,
                           filled=True, class_names=cn)
    return model_part.score(X, y)
 
 
def TreeClass(col, depth=None):
    clf = DecisionTreeClassifier(max_depth=depth, random_state=0)
    clf.fit(X_train, y_train)
    if depth < 5 and depth != None:
    # При больших значения дерево строится очень долго и становится нечитаемым
        fn = col
        cn = ['Bad', 'Good']
        fig, axes = plt.subplots(nrows=1, ncols=1, figsize=(4, 4), dpi=300)
        tree.plot_tree(clf,
                       feature_names=fn,
                       class_names=cn,
                       filled=True)
    return clf.score(X_test, y_test)
 
col = X_train.columns
 
# Построение дерева
t1 = TreeClass(col, 2) 
 
'''
Интерпритация "Дерева решений"
 
В алгоритме построения дерева решений C4.5, лежит принцип жадной максимизации прироста информации – на каждом шаге 
выбирается тот признак, при разделении по которому прирост информации оказывается наибольшим. Дальше процедура 
повторяется рекурсивно, пока энтропия не окажется равной нулю или какой-то малой величине.
 
В начале было samples = 1279 объектов (вся обучающая выборка). Энтропия начального состояния была 
максимальной – gini=0.498. (Неопределенность Джини Gini impurity). Затем было сделано разбиение объектов 
на 2 группы в зависимости от сравнения признака alcohol = [603, 6076]. При этом энтропия и в левой, и в правой 
группе объектов уменьшилась. И так далее, дерево строится до указанной глубины. При такой визуализации 
чем больше объектов одного класса, тем цвет вершины ближе к темно-оранжевому и, наоборот, чем больше 
объектов второго класса, тем ближе цвет к синему.
 
Class - указывает на то, какое значение будет иметь целевой показатель quality (качество).
 
В принципе дерево решений можно построить до такой глубины, чтоб в каждом листе был ровно один объект. 
Но на практике это не делается из-за того, что такое дерево будет переобученным – оно слишком настроится 
на обучающую выборку и будет плохо работать на прогноз на новых данных.
 
Неопределенность Джини (Gini impurity)
 
 
где pk - вероятность нахождения системы в k-ом состоянии.
'''