Машинное обучение. Оценки качества моделей регрессии

@safcom · Регистрация: 28.02.2020

Студворк — интернет-сервис помощи студентам

Добрый день. У меня табличные данные, т.е. задача ререссии. Для прогнозирования использую модели - Ридж регрессия, Случайный Лес, Градиентный бустин. Конкретно их реализую в scikit-learn 0.22.2 (Ridge, Random Forest Regressor, Gradient Boosting Regressor).
У меня такой вопрос: при подборе гипер-параметров модели и при оценки качетсва этой модели, какие лучше использовать метрики:
- Средняя квадратическая ошибка (MSE);
- Средняя абсолютная ошибка (MAE);
- Коэффициент детерминации R^2 (R2).

@Nick07 · 28.04.2020, 18:32

Всё зависит от того, какую задачу решаете. Может и другие метрики будут более адекватны

@safcom · 29.04.2020, 08:54 **[ТС]**

Сообщение от Nick07

Всё зависит от того, какую задачу решаете. Может и другие метрики будут более адекватны

Т.е. нет универсального подхода к оценки моделей, и каждую метрику нужно подбирать на практике?

@Nick07 · 29.04.2020, 12:17

Не на практике, а исходя из задач, которые надо решить

@safcom · 29.04.2020, 12:56 **[ТС]**

Сообщение от Nick07

Не на практике, а исходя из задач, которые надо решить

Задача в следующем. Есть технологические параметры при сварке, т.е. признаки: сила тока, ток фокусировки, скорость сварки. Есть выход - ширина сварочного шва. Есть таблица экспериметов.
Я закидываю эти данные в модели: Ridge, Random Forest Regressor, Gradient Boosting Regressor. Хочу проверить качество полученных моделей с помощью кросс-валидации. Встает вопрос, через какую метрику оценивать тесты в кросс-валидации. И какую метрику использовать, что бы понять насколько качественна получилась модель.

@passant · 29.04.2020, 13:27

Обычно в научных работах делают табличку и приводят результаты по всем метрикам, оставляя для читателя вопрос анализа.
И это правильно для интерпретации ваших результатов.
А что собственно вас смущает в существовании нескольких метрик? Ну можете еще квантильную метрику подключить - если в вашей задаче важность завышения или занижения прогноза различна.

@Nick07 · 29.04.2020, 20:09

Что Вы понимаете под качеством модели?
Классическую статистику пробовали?

@vrm2 · 29.04.2020, 21:34

Сообщение от safcom

Встает вопрос, через какую метрику оценивать тесты в кросс-валидации

Используйте "Коэффициент детерминации R^2"

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@safcom 1 / 1 / 0 Регистрация: 28.02.2020 Сообщений: 12

	Машинное обучение. Оценки качества моделей регрессии 28.04.2020, 08:04. Показов 2407. Ответов 7 Метки python, sklearn (Все метки) Добрый день. У меня табличные данные, т.е. задача ререссии. Для прогнозирования использую модели - Ридж регрессия, Случайный Лес, Градиентный бустин. Конкретно их реализую в scikit-learn 0.22.2 (Ridge, Random Forest Regressor, Gradient Boosting Regressor). У меня такой вопрос: при подборе гипер-параметров модели и при оценки качетсва этой модели, какие лучше использовать метрики: - Средняя квадратическая ошибка (MSE); - Средняя абсолютная ошибка (MAE); - Коэффициент детерминации R^2 (R2). 0

@Nick07 533 / 438 / 47 Регистрация: 17.07.2013 Сообщений: 2,236
	28.04.2020, 18:32
	Всё зависит от того, какую задачу решаете. Может и другие метрики будут более адекватны 0

@Nick07 533 / 438 / 47 Регистрация: 17.07.2013 Сообщений: 2,236
	29.04.2020, 12:17
	Не на практике, а исходя из задач, которые надо решить 0

@passant 578 / 411 / 69 Регистрация: 09.01.2018 Сообщений: 1,363
	29.04.2020, 13:27
	Обычно в научных работах делают табличку и приводят результаты по всем метрикам, оставляя для читателя вопрос анализа. И это правильно для интерпретации ваших результатов. А что собственно вас смущает в существовании нескольких метрик? Ну можете еще квантильную метрику подключить - если в вашей задаче важность завышения или занижения прогноза различна. 0

@Nick07 533 / 438 / 47 Регистрация: 17.07.2013 Сообщений: 2,236
	29.04.2020, 20:09
	Что Вы понимаете под качеством модели? Классическую статистику пробовали? 0