Ищу идеи для определения корректного подхода для оценки точности прогнозов

Добрый день.

Ищу идеи для определения корректного подхода для оценки точности прогнозов.

Краткое описание задачи: есть примерно 30 компаний, занимающихся прогнозом цен на металлы. Данные прогнозы носят регулярный характер (обновляются раз в квартал). Прогнозы могут быть на год (краткосрочные), на период 2-3 лет (среднесрочные), и более 3 лет (долгосрочные). Иногда участники могут пропускать обновления прогнозов. Прогнозы даются либо на определенную дату (на 12.июл.2022 цена будет такая-то), либо усредненно (в 2022 средняя цена будет такая-то). Данные прогнозы записываются в базу данных (отдельно по видам металлов).
По прошествии опред.кол-ва времени наступает период, когда можно сравнить прогноз и реальную цену.

Необходимо на основании имеющихся данных определить критерий ранжирования компаний по точности прогнозов (все прогнозы, и отдельно кратко- средне- и долгосрочные).
Помимо этого понять, какое минимальное количество прогнозов должно использоваться (чтобы быть статистически значимым), и что делать с пропущенными данными.

Я сейчас на этапе сбора данных, в принципе, понятна структура базы данных (в каком виде собирать прогнозы и как собирать исторические цены). По каждому периоду, когда на дату прогноза уже есть данные, есть посчитанное отклонение. Не могу понять, какими должны быть расчеты по определению точности прогнозирования.

Спасибо заранее за любые идеи.

0

А чем плоха оценка обычной дисперсии между прогнозом и реальностью? Всегда Ваш - Etien.

0

Стандартное отклонение - первое, что приходит в голову. Однако это же мера измерения волатильность одного параметра относительно его среднего значения. У меня же есть главный параметр (историческая цена) и второстепенный (сбывшиеся прогнозы). Тут больше подходит корреляция, но я не уверен, как ее нужно считать. Плюс проблема с пропущенными данными - обычно в таких случаях для расчета используют усредненные данные, но это приводит к тому, что корреляция становится более смещенной к 0.

0

Сумма абсолютных погрешностей, отнесенная к сумме факта - стандартный универсальный показатель точности. Возможны и другие показатели, но для этого надо знать какие параметры в точности у вас в приоритете. Большинство сводится к тому же самому показателю с применением фильтров и весов.
Корреляция - отвратительный показатель для точности.

0

Сообщение от Red white socks Корреляция - отвратительный показатель для точности.

Почему?

1

Сообщение от Таланов Почему?

Даже неловко отвечать на такой вопрос. Корреляция - она не для этого. Два стрелка. Один выбивает поровну 9 и 10, а второй по единицам 100% лупит. У кого корреляция лучше будет?
Сходите на кэгл и посмотрите, какие меры точности используются. Этот совет и к ТС относится.

0

Сообщение от Red white socks У кого корреляция лучше будет?

Корреляция чего с чем?

0

Пример со стрелками нагляден, но для моего случая не совсем корректен. Представьте, если нужно выбить разную последовательность чисел (например, в 1000 выстрелов, от 1 до 10), и стрелок выбивает такую последовательность, что корреляция близка к 1. Какая вероятность, что он каждый раз попадал не в заданные числа? мне кажется, при росте количества событий вероятность стремится к нулю.

Сообщение от Red white socks Сходите на кэгл и посмотрите, какие меры точности используются

Речь про kaggle.com? А где именно там надо смотреть меры точности? Рейтинги участников, например, просто по количеству набранных баллов.

0

Сообщение от Евгений_АЛ А где именно там надо смотреть меры точности?

Overview/Evaluation/Metric

для наглядности

Миниатюры

 

1