Классификация периодов после изменения уровня данных

@barricade_00 · Регистрация: 05.08.2021

Студворк — интернет-сервис помощи студентам

Проблема такая. Есть определенный индекс, его изменение было классифицировано как "Рост", "Без изменений", "Снижение". Классификация проводилась экспертным мнением, а не неким алгоритмом, таким образом были сформированы периоды. Предикторы - 16 переменных, временные ряды, с разной степенью важности переменных на модель. Проблема заключается в следующем: в начале исследования период роста характеризовался, например, наиболее важным показателем, равным 110. Спустя 7 лет период роста характеризовался уже 105, а сейчас 103. Соответственно, ML на хвостовой выборке (не на рандомной) показывает низкие результаты точности, тк по моему мнению, периоды роста он не может адекватно фиксировать "по опыту". Основной алгоритм использовал randomForest, язык R.

@Nick07 · 06.08.2021, 08:18

Много слов лишних.
Для начала опишите входные данные, источник получения, количество, однородность, выбросы и т.д..

Сообщение от barricade_00

105, а сейчас 103

Отличие меньше 2 процентов. Обоснуйте достоверность отличия.

@barricade_00 · 06.08.2021, 08:49 **[ТС]**

Временные ряды, 16 объясняющих переменных и 1 объясняемый, 218 месяцев наблюдений. Существуют выбросы, которые, как правило, классифицируются как периоды снижения. График того, что мы классифицируем, я вроде прикрепил. Это некоторый индекс состояния экономики. Однородности у предикторов как таковой нет, какие-то ряды имеют нормальное распределение, какие-то - нет. Я все данные нормализовывал. Повторюсь еще раз о задаче. Есть в данных некоторый Level shift, который нужно исправить. Такие цепочки данных, которые были в начале выборки, а выборка разделена прямо на 80% данных с начала исследования и 20% данных в конце, видимо более не встречаются (но опять же по моему мнению). Хотелось бы получить рекомендации, а может и действенный метод каким образом уравнять высокоуровневые данные начала и низкоуровневые данные хвоста выборки.

@VTsaregorodtsev · 06.08.2021, 10:24

Сообщение от barricade_00

каким образом уравнять высокоуровневые данные начала и низкоуровневые данные хвоста выборки.

Перейти от абсолютных значений (или от ряда первых разностей) к относительным значениям.
Т.е. x(t)/x(t-1), или (x(t)-x(t-1))/x(t)

Ну, или можно из исходного ряда вычитать скользящее среднее (ширину окна - подобрать экспериментально), затем уже нормализовать тем способом, которым нормализуете.

В общем, классическая задача обеспечения инвариантности к изменению (дрейфу) среднего уровня (то, что Вы назвали level shift).

@barricade_00 · 06.08.2021, 10:27 **[ТС]**

сейчас буду тестировать

Новые блоги и статьи Все статьи Все блоги /
Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .	SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью в КА2. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 23.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа в КА2. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию. . .

@barricade_00 0 / 0 / 0 Регистрация: 05.08.2021 Сообщений: 3

	Классификация периодов после изменения уровня данных 05.08.2021, 13:45. Показов 1819. Ответов 4 Метки machine learning (Все метки) Проблема такая. Есть определенный индекс, его изменение было классифицировано как "Рост", "Без изменений", "Снижение". Классификация проводилась экспертным мнением, а не неким алгоритмом, таким образом были сформированы периоды. Предикторы - 16 переменных, временные ряды, с разной степенью важности переменных на модель. Проблема заключается в следующем: в начале исследования период роста характеризовался, например, наиболее важным показателем, равным 110. Спустя 7 лет период роста характеризовался уже 105, а сейчас 103. Соответственно, ML на хвостовой выборке (не на рандомной) показывает низкие результаты точности, тк по моему мнению, периоды роста он не может адекватно фиксировать "по опыту". Основной алгоритм использовал randomForest, язык R. 0

@barricade_00 0 / 0 / 0 Регистрация: 05.08.2021 Сообщений: 3
	06.08.2021, 08:49 [ТС]
	Временные ряды, 16 объясняющих переменных и 1 объясняемый, 218 месяцев наблюдений. Существуют выбросы, которые, как правило, классифицируются как периоды снижения. График того, что мы классифицируем, я вроде прикрепил. Это некоторый индекс состояния экономики. Однородности у предикторов как таковой нет, какие-то ряды имеют нормальное распределение, какие-то - нет. Я все данные нормализовывал. Повторюсь еще раз о задаче. Есть в данных некоторый Level shift, который нужно исправить. Такие цепочки данных, которые были в начале выборки, а выборка разделена прямо на 80% данных с начала исследования и 20% данных в конце, видимо более не встречаются (но опять же по моему мнению). Хотелось бы получить рекомендации, а может и действенный метод каким образом уравнять высокоуровневые данные начала и низкоуровневые данные хвоста выборки. Миниатюры 0

@barricade_00 0 / 0 / 0 Регистрация: 05.08.2021 Сообщений: 3
	06.08.2021, 10:27 [ТС]
	сейчас буду тестировать 0