Выбор нейросети для прогнозирования (вычисления вероятности)

Здравствуйте.
Хочу узнать у знающих форумчан. Какую (или какие) есть нейросети для прогнозирования (вычисления вероятности) следующего значения.
Абстрактный пример. Есть набор чисел, к примеру: 1001, 1002, 1003, 1002, 1005, ..., какая (или какие) нейросеть может дать приемлемый ( >80%) результат вероятного следующего значения?

0

Сообщение от Mikhaylo Трансформеры)?

Если это не шутка, тогда -- что? Сетки/модели/алгоритмы наперебор?
Где меньше loss, то и применяй?

0

Трансформеры, конечно, круты, но не лучшие для временных рядов.

0

Из того, что мной выше перечислено, есть что-то лучше для временных рядов, чем LSTM?

0

CF_pflx, я более чем уверен, что вы просто что-то не совсем правильно делаете, поэтому ищете чего-то лучшего.

Вы можете обучающие данные как+то продемонстрировать?

0

Со входом более-менее понятно.
Я совсем недавно подготовил новые данные, в т.ч. и + "предобработанные".
Сейчас меня больше волнует, как представить выход (y).
От СМА отказался, почему -- писал выше.
Построил график Zig-Zaga.
А дальше, как всегда (возможно излишне) "мудрю".
Решил, что (можно читать, взбрело в голову) сетке будет "более понятно" не значение цены, а некий дисбаланс/потенциал обратного движения, который получаю из Zig-Zaga.
Собственно новую серию данных и модель под неё запустил первый раз только сегодня.
Самому не понравился график "Labels" (известных значений ключевой функции). Сегодня домашние дела помешали.
У нас уже поздний вечер. А я -- жаворонок. Короче, сейчас уже голова не варит.
Буду завтра с утра разбираться.

0

Я, если честно, очень и очень примерно понимаю, о чем вы говорите и какую задачу решаете.

Ну такой вопрос: у вас обучение с учителем или с подкреплением ("с плохим учителем")?

0

Используемые фреймворки я сам, разумеется не писал.
Как понимаю, у меня обучение с учителем.
Сетка написана с использованием PyTorch.
В классе модели определен метод: def forward(self, x, labels=None).
в котором output = self.model(x)
labels -- известные (правильные) значения.
Потери считаются как полагается в описании и примере: loss = self.criterion(output, labels.unsqueeze(dim=1)).
Метод возвращает: return loss, output.

Добавлено через 6 минут
В def training_step(self, batch, batch_idx): и def validation_step(self, batch, batch_idx): -- там тоже всё "стандартно".
loss, outputs = self(sequences, labels).
Возвращает: return loss.

0

У вас лейблы дискретные или "аналоговые"?
Self.criterion - какая функция присвоена?

0

После подготовки новых данных модель тоже хотел модифицировать.
Типа, как с термошкафом, включил/выключил, так для финансового рынка ожидание на рост/падение (купил/продал).
Т.е. задача классификации.
Не нашел решения.
Оставил регрессионную модель.
Поскольку думал о классификации, "нашел" промежуточное/компромиссное решение.
Лэйблы -- "аналоговые", но при этом в точке разворота:
1. имеют максимальное абсолютное значение;
2. меняют знак.
При подходе к точке разворота имеют околонулевое значение.
Смысл, как писал выше, -- потенциал движения до следующей точки.
Абсолютная величина определяется как отношение очередного изменения (плеча зигзага) к величине, заданной в зигзаге (минимальная величина противохода, при которой сработает зигзаг=очередной разворот).

self.criterion, как писал, у меня настраивается, но тесты показали, что по умолчанию -- это лучший вариант,
И по факту:
self.automatic_optimization = True
self.criterion = nn.MSELoss()

0

Лейблы аналоговые -> задача регрессии.
Лейблы надо нормировать.

Вы можете решать задачу регрессии и в то же время взять очередное предсказание и если оно больше 0,9, то тейк-профит, если меньше 0,1, то стоп-лосс, если между 0,1 и 0,9, то ничего не делать. У нейронки регрессия, но в надзадаче - классификация.

Хотя конечно лучше, чтобы нейросеть выдавала вероятность. С вероятностями можно замутить матожидание профита/лосса и управлять величиной ставок.

0

Чего-то получил.
То ли всё лучше, чем можно представить, то ли . . .
С утра надо переменные перепроверить (графики) и результаты.
Снова вечер, и уже . . . ни драйва, ни мозгов.

Сообщение от Mikhaylo Лейблы надо нормировать.

Я полагал, что нормирую. (как нормировать, ещё нормировать???)
Модель вернул к тому, как работал со СМА, только у неё на входе ZigZag и его промежуточные значения (из пропорции)

Сообщение от Mikhaylo Хотя конечно лучше, чтобы нейросеть выдавала вероятность.

Вероятность чего? И где почитать (как)?

0

Например, вероятность, что цена вырастет за один тик на 5-10%, 1-5 %, 0-1 %, упадёт на 5-10%, 1-5 %, 0-1 %. Итого 6 вероятностей, в сумме дающие единицу.

Добавлено через 3 минуты
Это получится задача классификации. Софтмакс можно использовать...

0

Сообщение от Mikhaylo я более чем уверен, что вы просто что-то не совсем правильно делаете

Что-то я, действительно, видимо неправильно делаю.
Решил разобраться, что может LSTM.
Модель снова упростил (убрал зависимость от настроек).
Думал, может, придётся "выставлять на обозрение".
Построил данные -- 2 синусоиды одного периода и амлитуды и их разность -- в целевую функцию, которая получилась вдвое меньше и по фазе со своим смещением.
Кроме выхода, данные по факту нормализованные, поэтому ни масштабировать, ни обратно преобразовывать не надо.
Запустил, ошибка вроде небольшая, а прогнозная кривая -- прямая линия.
Пример на пайторче реализовал, всё работает, но в примерах не с молнией (pytorch_lightning), а то что на "чистом" пайторче -- с наворотами, которые мне не все понятны. Попытался пример найти в сети.
Всё -- рядом, да, -- не то. Руки опустились. Пересмотрел пример, с которого делал, не особо вникая в код и логику, не сделав резервной копии, усохатил модель в блокноте до того, что тренироваться отказалась . . .
Полез к моделям трехлетней давности, взял оттуда, -- дело пошло.
Вот теперь ломаю голову, где была трабла . . . ))

Добавлено через 1 час 38 минут
А вот с 3-мя синусоидами, и чтоб 1 -- другого периода, . . .
И уже всё совсем не так "весело".

0

По мне Lightning - это навороченное лишнее что-то.))

На самом деле между фреймворками разница невелика, есть даже автоматический конвертор кода. Утверждается, что Lightning упрощает кодовый интерфейс. Но я смотрю, что это упрощение на проценты раз.

Добавлено через 1 минуту

Сообщение от CF_pflx А вот с 3-мя синусоидами, и чтоб 1 -- другого периода, . . .

Ограничили хотя бы временной промежуток?

0

Сообщение от Mikhaylo Ограничили хотя бы временной промежуток?

Если "посмотреть в будущее", то я этого с синусоидами пока не делал.
Пока анализировал, как модель может с ними разобраться.
Или я Вас не понял . . . ???

Добавлено через 53 минуты
Так получилось, что связался с PyTorch-ем.
От Lightning сам не в восторге.
Якобы должен упростить реализацию задачи.
Однако, фреймворк довольно сырой (был), в результате чего синтаксисы вызовов (параметры, их имена) основных процедур
менялись.
А если работаешь в Colab, где тебе вдруг версию Торча обновили. Lightning тоже надо обновлять.
А там вызовы поменялись. Либо опять иди изучай, либо переустанавливай старый торч каждый раз.
Легче не стало.
Не хватало примеров и грамотёжки, чтобы LSTM реализовать с многофакторным входом и пр.
Все примеры -- "какие-то разные", не понятно, что главное и правильное.
А тут попался готовый пример.

Добавлено через 10 минут
Ещё по результату работы с синусоидами:
Пробовал оптимизатор LBFGS, пока 2 синуса было (а вычислить лишь 1-ну их разность), -- понравился.
А с тремя не справляется, вернулся к AdamW
Что явно улучшило результат -- уменьшение batch_size до 4.

0

LBFGS хороший, но он годится для небольших датасетов и нейронок. Иначе ресурсов не хватает, памяти кажется.

0

Еще усложнил модель тем, что после колдовства над 4-мя синусами, результат еще на 10 шагов сдвинул "в будущее" (влево, т.е. значение ключевой функции из будущего).
Странное дело без сдвига ошибка БОЛЬЩЕ, а график лучше.
Я такую модель реализовывал, в которой имелась возможность данные состояний модели складывать в файл.
Сам считал потери, ошибки нет (типа сеть/Торч правильно считает).
Как тогда такое может быть?
Думал переобучение, но она и на тренировочной последовательности графики аналогично рисует (где должно быть лучше, по loss, на деле расхождение больше)
Думал, может, где-то что-то пропустил по невнимательности, заново пересобрал данные, заново переобучил модель, результаты аналогичные.
Оценка была по train_loss . . . ???
Увеличил последовательность, т.к. при всей длине 450 и тестовой 30%, за минусом длины входящей 120,
остается на тренировочную всего 15 вариантов.
Оценку переделал, длину увеличил, теперь формальные и реальные результаты "бьют".
Но, вот вопрос. Это реально вопрос.
При сдвиге я из входа оригинальный результат (т.е. до сдвига) убирал.
Решил, что модель улучшится, если я его оставлю. Хотел оценить насколько улучшится, ведь, с точки зрения человека нужно достроить только точки (у меня реально только 1-ну точку) в будущее с шагом 10.
Казалось бы, это же -- подсказка, значение 10-й точки в прошлом от значения ключевой функции известно ТОЧНО, и всю массу нейронной активности можно сосредоточить "только на . . ."
В действительности модель стала работать хуже. Могу предположить . . .
Однако, всё-таки спрошу. Это нормальная практика?

0

Я так понял есть две непонятки:
1. То, что лосс не вяжется с формой графика - Может быть проблема в визуализации, график заглаженный?
2. Явное подсказывание нейросети значения лейбла (только со сдвигом во времени?) - может остальные синусоиды как мусор выглядят? Сколько периодов берёте и как соотносятся периоды друг с другом? Кратные периоды?

0

Нет, график -- НЕсглаженный.
Не уверен, что четко понимаю, про какие Вы периоды.
Если про полные волны синусоид, то их у меня 45 (после того, как добавил), и половина от этого к-ва (и еще 0.3) на другие синусоиды.
Полный цикл первичной синусоиды -- 30 точек. Остальных, следовательно, -- 60 и 100.
С синусоидами сейчас более-менее модель отрабатывает точно.
К результату с синусоидами добавил апериодическую пилу.
Сдвигал ВСЁ. Результатом не впечатлился.
Поэтому решил попробовать апериодические "флуктуации" добавлять "как есть". Улучшений результата не заметил.
Ссылки на блокноты в Colab могу выложить.

Добавлено через 15 минут

Сообщение от CF_pflx Почитал разные материалы, после чего сложилось мнение, что LSTM способна предсказать лишь продолжение кривой той же самой функции, учтя сезонность (цикличность) и основную тенденцию (тренд) Сказать по другому: есть тенденция (не обязательно линейная), которая на графике дополнительно "тембрально окрашена".

Похоже, что так . . .

0

Сообщение от CF_pflx . Ссылки на блокноты в Colab могу выложить.

Давайте, у меня есть свободное время. Иначе этот эндшпиль не закончится.)

0